WO2009116619A1 - 映像再生装置、映像配信装置、映像配信システムおよびプログラム - Google Patents

映像再生装置、映像配信装置、映像配信システムおよびプログラム Download PDF

Info

Publication number
WO2009116619A1
WO2009116619A1 PCT/JP2009/055417 JP2009055417W WO2009116619A1 WO 2009116619 A1 WO2009116619 A1 WO 2009116619A1 JP 2009055417 W JP2009055417 W JP 2009055417W WO 2009116619 A1 WO2009116619 A1 WO 2009116619A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
time information
video data
time
playback
Prior art date
Application number
PCT/JP2009/055417
Other languages
English (en)
French (fr)
Inventor
和男 浅見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010503923A priority Critical patent/JP5310718B2/ja
Publication of WO2009116619A1 publication Critical patent/WO2009116619A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Definitions

  • the present invention relates to video distribution technology, and more particularly to processing for changing a video playback rate.
  • FTTH and NGN network services
  • high-speed and high-quality network connection environments can be used even in ordinary homes.
  • a platform for using a video content distribution service requiring high bit rate and real-time performance has been established.
  • the content distribution service is not only for viewing from content prepared by a provider such as VoD (Video on Demand), but also for nDVR (users to record or view broadcast content on the server automatically or by specifying the broadcast content)
  • VoD Video on Demand
  • nDVR users to record or view broadcast content on the server automatically or by specifying the broadcast content
  • a new video viewing service called network-based (Digital-Video-Recorder) is also being offered in some countries.
  • the video distribution server When viewing video content via a network, such as a TV broadcast, the video distribution server only sends the stream sequentially from the beginning of the content to the player, but distributes stored content such as VoD and nDVR on demand. It is common for video services to provide trick play functions such as fast forward, rewind, and pause. In particular, in nDVR that automatically records broadcast content, trick play functions are more important than ever, such as frequently using fast-forward to find a scene to be viewed from the recorded result.
  • Patent Document 1 An example of a related content fast-forward method is described in Patent Document 1.
  • time information about decoding and reproduction added to data is changed to a half value after reading processing is performed at a double rate.
  • Perform decoding and playback processing according to This realizes fast-forwarding of content at double speed.
  • Patent Document 2 An example of another fast-forwarding method for stored content is described in Patent Document 2.
  • decoding is performed after thinning processing is performed in units of frames in accordance with a specified fast-forwarding magnification.
  • thinning out is realized, and fast forward is realized.
  • JP 2002-354419 A JP 2006-295645 A
  • the packets are accumulated on the video playback device side, even if the server distributes the video data whose playback speed has been changed, the video playback speed does not change from several hundred msec to several seconds.
  • trick play such as fast-forwarding or rewinding
  • the operation is performed while watching the displayed image. Therefore, it is important to reduce the response time for a comfortable operation.
  • An object of the present invention is to provide a video reproduction device, a video distribution device, a video distribution system, and a program that shorten the response time until the video reproduction speed actually changes when the video reproduction speed is changed. Objective.
  • the present invention has the following features.
  • the video reproduction apparatus includes a receiving means for receiving a packet distributed from the video distribution apparatus, a buffering means for absorbing jitter of the video data, a depacketizing means for acquiring the video data from the packet, and a decoding means for decoding the video data.
  • a display means for displaying the decoded video, a playback speed change instruction input means for acquiring a video playback speed change instruction from the user, and a playback speed change request for requesting the video delivery apparatus to change the video playback speed Means, time management means for determining the decoding and display timing with a clock, and time information changing means for changing the time information of the video data in the buffering means and the clock value of the time management means.
  • the video distribution apparatus accepts a content storage unit that stores encoded video data, a content information management unit that manages content information held in the content storage unit, and a playback speed change request from a user.
  • Playback speed change accepting means video data reading means for reading content from the content storage means at a designated read rate, packetizing means for packetizing the read video data, and packet decoding and playback processing necessary Time information setting means for setting the synchronization time information, sending means for sending a packet for which time information has been set to the network, video data reading means, and playback speed changing means for notifying the time information setting means of the playback magnification Prepare.
  • the playback speed change request means When the user requests to change the playback speed via the playback speed change instruction input means, the playback speed change request means notifies the video delivery device of the playback speed change command and the desired playback speed magnification.
  • the reproduction speed changing means of the video distribution apparatus instructs the video data reading means to change the read rate to the reproduction speed magnification in accordance with the requested reproduction speed magnification.
  • the time information setting means is instructed to update the clock rate of the time information to be added to a value divided by the reproduction speed magnification. By changing the clock rate of the time information added to the packet, the video playback device can play back the video at the requested video playback speed by following the time information.
  • the playback speed change accepting means notifies the video playback apparatus of the time information added to the packet sent before the playback speed change as the time of the playback speed change point.
  • the time information changing means of the video reproduction device searches the buffering means for a packet having a time less than or equal to the time information notified from the video distribution device.
  • the time information added to the packet is changed so as to have the same time increase rate as that of the packet after the reproduction speed change.
  • the time information changing means acquires the smallest time information and sets it as a clock value in the time management means.
  • the time management means immediately decodes and reproduces the packet in the buffering means.
  • the time information of the subsequent packets is rewritten to an increment corresponding to the desired playback speed, video playback at the desired frame rate can be immediately performed.
  • the playback speed of the displayed video immediately changes.
  • the first embodiment of the present invention is a video distribution system 100 shown in FIG.
  • the video distribution system 100 includes a video distribution device 200, a video reproduction device 300, and a network 500.
  • the video distribution device 200 is a device that holds video content and distributes the video content to the requested terminal.
  • the content storage unit 201, the video data reading unit 202, the packetizing unit 203, and the time information setting It comprises means 204, sending means 205, content information management means 206, playback speed changing means 207, and playback speed change accepting means 208.
  • the video reproduction device 300 is a device that requests the video distribution device 200 to distribute video and receives and reproduces the distributed video content. As shown in FIG. 3, the video reproduction device 300 receives the reception unit 301, the buffering unit 302, and the depacketizing unit 303. , Decoding means 304, display means 305, reproduction speed change instruction input means 306, reproduction speed change request means 307, time information change means 308, and time management means 309.
  • the network 500 is a network or bus to which the video distribution device 200 and the video reproduction device 300 are connected.
  • the content storage unit 201 is a storage unit that stores and holds one or more video contents.
  • Content information management means 206 is means for holding and managing content information such as video content identifiers and encoded bit rate information held by the content storage means 201.
  • this information is stored together with the video content in the content storage unit 201 and read by the content information management unit 206. However, it may be acquired from another storage unit or even if the user or administrator inputs the information directly. good.
  • the content reading unit 202 is a unit that reads the specified video content from the content storage unit 201 at a specified bit rate.
  • the encoded bit rate information of the video content is acquired from the content information management means 206, and the content reading process is performed according to the bit rate.
  • the playback speed is increased, the read rate is increased, and when the playback speed is decreased, the read rate is decreased.
  • the packetizing means 203 is a means for dividing the video content read by the content reading means 202 into an appropriate size for transmission to the network 500, and adding management information such as a header according to the standard to packetize it.
  • management information such as a header according to the standard to packetize it.
  • the present invention is not particularly specified for the packetization standard, it is necessary to be able to add time information used for the reproduction synchronization processing in the video reproduction apparatus 300.
  • Time information setting means 204 is means for adding time information to the packet generated by the packetizing means 203.
  • the time information setting means 204 has a clock counter for generating time information therein. A process of adding the value of the clock counter to the time information portion of the packet output by the packetizing means 203 is performed.
  • the video playback device 300 can play back video at a constant rate by decoding and displaying the video according to the time information.
  • the time information is added to the header portion of the packet, but the position of the time information is not particularly limited. The present invention is effective even when it exists in the payload or in another management area other than the packet header.
  • the sending unit 205 is a unit for sending the packet processed by the time information setting unit 204 to the video reproduction apparatus 300 connected to the network 500.
  • unicast transmission to the Internet is assumed as a transmission method, but the present invention is effective even if not limited to this.
  • the network 500 is an IP network that supports priority delivery control such as an NGN network, priority information may be added to the packet.
  • Playback speed change accepting means 208 is means for accepting a request for changing the playback speed from the video playback device 300 connected to the network 500.
  • the video playback device 300 notifies the desired playback speed magnification as a playback speed change request message.
  • the playback speed change accepting unit 208 instructs the playback speed changing unit 207 to change the playback speed at the specified magnification.
  • a playback speed change acceptance message is sent to notify the video playback device 300 of the completion of the change of the playback speed.
  • the playback speed change acceptance message includes information on the playback speed change point time acquired by the playback speed change means 207 from the time information setting means 204. In the present invention, it is assumed that the message transfer uses a session different from the video content data.
  • the present invention is not limited to this, and a method using the session used by the transmission unit 205 may be used.
  • the playback speed change means 207 is instructed to change the playback speed at the specified magnification after notifying the playback speed change acceptance message.
  • the playback speed changing means 207 instructs the video data reading means 202 to change the content read rate, and the time information setting means 204 is the counter increase rate. This is means for giving an instruction to change the clock rate.
  • the new reproduction speed magnification is notified from the reproduction speed change accepting means 208. A value obtained by multiplying the readout rate of the video data by the reproduction speed magnification is determined as a new video data readout rate, and the data readout process is changed. A value obtained by dividing the internal counter of the time information setting means 204 by the reproduction speed magnification is set as a new clock rate. Subsequently, the playback speed change accepting unit 208 is notified of the time information added to the packet immediately before setting a new clock rate as the playback speed change point time.
  • the video distribution apparatus 200 performs video distribution at the magnification requested by the video reproduction apparatus 300. Also, by notifying the video playback device 300 of the playback speed change point time, the video playback device 300 can also identify where in the packet the playback speed has been changed.
  • a receiving unit 301 is a unit that receives video content data distributed from the video distribution apparatus 200 connected to the network 500.
  • the buffering means 302 is means for accumulating the video data received by the receiving means 301, absorbing arrival jitter of the packet, and waiting the video data until decoding. Another function of the buffering unit 302 is to search for video data having designated time information and to rewrite the time information in cooperation with the time information changing unit 308.
  • the depacketizing means 303 is means for taking out the payload from the packet, combining it, and converting it into video data.
  • the output of the depacketizing unit 303 is converted into a data format that can be decoded by the decoding unit 304.
  • the depacketizing unit 303 performs processing for adding the time information to the depacketized video data.
  • the time management means 309 is means for supplying time information for determining the timing of decoding and video reproduction to the decoding means 304. It has a clock inside and has a counter that uniformly increases at a predetermined clock rate. This counter value is always supplied to the decoding means 304.
  • Decoding means 304 is means for decoding video data and obtaining bitmap data. The timing for performing the decoding process is determined using the counter value of the time management means 309. The decoding unit 304 performs the decoding process when there is a packet having time information equal to or less than the counter value of the time management unit 309 among the packets stored in the buffering unit 302. The decoding unit 304 takes out the packet from the buffering unit 302 and performs depacketizing processing using the depacketizing unit 303. This packet extraction and depacketization processing is performed to acquire video data for one picture, and then decoding processing is performed using a video codec. The decoded video is sent to the display means 305 for display.
  • Display means 305 is means for receiving bitmap data and displaying video.
  • the display unit 305 has a video display device such as a monitor.
  • the display unit 305 may include only a video output terminal and transfer video to another video display device.
  • Playback speed change instruction input means 306 is a means for receiving an instruction to change the video playback speed from the user. In the present invention, no means for accepting a change in reproduction speed is specified. Although it is assumed that an instruction is received by a playback speed change button or the like of the user interface, other methods such as numerical input or a slide bar may be used.
  • the playback speed change requesting unit 307 is a unit for notifying the playback speed change accepting unit 208 of the video distribution apparatus 200 of a playback speed change request.
  • a change in the playback speed is received from the playback speed change instruction input means 306, the playback speed magnification is determined, and is included in the playback speed change request message and transmitted to the video distribution apparatus 200. If the requested change in playback speed is accepted, a playback speed change acceptance message is received. When this message is received, the time information changing unit 308 is instructed to change the playback rate together with the information on the playback speed change point time acquired from the video delivery apparatus 200 at the same time.
  • the time information changing means 308 is a means for changing the time information of the video packet held by the buffering means 302 and changing the counter value held by the time management means 309 in order to realize high speed reproduction rate change. It is. This process is executed when the playback speed change requesting unit 307 receives a playback speed change acceptance message from the video distribution apparatus 200.
  • the time information changing means 308 obtains the reproduction speed change magnification 421 (value is k) and the reproduction speed change point time 422 (value is time 4) from the reproduction speed change request means 307.
  • a video packet includes a packet header 411, time information 412, and a payload 413.
  • the time information search / change unit 401 searches the time information of the buffered packet, and extracts a packet having time information equal to or lower than the playback speed change time 422 (in this case, corresponding to times 4, 3, 2, 1). To do.
  • the time information before rewriting is T
  • the playback speed change point time is T_change
  • the playback speed change magnification is k
  • the new time information T_new calculated by the following equation (1) is used.
  • T_new (T-T_change) / k + T_change ... (1)
  • the counter value setting unit 402 acquires the smallest time information 414 among the packets stored in the buffering unit 302 and sets it as a new counter value 431 of the time management unit 309.
  • the video reproduction device 300 decodes and displays the video packet distributed by the video distribution device 300.
  • the video playback device 300 requests a playback speed change
  • the time information for identifying the packet before the playback speed change is acquired from the video distribution device 200 and the playback speed change request already stored in the buffering means 302 is acquired. Time information is changed for the previously distributed packet.
  • the rate of increase in the packet time information is made the same as the rate of increase in the packet after the reproduction speed change request.
  • the next decoding process is executed without waiting by setting the smallest time information value present in the buffering means 302 as the counter value of the time management means 309.
  • the buffering means 302 is arranged at the subsequent stage of the receiving means 301 and is configured to buffer video packets, but other configurations may be used. As shown in FIG. 5, the configuration may be such that video data after depacketization is buffered. In this case, a process of copying time information to the payload acquired by the depacketizing means is performed. Further, as shown in FIG. 6, the decoded bitmap data may be buffered. In this case, the output data from the depacketizing unit 303 and the output data from the decoding unit 304 are copied to the time information added to the packet. Further, the display unit 305 receives the time information supplied from the time management unit 309, determines the video display timing, acquires the bitmap data from the buffering unit 302, and performs the display.
  • the video playback system 100 includes two devices connected by a network 500, but the video distribution device 200 is used as video distribution means, the video playback device 300 is used as video playback means, and the network 500 is used as a bus.
  • the present invention is effective even when the video reproducing apparatus is configured in one casing.
  • the video distribution apparatus 200 starts video distribution (step ST701). In this example, no particular method is specified for the processing related to the start of video reproduction. Video distribution apparatus 200 continues to distribute video to video reproduction apparatus 300 (step ST702).
  • the video playback device 300 requests the playback speed change request receiving means 208 of the video distribution device 200 to change the playback speed (step ST703).
  • the reproduction speed change request message includes the reproduction speed magnification k.
  • the video distribution apparatus 200 temporarily stops the distribution process (step ST704) and multiplies the video data reading rate of the video data reading unit 202 by k (step ST705). Further, the current time information held by the time information setting means 204 is stored (step ST706), and a value obtained by multiplying the clock rate by 1 / k is set as a new clock rate (step ST707).
  • step ST708 After completing the preparation for changing the playback speed, the video distribution is resumed (step ST708). As a result of the restart, a video stream realizing k-times playback is delivered to the video playback device 300 (step ST709).
  • the playback speed change acceptance means 208 transmits a playback speed change acceptance message to the playback speed change request means 307 of the video playback device 300 (step ST710).
  • This playback speed change acceptance message includes the playback speed change time information acquired in step ST706.
  • the video reproduction device 300 temporarily stops decoding and displaying the video (step ST711), and rewrites the time information of the packet inside the buffering means 302 according to the time information acquired in step ST710 (step ST712). Subsequently, the smallest time information is acquired from the buffering means 302 that has been rewritten, and the counter value of the time management means 309 is changed with this value (step ST713).
  • the video reproduction device 300 resumes video decoding and display again (step ST714).
  • a packet buffered inside the video reproduction apparatus 300 has a function of rewriting time information related to decoding and display. Therefore, even a packet that has already been buffered when the video playback speed is changed can be corrected to the same time information increase rate as the packet after the playback speed change. Therefore, it is possible to immediately reproduce the video at the target speed.
  • Content management information 800 shown in FIG. 8 is stored in the content information management means of the video distribution apparatus 200.
  • the content management information 800 includes a file name 801 for identifying video content data, a content name 802 indicating the content content, and a bit rate 303 when the video content is encoded.
  • the video data reading unit 202 When the user selects the content name “baseball broadcast”, the video data reading unit 202 performs a process of reading the content file vdata002.mp4 at a speed of 2 Mbit / s. In this embodiment, it is assumed that the content file is compressed by the MPEG-4 codec.
  • Video data 901 read from the video data reading unit 202 is divided into packets by the packetizing unit 203.
  • the packetization standard is not particularly limited, but in this embodiment, IETF RFC3016 "RTP Payload Format for MPEG-4 Audio / Visual Streams" is used. Thereby, the time information added by the time information setting means 204 is recorded in the time stamp of the RTP header.
  • the video data 901 is divided into a size suitable for network transfer and becomes a payload 913. After adding the RTP header 911, it is output to the time information setting means 204. At this stage, no value is set in the time stamp 912 of the RTP header.
  • the time information setting unit 204 After the packetizing process is completed, the time information setting unit 204 generates and adds time information.
  • the time information is generated in units of MPEG-4 pictures. During normal playback, this time information is a value generated at a clock rate of 90 kHz. For video content with a frame rate of 30 fps, the time information increases by 3000 per picture. In FIG. 9, time information 921 starting from 0 is generated for each picture and added to the time stamp 932 of each packet. For the same picture, the same time information is added even if the packets are different.
  • the packet output from the time information setting unit 204 is transmitted to the network 300 by the transmission unit 205 toward the video reproduction device 300.
  • the playback speed change accepting means 208 receives a playback speed change request message for changing the playback speed to double.
  • the playback speed changing means 207 multiplies the playback speed magnification by 2 to 2 Mbps, which is the bit rate at which content is currently being read out, and designates the 4 Mbps reading speed as a new bit rate to the video data reading means 202. Thereafter, the video data reading means 202 performs a process of reading the video data at a speed of 4 Mbps.
  • the playback speed changing means 207 divides 90 kHz, which is the clock rate at which the time information setting means 204 generates time information, by the playback speed magnification 2, and sets 45 kHz as a new clock rate in the time information setting means 204.
  • the video distribution apparatus 200 transmits a packet whose reproduction speed is doubled during the reproduction as shown in FIG. Also, the playback speed change accepting means 208 notifies the video playback device 300 of the playback speed change point time (6000 shown in FIG. 10) in the playback speed change acceptance message.
  • the playback speed change request unit 307 that has requested to change the playback speed to 2 times receives a playback speed change acceptance message from the playback speed change acceptance unit 208.
  • the playback speed change point time (6000 in this example) is acquired from the inside of the message, and is notified to the playback speed changing means 308 together with the playback speed magnification of 2.
  • the time information changing means 308 temporarily replaces the time information inside the packet with respect to the buffering means 302 after pausing the reproduction process.
  • a specific example of the replacement is shown in FIG.
  • the time information change unit 308 receives from the playback speed change request unit 307 the playback speed magnification 1111 (value in this example is 2) and playback speed change point time 1112 (value in this example is 6000).
  • the time information search / change unit 401 searches the time stamp of the RTP packet buffered in the buffering unit 302, and acquires the RTP packet 1103 having 6000 in the time stamp. Subsequently, new time information obtained by the calculation of Expression (1) is added to a packet having time information of 6000 or less.
  • the counter value setting unit 402 acquires the smallest time information 1113 (the value in this example is 3000) and sets it as the counter value possessed by the time management unit 309.
  • the time information changing unit 308 resumes the reproduction process.
  • the rate of increase of the packet time information buffered in the buffering means 302 is all the same as that after the reproduction speed change, and all packets are 2 Playback is possible at double the speed.
  • the counter of the time management unit 309 is rewritten with the time information of the packet to be decoded earliest in the buffering unit 302, the reproduction is immediately performed when the reproduction process is resumed.
  • Example 2 Next, the operation for carrying out the present invention will be described by giving a second example.
  • FIG. 13 is a block diagram of the video distribution apparatus 1300.
  • the video distribution unit 1300 includes a scalable content distribution unit 1301, a layer-specific content reading unit 1302, a packetizing unit 1303, a time information setting unit 1304, a sending unit 1305, a scalable content information management unit 1306, a playback speed changing unit 1307, and a playback speed change acceptance. Consists of means 1308.
  • Scalable content storage means 1301 is means for storing video content encoded by a video scalable codec.
  • the video content is compressed by the H.264 / SVC (Scalable Video Coding) codec, and is composed of a base layer and two enhancement layers (first enhancement layer and second enhancement layer).
  • the first enhancement layer is a bit stream positioned above the base layer that can be decoded together with the base layer to obtain an image quality higher than the result of decoding only the base layer.
  • the second enhancement layer is a bit stream located above the first enhancement layer that can be decoded together with the base layer and the first enhancement layer to obtain an image quality higher than the result of decoding only the base layer and the first enhancement layer.
  • the SN ratio scalable encoding is set, and the content bit rate is set to 1 Mbps for each layer and 3 Mbps for the entire content as shown in FIG.
  • the present invention is effective not only for the SN scalable setting but also for the space scalable setting and the time scalable setting.
  • Scalable content information management means 1306 is means for holding the content information 1401 stored in the content storage means 1301 and providing it to the playback speed changing means 1307 as necessary.
  • the layer-specific content reading unit 1302 is a unit that reads a stream of a specified layer from the scalable content storage unit 1301 at a specified bit rate.
  • the layer-by-layer content reading unit 1302 receives from the playback speed changing unit 1307 which layer in the content stored in the scalable content storage unit 1301 is read and designation of the read bit rate of each layer. Since all streams from the base layer to the second enhancement layer are sent to the receiving terminal during normal playback in this embodiment, the playback speed changing means 1307 sends the base layer, first enhancement layer, An instruction to read the second enhancement layer at 1 Mbps is issued.
  • the layer-specific content reading unit 1302 reads the H.264 / SVC stream in the scalable content storage unit 1301 and sends the data to the packetizing unit 1303. When fast-forward playback is performed, read processing is performed according to the read bit rate for each layer determined by the playback speed changing unit 1307.
  • the playback speed changing means 1307 is a means for obtaining the playback speed magnification from the playback speed change request receiving means 1308 and determining the change of the read bit rate for each layer of the video content.
  • the playback speed changing unit 1307 acquires the layer information and bit rate information of the content to be distributed from the scalable content information management unit 1306.
  • a usable network bandwidth is designated by the user.
  • a method for calculating the distribution bit rate for each layer will be described with reference to FIG.
  • the base layer read bit rate at the time of fast-forward playback is calculated by multiplying the bit rate of the base layer stream by the playback speed magnification within a range not exceeding the usable network bandwidth Ball.
  • the reproduction speed magnification is 1.5 times, 1.5 Mbps, when 2.0 times, 2 Mbps when 2.5 times, 2.5 Mbps when 2.5 times, and 3 Mbps when 3.0 times.
  • the read bit rate of the base layer is 1.5 Mbps
  • the unused band is 1.5 Mbps due to the difference from the usable network band Ball.
  • Packetizing and sending are the same as those described in the first embodiment.
  • the addition of the time information is the same as that in the first embodiment with respect to the generation of the time information. However, even in different layers, the same time information is added when the same picture is configured.
  • the video playback apparatus 1500 includes a receiving unit 1501, a buffering unit 1502, a depacketizing unit 1503, a scalable content decoding unit 1504, a display unit 1505, a playback speed change instruction input unit 1506, a playback speed change request unit 1507, a time information change unit 1508, a time It comprises management means 1509.
  • the scalable content decoding unit 1504 of the video playback device 1500 is a unit that decodes the scalable video data output from the depacketizing unit and displays a bitmap.
  • the scalable content decoding unit 1504 When the video distribution device 1300 does not send the second enhancement layer, the scalable content decoding unit 1504 performs decoding using the first and basic two enhancement layers and outputs a coarse bitmap video. When the second and first enhancement layers are not transmitted, the scalable content decoding unit 1504 decodes only the base layer and outputs a coarser bitmap video.
  • the time information changing means searches for the packet in the buffering means 1502 as in the first embodiment. As a result of the search, packets of a plurality of layers below the playback speed change time are acquired. The time information is changed according to Equation 1 for each packet. Further, the smallest time information included in the replaced result packet is set in the clock counter of the time management unit 1509.
  • the video distribution apparatus 1300 can transmit the video without exceeding the designated bit rate when increasing the playback speed of the video. Also, the video playback device 1500 can immediately increase the frame rate of the playback video after issuing a request to increase the playback speed.
  • the processing for realizing the functions of each device may be performed by causing each device to read and execute a program for realizing the functions of the video distribution device and the video playback device. Further, the program is transmitted to another computer system by a transmission wave via a CD-ROM or a magneto-optical disk as a computer-readable recording medium, or via the Internet or a telephone line as a transmission medium. Also good.
  • the functions of each device are realized by other devices collectively or the functions are distributed by additional devices.
  • the present invention can be applied to an application such as a video reproduction client such as a VoD player or an nDVR player. Further, the present invention can also be applied to uses such as a video playback device such as an HDD recorder.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 映像再生速度の変更を指示し、実際に映像再生速度が変化するまでの遅延時間を削減する映像再生装置等を提供しなければならない。  映像再生装置は、映像データを貯留するバッファリング手段と、同期用の時刻情報を供給する時刻管理手段と、映像データに付加されている時刻情報を変更し、時刻管理手段に対して時刻の設定を行う時刻情報変更手段を備える。

Description

映像再生装置、映像配信装置、映像配信システムおよびプログラム
 本発明は、映像配信技術に関し、特に映像再生レートを変更する処理に関するものである。
 近年、FTTHやNGN等のネットワークサービスが提供され、一般家庭においても高速で高品質なネットワーク接続環境を利用できるようになった。高速で高品質なネットワークが利用できることで、高ビットレートでリアルタイム性が要求される映像コンテンツの配信サービスを利用する基盤が整備されてきた。コンテンツ配信サービスもVoD(Video on Demand)のような事業者が用意したコンテンツの中から視聴するだけでなく、ユーザが放送コンテンツを指定により、または自動的にサーバ上で録画して視聴するnDVR(network-based Digital Video Recorder)と呼ばれる新たな映像視聴サービスについても一部の国でサービスの提供が始められている。
 テレビ放送のように映像コンテンツをネットワーク経由で視聴する場合、映像配信サーバはプレーヤに対してコンテンツの先頭から順次ストリームを送出するのみであるが、VoDやnDVR等の蓄積コンテンツを要求に応じて配信する映像サービスでは、早送り、巻き戻し、一時停止と言ったトリックプレイ機能を提供する事が一般的である。特に放送コンテンツを自動的に録画するnDVRでは、録画結果から見たいシーンを見つけるために、早送り等を頻繁に使用するなどトリックプレイ機能は今まで以上に重要になっている。
 関連する蓄積コンテンツの早送り方式の一例が特許文献1に記載されている。この方式は2倍速の早送りを実現するため、読出し処理を2倍のレートで実施した上でデータに付加されたデコードと再生に関する時刻情報を2分の1の値に変更した上で、時刻情報に従ってデコードと再生処理を実施する。これによりコンテンツの2倍速での早送りを実現している。
 また、他の蓄積コンテンツの早送り方式の一例が特許文献2に記載されている。この方式は指定された早送り倍率に従い、フレーム単位で間引き処理を実施した後にデコードを実施している。フレーム単位での間引きを行うことで、画像のフレームスキップを実現し、早送りを実現している。
特開2002-354419号公報 特開2006-295645号公報
 しかし、特許文献1及び2の方式では、再生速度の変更を指示してから実際に再生速度が変化するまでに遅延が生じる問題がある。パケット交換ネットワークでは過負荷や伝送経路の変更によってパケットの到着間隔に揺らぎが発生する。映像配信システムではこの揺らぎが再生映像のフレームレートの変動の要因になるため、映像再生装置は揺らぎを吸収するジッタバッファを備える必要がある。映像再生装置のジッタバッファには一般的に数百msecから数秒程度の映像パケットがバッファリングされている。
 映像再生装置側にパケットが蓄積しているため、サーバが再生速度を変更した映像データを配信したとしても、数百msecから数秒間は、映像再生速度が変化しないことになる。ユーザが早送りや巻き戻しなどのトリックプレイを行うときは表示される映像を見ながら操作を実施するため、快適な操作のためにレスポンスタイムを削減することは重要である。
 本発明の目的は、映像再生速度を変更するときに、要求と実際に映像再生速度が変化するまでのレスポンスタイムを短縮する映像再生装置、映像配信装置、映像配信システムおよびプログラムを提供することを目的とする。
 かかる目的を達成するために、本発明は、以下の特徴を有することとする。
 本発明は上記の課題を解決するために、以下のような特徴を備える。
 映像再生装置は、映像配信装置から配信されたパケットを受信する受信手段と、映像データのジッタを吸収するバッファリング手段と、パケットから映像データを取得するデパケタイズ手段と、映像データをデコードするデコード手段と、デコードされた映像を表示する表示手段と、ユーザからの映像再生速度の変更指示を取得する再生速度変更指示入力手段と、映像再生速度の変更指示を映像配信装置に要求する再生速度変更要求手段と、クロックを備えてデコード及び表示のタイミングを決定する時刻管理手段と、バッファリング手段内部の映像データの時刻情報と時刻管理手段のクロック値を変更する時刻情報変更手段を備える。
 また、映像配信装置は、エンコードされた映像データを記憶するコンテンツ記憶手段と、コンテンツ記憶手段に保持されているコンテンツの情報を管理するコンテンツ情報管理手段と、ユーザからの再生速度の変更要求を受け付ける再生速度変更受付手段と、コンテンツ記憶手段からコンテンツを指定された読出しレートで読み出す映像データ読出し手段と、読み出された映像データをパケット化するパケタイズ手段と、パケットにデコード処理と再生処理に必要な同期時刻情報を設定する時刻情報設定手段と、時刻情報の設定が完了したパケットをネットワークに送出する送出手段と、映像データ読出し手段と時刻情報設定手段に再生倍率を通知する再生速度変更手段とを備える。
 再生速度変更指示入力手段を介してユーザが再生速度の変更を要求すると、再生速度変更要求手段は映像配信装置に対して再生速度変更コマンドと希望する再生速度倍率を通知する。映像配信装置の再生速度変更手段は要求された再生速度倍率に従い、映像データ読出し手段に読み出しレートを再生速度倍率に変更する指示を行う。また、時刻情報設定手段には付加する時刻情報のクロックレートを再生速度倍率で割った値に更新する指示を行う。パケットに付加する時刻情報のクロックレートを変更することにより、映像再生装置は時刻情報に従うことで、要求した映像再生速度での映像再生が可能になる。再生速度変更受付手段は、再生速度変更を実施する前に送出したパケットに付加した時刻情報を再生速度変更点の時刻として映像再生装置に通知する。
 映像再生装置の時刻情報変更手段は、映像配信装置から通知された時刻情報以下の時刻を持つパケットをバッファリング手段中から検索する。当該パケットに付加された時刻情報を再生速度変更後のパケットと同一の時刻増加率になるように付け替える。時刻情報変更手段は時刻情報の書き換えを行った後、最も小さい時刻情報を取得し、時刻管理手段にクロック値として設定する。パケットの時刻情報書き換え及び時刻管理手段へのクロック値指定を行うことで時刻管理手段は直ちにバッファリング手段の中のパケットをデコードし、再生を実施する。また、以降のパケットの時刻情報も希望した再生速度に相当する増分に書き換えているため、直ちに希望したフレームレートでの映像再生が可能になる。
 本発明によれば、再生速度を変更した場合、直ちに表示映像の再生速度が変化する。
 次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
 本発明の第一の実施の形態は、図1に示す映像配信システム100である。映像配信システム100は、映像配信装置200と、映像再生装置300と、ネットワーク500から構成されている。
 映像配信装置200は映像コンテンツを保持し、要求した端末に対して映像コンテンツの配信を行う装置であり、図2に示す通りコンテンツ記憶手段201、映像データ読み出し手段202、パケタイズ手段203、時刻情報設定手段204、送出手段205、コンテンツ情報管理手段206、再生速度変更手段207、再生速度変更受付手段208から構成されている。
 映像再生装置300は映像配信装置200に対して映像の配信を要求し、配信された映像コンテンツを受信し再生する装置であり、図3に示す通り受信手段301、バッファリング手段302、デパケタイズ手段303、デコード手段304、表示手段305、再生速度変更指示入力手段306、再生速度変更要求手段307、時刻情報変更手段308、時刻管理手段309から構成されている。
 ネットワーク500は映像配信装置200と映像再生装置300が接続されたネットワークまたはバスである。
 これらの手段はそれぞれ以下に示すように動作する。ここでは説明を容易にするため音声データの処理とエラー処理などに関しては省略している。
 映像配信装置200の構成要素について説明する。
 コンテンツ記憶手段201は1つ以上の映像コンテンツを格納し、保持する記憶手段である。
 コンテンツ情報管理手段206は、コンテンツ記憶手段201が保持している映像コンテンツの識別子や符号化ビットレート情報などのコンテンツ情報を保持し管理する手段である。本例ではこの情報はコンテンツ記憶手段201内部に映像コンテンツと共に記憶され、コンテンツ情報管理手段206が読み出しているが、他の記憶手段から取得するか、ユーザまたは管理者が直接情報を入力しても良い。
 コンテンツ読み出し手段202はコンテンツ記憶手段201から、指定された映像コンテンツを指定されたビットレートで読み出す手段である。通常再生時には、コンテンツ情報管理手段206から当該映像コンテンツの符号化ビットレート情報を取得し、そのビットレートに従ってコンテンツの読み出し処理を実施する。再生速度を上昇させるときには読み出しレートを増加し、再生速度を低下させるときは読み出しレートを減少させる処理を行う。
 パケタイズ手段203はコンテンツ読み出し手段202が読み出した映像コンテンツをネットワーク500へ送出するにあたり適当なサイズに分割し、規格に合わせたヘッダ等の管理情報を付加してパケット化する手段である。パケット化の規格について本発明は特に指定しないが、映像再生装置300で再生同期処理を行うために用いる時刻情報が付加できる必要がある。
 時刻情報設定手段204はパケタイズ手段203で生成されたパケットに対して、時刻情報を付加する手段である。時刻情報設定手段204は内部に時刻情報を生成するためのクロックカウンタを持っている。パケタイズ手段203が出力したパケットの時刻情報部分に対して、このクロックカウンタの値を付加する処理を行う。映像再生装置300ではこの時刻情報に従って映像のデコードと表示を行うことで一定のレートで映像を再生させることが可能になる。本発明では時刻情報をパケットのヘッダ部分に付加することを想定しているが、時刻情報の位置については特に限定しない。ペイロード内部に存在する場合や、パケットヘッダ以外の別の管理領域にある場合などでも本発明は有効である。
 送出手段205は時刻情報設定手段204で処理したパケットをネットワーク500に接続されている映像再生装置300に対して送出する手段である。本発明では送出方法としてインターネットへのユニキャスト送信を想定しているがこれに限らなくても本発明は有効である。またネットワーク500がNGN網等の優先配送制御をサポートするIPネットワークである場合はパケットに優先度情報を付加しても良い。
 再生速度変更受付手段208はネットワーク500に接続されている映像再生装置300から再生速度の変更要求を受け付ける手段である。映像再生装置300は再生速度変更要求メッセージとして希望する再生速度の倍率を通知する。再生速度変更受付手段208は再生速度変更手段207に対して、指定倍率での再生速度変更を指示する。再生速度の変更が可能になった場合は、再生速度変更受付メッセージを送出することで、映像再生装置300に対して再生速度の変更完了を通知する。再生速度変更受付メッセージには、再生速度変更手段207が時刻情報設定手段204から取得した、再生速度変更点時刻の情報を含んでいる。本発明ではメッセージの転送は映像コンテンツデータとは別のセッションを使用することを想定しているが、これに限らず送出手段205が使用しているセッションを使用する方法などであってもよい。また、現在の再生速度から再生速度を減少させる場合には、再生速度変更受付メッセージを通知した後に再生速度変更手段207に対して、指定倍率での再生速度変更を指示する。
 再生速度変更手段207は配信する映像コンテンツの再生速度を変更するため、映像データ読み出し手段202に対してコンテンツの読み出しレートの変更を指示し、時刻情報設定手段204に対してカウンタの増加割合であるクロックレートを変更する指示を行う手段である。新たな再生速度の倍率は再生速度変更受付手段208から通知される。映像データの読み出しレートにこの再生速度倍率をかけた値を新たな映像データの読み出しレートに決定し、データの読み出しの処理を変更する。時刻情報設定手段204の内部カウンタをこの再生速度倍率で割った値を新たなクロックレートとして設定する。続いて、新たなクロックレートを設定する直前にパケットに付加した時刻情報を再生速度変更点時刻として再生速度変更受付手段208に通知する。
 以上の手段とその動作により、映像配信装置200は映像再生装置300が要求した倍率での映像配信を行う。また、再生速度変更点時刻を映像再生装置300側に通知することで、パケットの内どこから再生速度が変更されたかを映像再生装置300側でも特定することが可能になる。
 つづいて映像再生装置300の構成要素について説明する。
 受信手段301はネットワーク500に接続された映像配信装置200から配信される映像コンテンツデータを受信する手段である。
 バッファリング手段302は受信手段301で受信した映像データを蓄積し、パケットの到着ジッタを吸収すると共にデコードまで映像データを待機させるための手段である。バッファリング手段302の別の機能として、時刻情報変更手段308と連携し、指定された時刻情報を持つ映像データを検索して、その時刻情報を書き換える処理を実施することがある。
 デパケタイズ手段303はパケットからペイロードを取り出して結合し、映像データに変換する手段である。デパケタイズ手段303の出力はデコード手段304でデコード可能なデータ形式に変換される。映像配信装置200が付加した時刻情報がパケットヘッダに存在する場合は、デパケタイズ手段303はデパケタイズ後の映像データに対して時刻情報を付加する処理を実施する。
 時刻管理手段309はデコード手段304に対して、デコード及び映像再生のタイミングを決定するための時刻情報を供給する手段である。内部にクロックを持ち、あらかじめ決定されたクロックレートで一様増加するカウンタを備えている。このカウンタ値は常にデコード手段304に供給されている。
 デコード手段304は映像データをデコードし、ビットマップデータを取得する手段である。デコード処理を実施するタイミングは時刻管理手段309のカウンタ値を使用して決定する。デコード手段304は、バッファリング手段302内に蓄積しているパケットの内、時刻管理手段309のカウンタ値以下の時刻情報を持つパケットが存在するときにデコード処理を実施する。デコード手段304は、バッファリング手段302からパケットを取り出し、デパケタイズ手段303を用いてデパケタイズ処理を実施する。このパケットの取り出しとデパケタイズの処理を行い、1ピクチャ分の映像データを取得した上で、映像コーデックを使用してデコード処理を実施する。デコードが完了した映像は、表示手段305に送り表示させる。
 表示手段305はビットマップデータを受け取り、映像を表示する手段である。本例ではこの表示手段305はモニタなどの映像表示デバイスを持つことを想定しているが、映像出力端子のみを備え、別の映像表示機器へ映像を転送する形態でも良い。
 再生速度変更指示入力手段306はユーザから映像再生速度の変更の指示を受け付ける手段である。本発明では再生速度の変更の受付手段については特定しない。ユーザインターフェースの再生速度変更ボタン等によって指示を受け付けることを想定しているが、数値入力やスライドバーなど他の方法であっても良い。
 再生速度変更要求手段307は再生速度の変更要求を、映像配信装置200の再生速度変更受付手段208に対して通知する手段である。再生速度変更指示入力手段306から再生速度の変更を受け付け、再生速度の倍率を決定し、再生速度変更要求メッセージに含めて映像配信装置200に対して送信する。要求した再生速度の変更が認められた場合には、再生速度変更受付メッセージを受信する。このメッセージを受信したときには、時刻情報変更手段308に対して映像配信装置200から同時に取得した再生速度変更点時刻の情報と共に再生レート変更の処理を指示する。
 時刻情報変更手段308は再生レート変更の高速化を実現するため、バッファリング手段302が保持している映像パケットの時刻情報の付け替えと、時刻管理手段309が保持するカウンタ値の変更を実施する手段である。この処理は再生速度変更要求手段307が、映像配信装置200から再生速度変更受付メッセージを受信したタイミングで実行される。
 時刻情報変更手段308の内部処理について、図4を用いて説明する。時刻情報変更手段308は再生速度変更要求手段307から現在の再生速度に対する再生速度の変更倍率421(値はk)と再生速度変更点時刻422(値は時刻4)を取得する。
 バッファリング手段302内部には、映像パケットが蓄積されている。映像パケットは、パケットヘッダ411、時刻情報412、ペイロード413から構成されている。時刻情報検索変更手段401はバッファリングされているパケットの時刻情報を検索し、再生速度変更点時刻422以下の時刻情報を持つパケット(ここでは時刻4、3、2、1が該当する)を抽出する。ここで、書き換える前の時刻情報をT、再生速度変更点時刻をT_change、再生速度の変更倍率をkとして、次式(1)で算出する新たな時刻情報T_newで書き換える。
 T_new = (T - T_change)/k + T_change ・・・(1)
 書き換えが完了した後、カウンタ値設定手段402はバッファリング手段302内部に蓄積されているパケットの内、最も小さい時刻情報414を取得し、時刻管理手段309の新たなカウンタ値431として設定する。
 以上の手段により、映像再生装置300は映像配信装置300が配信した映像パケットのデコードと表示を実施する。また、映像再生装置300が再生速度変更を要求した時は、映像配信装置200から再生速度変更前のパケットを識別するための時刻情報を取得し、バッファリング手段302に蓄積済みの再生速度変更要求前に配信されたパケットに対して時刻情報の付け替えを実施する。この付け替え処理を実施することにより、パケットの時刻情報の上昇レートを再生速度変更要求後のパケットの上昇レートと同一にする。付け替えを実施した後、バッファリング手段302中に存在する最も小さい時刻情報の値を時刻管理手段309のカウンタ値として設定することにより、次のデコード処理が待たされることなく実施される。
 本例では、バッファリング手段302は受信手段の301の後段に配置され、映像パケットをバッファリングする構成になっているが、これ以外の構成であっても良い。図5に示すように、デパケタイズ後の映像データをバッファリングする構成でも良い。この場合は、デパケタイズ手段で取得したペイロードに対して時刻情報をコピーする処理を実施する。さらに図6に示すように、デコード後のビットマップデータをバッファリングする構成であっても良い。この場合はデパケタイズ手段303からの出力データ及びデコード手段304の出力データもパケットに付加されていた時刻情報をコピーする処理を実施する。また、表示手段305が、時刻管理手段309から時刻情報の供給を受けて映像表示のタイミングを判断し、バッファリング手段302からビットマップデータを取得して表示を実施する。
 本例では、映像再生システム100はネットワーク500で接続された2つの装置から構成されるが、映像配信装置200が映像配信手段として、映像再生装置300が映像再生手段として、ネットワーク500がバスとして1つの筐体内にある映像再生装置を構成していても本発明は有効である。
 次に、映像再生装置300が映像の再生速度を変更する処理について、図7のシーケンス図を参照して詳細に説明する。以下では説明を簡単にするためにエラー処理についての記述を省略している。
 まず映像配信装置200が映像配信を開始する(ステップST701)。この映像再生開始に関する処理については本例では特に方式を特定しない。映像配信装置200は映像再生装置300に対して映像配信を継続する(ステップST702)。
 映像再生装置300から映像配信装置200の再生速度変更要求受付手段208に対して、再生速度の変更の要求を実施する(ステップST703)。この時、再生速度変更要求メッセージには再生速度倍率kが含まれている。
 映像配信装置200は配信処理を一時停止し(ステップST704)、映像データ読み出し手段202が持つ映像データ読み出しレートをk倍する(ステップST705)。また、時刻情報設定手段204が保持している現時点の時刻情報を保存し(ステップST706)、クロックレートを1/k倍した値を新たなクロックレートとして設定する(ステップST707)。
 再生速度変更の準備が完了した後、映像配信を再開する(ステップST708)。この再開により、k倍の再生を実現する映像ストリームが映像再生装置300に対して配信される(ステップST709)。
 再生速度変更受付手段208から映像再生装置300の再生速度変更要求手段307に対して、再生速度変更受付メッセージを送信する(ステップST710)。この再生速度変更受付メッセージには、ステップST706で取得した再生速度変更時刻情報が含まれている。
 次に映像再生装置300では、映像のデコード及び表示を一時停止し(ステップST711)、ステップST710で取得した時刻情報に従い、バッファリング手段302内部のパケットの時刻情報を書き換える(ステップST712)。続いて書き換えが完了したバッファリング手段302の内、最も小さな時刻情報を取得し、この値で時刻管理手段309のカウンタ値を変更する(ステップST713)。
 以上の処理が完了した後映像再生装置300は再び映像のデコード及び表示を再開する(ステップST714)。
 上記で説明した、本実施の形態の効果について説明する。本実施の形態では、映像再生装置300内部にバッファリングされているパケットに対して、そのデコード及び表示に関わる時刻情報を書き換える機能を備えた構成となっている。そのため、映像再生速度を変更した時点で既にバッファリング済みであるパケットであっても、再生速度変更後のパケットと同じ時刻情報増加率に補正することが可能である。そのため、直ちに目的の速度で映像を再生することができる。
 また、本実施の形態では、時刻情報を書き換えた後再生を実施するため、通常レスポンスを向上させるときに実施するパケット破棄を行う必要がない。そのため映像を欠落させることなく表示することが可能になる。
 (実施例1)
 次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。映像配信装置200のコンテンツ情報管理手段には、図8に示すコンテンツ管理情報800が格納されている。このコンテンツ管理情報800は、映像コンテンツデータを識別するためのファイル名801、コンテンツの内容を示すコンテンツ名802、映像コンテンツがエンコードされたときのビットレート303から構成されている。
 ユーザがコンテンツ名「野球中継」を選択した場合、映像データ読み出し手段202は、コンテンツファイルvdata002.mp4を、毎秒2Mbitの速度で読み出す処理を実施する。本実施例では、コンテンツファイルはMPEG-4コーデックにより圧縮されているものとする。
 パケタイズ処理について図9を用いて説明する。映像データ読み出し手段202から読み出された映像データ901は、パケタイズ手段203においてパケット単位へ分割される。本発明においてパケット化の規格には特に制限はないが、本実施例では、IETF RFC3016 “RTP Payload Format for MPEG-4 Audio/Visual Streams”を用いることとする。これにより時刻情報設定手段204が付加する時刻情報はRTPヘッダのタイムスタンプに記録される。
 映像データ901はネットワーク転送に適したサイズに分割され、ペイロード913となる。RTPヘッダ911を付加したのち、時刻情報設定手段204に出力する。この段階ではRTPヘッダのタイムスタンプ912には値を設定しない。
 パケタイズ処理が完了した後、時刻情報設定手段204において時刻情報の生成と付加を実施する。時刻情報の生成は、MPEG-4のピクチャ単位で行われる。通常再生時にはこの時刻情報は90kHzのクロックレートで生成される値であり、フレームレートが30fpsの映像コンテンツであれば、1ピクチャあたり3000ずつ上昇する値となる。図9では、0から始まる時刻情報921がピクチャ単位で生成され、各パケットのタイムスタンプ932に付加される。同一ピクチャであれば、パケットが異なっていても同一の時刻情報が付加される。
 時刻情報設定手段204から出力されたパケットは、送出手段205によって映像再生装置300に向けてネットワーク300に送出される。
 続いて、映像再生速度を2倍に変更する場合の映像配信装置200の処理について説明する。先の例と同じくコンテンツ名「野球中継」を再生中に、再生速度変更受付手段208が再生速度を2倍に変更する再生速度変更要求メッセージを受信する。
 再生速度変更手段207は現在コンテンツを読み出しているビットレートである2Mbpsに再生速度倍率2をかけ、4Mbpsの読み出し速度を新たなビットレートとして映像データ読み出し手段202に指定する。この後映像データ読み出し手段202は映像データを4Mbpsの速度で読み出す処理を実施する。
 また、再生速度変更手段207は時刻情報設定手段204が時刻情報を生成するクロックレートである90kHzを再生速度倍率2で割り、45kHzを新たなクロックレートとして時刻情報設定手段204に設定する。
 以上の設定情報の変更により、映像配信装置200は図10に示すように、再生途中から再生速度が2倍となるパケットの送出を行う。また、再生速度変更受付手段208は再生速度変更点時刻(図10で示す6000)を再生速度変更受付メッセージに含めて映像再生装置300に通知する。
 次に、映像再生速度を2倍に変更する場合の映像再生装置300内部の処理について説明する。再生速度を2倍に変更する要求を行った再生速度変更要求手段307は、再生速度変更受付手段208から、再生速度変更受付メッセージを受信する。メッセージ内部から再生速度変更点時刻(本例では6000)を取得し、再生速度変更手段308に再生速度倍率である2と共に通知する。
 時刻情報変更手段308は、再生処理を一時停止した後、バッファリング手段302に対してパケット内部の時刻情報の付け替えを実施する。付け替えの具体例を図11に示す。時刻情報変更手段308は再生速度変更要求手段307から、再生速度倍率1111(本例での値は2)と、再生速度変更点時刻1112(本例での値は6000)を受け取る。時刻情報検索変更手段401はバッファリング手段302にバッファリングされているRTPパケットのタイムスタンプを検索し、タイムスタンプに6000を持つRTPパケット1103を取得する。続いて6000以下の時刻情報を持つパケットに対して、式(1)の演算で求めた新たな時刻情報を付加する。具体的には、RTPパケット1103では、(6000 - 6000)/2 + 6000 = 6000となり、RTPパケット1102では、(3000 - 6000)/2 + 6000 = 4500となり、RTPパケット1101では (0 - 6000)/2 + 6000 = 3000となる。パケットの付け替えが完了した後、カウンタ値設定手段402は最も小さな時刻情報1113(本例での値は3000)を取得し、時刻管理手段309が持つカウンタ値として設定する。
 上記の設定が完了した後、時刻情報変更手段308は再生処理を再開する。図12に示すようにパケットの時刻情報を付け替えたことによって、バッファリング手段302にバッファリングされたパケットの時刻情報の増加率はすべて再生速度変更後のものと同一になり、すべてのパケットが2倍の速度で再生可能になる。また、時刻管理手段309が持つカウンタをバッファリング手段302内部の最も早くデコードされるべきパケットの時刻情報で書き換えているため、再生処理の再開時に直ちに再生が実施される。
 (実施例2)
 次に第2の例を挙げて本発明を実施する動作を説明する。
 図13は映像配信装置1300のブロック図である。映像配信手段1300は、スケーラブルコンテンツ配信手段1301、レイヤ別コンテンツ読み出し手段1302、パケタイズ手段1303、時刻情報設定手段1304、送出手段1305、スケーラブルコンテンツ情報管理手段1306、再生速度変更手段1307、再生速度変更受付手段1308から構成される。
 スケーラブルコンテンツ記憶手段1301は映像スケーラブルコーデックでエンコードされた映像コンテンツを記憶する手段である。本実施例では映像コンテンツはH.264/SVC (Scalable Video Coding)コーデックで圧縮され、基本レイヤと2つの拡張レイヤ(第1拡張レイヤ、第2拡張レイヤ)から構成されるものとする。第1拡張レイヤは基本レイヤとあわせてデコードすることで、基本レイヤのみデコードした結果以上の画像品質を得られる基本レイヤの上位に位置するビットストリームである。第2拡張レイヤは基本レイヤと第1拡張レイヤと共にデコードすることで基本レイヤと第1拡張レイヤのみデコードした結果以上の画像品質を得られる第1拡張レイヤの上位に位置するビットストリームである。本実施例ではSN比スケーラブルエンコードの設定で、コンテンツのビットレートは図14に示すようにそれぞれ各レイヤ1Mbpsずつ、コンテンツ全体で3Mbpsとする。本発明はSNスケーラブル設定に限らず、空間スケーラブル設定、時間スケーラブル設定等であっても有効である。
 スケーラブルコンテンツ情報管理手段1306はコンテンツ記憶手段1301が記憶しているコンテンツ情報1401を保持し、必要に応じて再生速度変更手段1307に提供する手段である。
 レイヤ別コンテンツ読み出し手段1302はスケーラブルコンテンツ記憶手段1301から、指定されたレイヤのストリームを指定されたビットレートで読み出す手段である。読出しに際し、レイヤ別コンテンツ読み出し手段1302は再生速度変更手段1307からスケーラブルコンテンツ記憶手段1301に記憶されているコンテンツ中のどのレイヤを読み出すか、またそれぞれのレイヤの読出しビットレートの指定を受ける。本実施例における通常再生時には基本レイヤから第2拡張レイヤまでの全ストリームを受信端末に送出するため、再生速度変更手段1307はレイヤ別コンテンツ読み出し手段1302に対して、基本レイヤ、第1拡張レイヤ、第2拡張レイヤをそれぞれ1Mbpsで読み出す指示を行う。
 レイヤ別コンテンツ読み出し手段1302はスケーラブルコンテンツ記憶手段1301中のH.264/SVCストリームを読み出し、そのデータをパケタイズ手段1303へ送出する。早送り再生を実施する時は再生速度変更手段1307が決定した各レイヤ別の読出しビットレートに従って読み出し処理を行う。
 再生速度変更手段1307は再生速度変更要求受付手段1308から再生速度倍率を取得し、映像コンテンツの各レイヤ別読出しビットレートの変更を決定する手段である。再生速度変更手段1307はスケーラブルコンテンツ情報管理手段1306から配信するコンテンツのレイヤ情報とビットレート情報を取得する。また、ユーザから使用可能ネットワーク帯域の指定を受ける。各レイヤ別の配信ビットレートの算出方法については図14を元に説明する。再生速度変更手段1307はユーザから使用可能ネットワーク帯域Ballの指定を受ける。本実施例ではBall=3Mbpsとする。この使用可能ネットワーク帯域Ballを超えない範囲で基本レイヤのストリームのビットレートに再生速度の倍率をかけて早送り再生時の基本レイヤ読出しビットレートを算出する。再生速度倍率が1.5倍の時1.5Mbps、2.0倍の時2Mbps、2.5倍の時2.5Mbps、3.0倍の時3Mbpsとなる。
 再生速度の倍率が1.5倍の時には基本レイヤの読出しビットレートは1.5Mbpsであり、使用可能ネットワーク帯域Ballとの差から使用していない帯域が1.5Mbpsとなる。基本レイヤだけでなく、基本レイヤの上位レイヤである第1拡張レイヤを1.5倍速で送出しても使用帯域は(1.5+1.5)=3Mbpsとなり、使用可能ネットワーク帯域Ballを超えることはない。このように上位の拡張レイヤを含めてビットレートを上昇させた場合でも使用可能ネットワーク帯域Ballを超えない場合は上位の拡張レイヤも含めて送出する処理を行っても良い。この時は受信端末上では基本レイヤのみを送出したとき以上の画質で早送り映像を視聴することが可能になる。しかし本実施例では再生速度の倍率が2.0倍を超えるときは基本レイヤと同じ割合で第1拡張レイヤの読出しビットレートを向上させると (2.0+2.0)=4Mbpsとなり、使用可能ネットワーク帯域Ballを超える。この場合は第1拡張レイヤの送出は行わずに、空き帯域を残したまま基本レイヤのみ2Mbpsでの送出を決定する。
 パケタイズ及び送出については実施例1で述べた処理と同等である。時刻情報の付加については、時刻情報の生成に関しては実施例1と同じであるが、異なるレイヤであっても、同一のピクチャを構成する場合は同じ時刻情報を付加する処理を行う。
 再生速度を変化させた場合の映像再生の処理について図15を用いて説明する。映像再生装置1500は受信手段1501、バッファリング手段1502、デパケタイズ手段1503、スケーラブルコンテンツデコード手段1504、表示手段1505、再生速度変更指示入力手段1506、再生速度変更要求手段1507、時刻情報変更手段1508、時刻管理手段1509から構成される。
 映像再生装置1500のスケーラブルコンテンツデコード手段1504は、デパケタイズ手段から出力されたスケーラブル映像データをデコードしてビットマップを表示する手段である。
 映像配信装置1300が第2拡張レイヤを送出しなかった時、スケーラブルコンテンツデコード手段1504は、第1、基本の2つの拡張レイヤを用いてデコードを実施し、粗いビットマップ映像を出力する。また、第2、第1拡張レイヤを送出しなかった時、スケーラブルコンテンツデコード手段1504は基本レイヤのみデコードし、より粗いビットマップ映像を出力する。
 再生速度を変更する場合には、時刻情報変更手段は実施例1と同様にバッファリング手段1502内部のパケットを検索する。検索の結果、再生速度変更時刻以下の複数のレイヤのパケットが取得される。その各パケットに対して式1によって時刻情報を付け替える。また、付け替えた結果パケットが持つ最も小さな時刻情報を時刻管理手段1509のクロックカウンタに設定する。
 以上により、映像配信装置1300は映像の再生速度を増加させるときに、指定されたビットレートを超えることなく、映像を送出することが可能になる。また、映像再生装置1500は再生速度を増加させる要求を出した後、直ちに再生映像のフレームレートを増加させることが可能になる。
 なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、映像配信装置、映像再生装置の機能を実現するためのプログラムを各装置に読込ませて実行することにより各装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるCD-ROMまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。また、各装置の機能が他の装置によりまとめて実現されたり、追加の装置により機能が分散されて実現される形態も本発明の範囲内である。
 なお、この出願は、2008年3月21日に出願した、日本特許出願番号2008-073925号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明は、例えば、VoDプレーヤやnDVRプレーヤ等の映像再生クライアントと言った用途に適用できる。また、HDDレコーダなどの映像再生装置と言った用途にも適用可能である。
本発明の第一の実施の形態を示すシステム構成図である。 本発明の第一の実施の形態の映像配信装置内部のブロック図である。 本発明の第一の実施の形態の映像再生装置内部のブロック図である。 本発明の第一の実施の形態の時刻情報の付け替え処理を示す図である。 本発明の第一の実施の形態の映像再生装置の他の構成を示すブロック図である。 本発明の第一の実施の形態の映像再生装置の他の構成を示すブロック図である。 本発明の第一の実施の形態の映像再生速度変更処理を示すシーケンス図である。 本発明の第一の実施の形態のコンテンツ情報を示す図である。 本発明の第一の実施の形態のパケタイズ処理と時刻情報変更処理を示す図である。 本発明の第一の実施の形態における再生速度変更時のパケットを示す図である。 本発明の第一の実施の形態の再生装置側での時刻情報の変更方法を示す図である。 本発明の第一の実施の形態の時刻情報を示すグラフである。 本発明の第二の実施の形態の映像配信装置内部のブロック図である。 本発明の第二の実施の形態実施の形態のコンテンツ情報を示す図である。 本発明の第二の実施の形態実施の形態の映像再生装置内部のブロック図である。

Claims (21)

  1.  映像データを貯留するバッファリング手段と、同期用の時刻情報を供給する時刻管理手段と、映像データに付加されている時刻情報を変更し、時刻管理手段に対して時刻の設定を行う時刻情報変更手段を備えたことを特徴とする映像再生装置。
  2.  前記時刻情報変更手段は、前記バッファリング手段内部に貯留された映像データの内、ある時刻情報を持つ映像データを選択し、選択された映像データの時刻情報を変更する時刻情報検索変更手段と、前記バッファリング手段内部に貯留された映像データの持つ時刻情報を取得し、前記時刻管理手段に設定するカウンタ値設定手段を備えたことを特徴とする請求項1記載の映像再生装置。
  3.  前記時刻情報検索変更手段は、特定の時刻以下の時刻情報を持つ映像データを抽出し、前記抽出された映像データの時刻情報を変更し、
     前記カウンタ値設定手段は、前記バッファリング手段内部に貯留された映像データの時刻情報の内、前記時刻管理手段が保持する現在時刻に最も近い時刻情報を取得することを特徴とする請求項2記載の映像再生装置。
  4.  前記時刻情報検索変更手段は、前記抽出された映像データの時刻情報の増加率を、抽出されなかった映像データの時刻情報の増加率と等しくなるように前記抽出された映像データの時刻情報を変更することを特徴とする請求項3記載の映像再生装置。
  5.  前記時刻情報検索変更手段が映像データを選択または抽出するときに用いる時刻情報は、映像配信装置から取得することを特徴とする請求項2乃至4のいずれか1項に記載の映像再生装置。
  6.  前記映像データはRTPパケット化された映像コンテンツであり、前記映像データの時刻情報はRTPタイムスタンプであることを特徴とする請求項1乃至5のいずれか1項に記載の映像再生装置。
  7.  前記映像データはスケーラブルコーデックでエンコードされた映像コンテンツであることを特徴とする請求項1乃至6のいずれか1項に記載の映像再生装置。
  8.  映像の再生速度を変更する際、再生速度を変更した映像データを特定することが可能な時刻情報を映像再生装置に通知する再生速度変更手段を備えたことを特徴とする映像配信装置。
  9.  前記映像データはRTPパケット化された映像コンテンツであり、前記時刻情報はRTPタイムスタンプであることを特徴とする請求項8記載の映像配信装置。
  10.  前記映像データはスケーラブルコーデックでエンコードされた映像コンテンツであることを特徴とする請求項8または9記載の映像再生装置。
  11.  請求項5から7のいずれか1項に記載の映像再生装置と、請求項8から10のいずれか1項に記載の映像配信装置とによって構成されることを特徴とする映像配信システム。
  12.  映像再生装置と映像配信装置はバス接続されていることを特徴とする請求項11記載の映像配信システム。
  13.  映像再生装置に、映像データを貯留するバッファリング処理と、同期用の時刻情報を供給する時刻管理処理と、映像データに付加されている時刻情報を変更し、時刻管理手段に対して時刻の設定を行う時刻情報変更処理を実行させることを特徴とするプログラム。
  14.  前記時刻情報変更処理では、前記バッファリング手段内部に貯留された映像データの内、ある時刻情報を持つ映像データを選択し、選択された映像データの時刻情報を変更する時刻情報検索変更処理と、前記バッファリング処理で貯留された映像データの持つ時刻情報を取得し、カウンタ値設定処理を実行させることを特徴とする請求項13記載のプログラム。
  15.  前記時刻情報検索変更処理では、特定の時刻以下の時刻情報を持つ映像データを抽出し、前記抽出された映像データの時刻情報を変更し、
     前記カウンタ値設定処理では、前記バッファリング手段内部に貯留された映像データの時刻情報の内、前記時刻管理手段が保持する現在時刻に最も近い時刻情報を取得することを特徴とする請求項14記載のプログラム。
  16.  前記時刻情報検索変更処理では、前記抽出された映像データの時刻情報の増加率を、抽出されなかった映像データの時刻情報の増加率と等しくなるように前記抽出された映像データの時刻情報を変更することを特徴とする請求項15記載のプログラム。
  17.  前記時刻情報検索変更処理で映像データを選択または抽出するときに用いる時刻情報は、映像配信装置から取得することを特徴とする請求項14乃至16のいずれか1項に記載のプログラム。
  18.  前記映像データはRTPパケット化された映像コンテンツであり、前記映像データの時刻情報はRTPタイムスタンプであることを特徴とする請求項14乃至17のいずれか1項に記載のプログラム。
  19.  映像配信装置に、映像の再生速度を変更する際、再生速度を変更した映像データを特定することが可能な時刻情報を映像再生装置に通知する再生速度変更処理を実行させることを特徴とするプログラム。
  20.  前記映像データはRTPパケット化された映像コンテンツであり、前記時刻情報はRTPタイムスタンプであることを特徴とする請求項19記載のプログラム。
  21.  前記映像データはスケーラブルコーデックでエンコードされた映像コンテンツであることを特徴とする請求項19または20記載のプログラム。
PCT/JP2009/055417 2008-03-21 2009-03-19 映像再生装置、映像配信装置、映像配信システムおよびプログラム WO2009116619A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010503923A JP5310718B2 (ja) 2008-03-21 2009-03-19 映像再生装置、映像配信システム、映像再生方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-073925 2008-03-21
JP2008073925 2008-03-21

Publications (1)

Publication Number Publication Date
WO2009116619A1 true WO2009116619A1 (ja) 2009-09-24

Family

ID=41091017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/055417 WO2009116619A1 (ja) 2008-03-21 2009-03-19 映像再生装置、映像配信装置、映像配信システムおよびプログラム

Country Status (2)

Country Link
JP (1) JP5310718B2 (ja)
WO (1) WO2009116619A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019781A (ja) * 2004-06-30 2006-01-19 Toshiba Corp コンテンツ再生装置
JP2006135459A (ja) * 2004-11-04 2006-05-25 Toshiba Corp 映像再生方法、映像通信システム及び映像再生装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019781A (ja) * 2004-06-30 2006-01-19 Toshiba Corp コンテンツ再生装置
JP2006135459A (ja) * 2004-11-04 2006-05-25 Toshiba Corp 映像再生方法、映像通信システム及び映像再生装置

Also Published As

Publication number Publication date
JPWO2009116619A1 (ja) 2011-07-21
JP5310718B2 (ja) 2013-10-09

Similar Documents

Publication Publication Date Title
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
JP4405523B2 (ja) コンテンツ配信システム、このコンテンツ配信システムで使用されるサーバ装置及び受信装置
US9288537B2 (en) Media stream generation based on a category of user expression
US9813740B2 (en) Method and apparatus for streaming multimedia data with access point positioning information
JP5794998B2 (ja) 適応的なストリーミング方法及びその装置
JP5257367B2 (ja) 映像配信装置、映像配信システム及び映像配信方法
US9756364B2 (en) Streaming method and apparatus operating by inserting other content into main content
JP5338394B2 (ja) 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
US7830908B2 (en) Systems and methods of reducing delay in decoding
EP4038895A1 (en) Use of extensions in gltf2 scene description to support video and audio data
KR20170074866A (ko) 수신 장치, 송신 장치, 및 데이터 처리 방법
JP2019517219A (ja) トリックプレイ再生の間にオーディオコンテンツを提供するためのシステムおよび方法
CN113141522B (zh) 资源传输方法、装置、计算机设备及存储介质
JP2013192062A (ja) 映像配信システム、映像配信装置、映像配信方法およびプログラム
JP2013074534A (ja) 記録装置、配信装置、記録方法、プログラム、及び記録媒体
JP5310718B2 (ja) 映像再生装置、映像配信システム、映像再生方法およびプログラム
KR20150027745A (ko) 상호작용 오디오/비디오 브로드캐스트 시스템, 이 시스템을 동작시키기 위한 방법 및 상호작용 오디오/비디오 브로드캐스트 시스템에서의 동작을 위한 사용자 디바이스
JP2004289628A (ja) ストリーミング配信システム、セットトップボックス、ストリーミング配信方法、ストリーミング配信プログラム
JP6178893B1 (ja) ユニキャスト配信装置、再生同期システム、ユニキャスト配信方法、およびユニキャスト配信プログラム
JP2004501557A (ja) 汎用デジタル放送システムおよび方法
JP2005318190A (ja) 映像配信方法およびシステム
KR20090123519A (ko) 다운로드-앤-플레이 서비스에서 전 구간에 대한 컨텐츠트릭 플레이 기능 및 찾기 기능을 제공하는 방법 및 그컨텐츠 수신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09721790

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010503923

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09721790

Country of ref document: EP

Kind code of ref document: A1