WO2008108379A1 - メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム - Google Patents

メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム Download PDF

Info

Publication number
WO2008108379A1
WO2008108379A1 PCT/JP2008/053888 JP2008053888W WO2008108379A1 WO 2008108379 A1 WO2008108379 A1 WO 2008108379A1 JP 2008053888 W JP2008053888 W JP 2008053888W WO 2008108379 A1 WO2008108379 A1 WO 2008108379A1
Authority
WO
WIPO (PCT)
Prior art keywords
media
terminal
receiving terminal
bit rate
bandwidth
Prior art date
Application number
PCT/JP2008/053888
Other languages
English (en)
French (fr)
Inventor
Hisashi Shiba
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2009502592A priority Critical patent/JPWO2008108379A1/ja
Publication of WO2008108379A1 publication Critical patent/WO2008108379A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/127Avoiding congestion; Recovering from congestion by using congestion prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416Real-time traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/38Flow control; Congestion control by adapting coding or compression rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64761Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769Control signals issued by the network directed to the server or the client directed to the server for rate control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server

Definitions

  • the present invention relates to a media delivery system, a delivery server device, a media delivery method used therefor, and a program thereof, and more particularly, to a system for delivering media such as video and music to a personal computer or a portable information terminal.
  • This service includes a file download format and a streaming format that distributes files sequentially.
  • the streaming format that does not require large-capacity storage to store the downloaded media on the receiving side is targeted.
  • JP-A-2005-318057 hereinafter referred to as documents 1 to 10 in order
  • Reference 11 The method described in No. 52 (hereinafter referred to as Reference 11) has been proposed. Furthermore, although tracking of bandwidth fluctuation is not mentioned, a method described in Japanese Patent Laid-Open No. 2001_128132 (hereinafter referred to as Reference 12) has been proposed as a method for reducing the amount of image data. Yes.
  • Reference 13 a method for controlling a communication session in accordance with a band. Controls line allocation so that bandwidth is allocated as evenly as possible regardless of the communication contents of each communication terminal when there is a terminal, and controls the bit rate of communication for a single terminal.
  • the field of application and purpose are different from the present invention.
  • Document 14 As a method for deferring data when there is a sufficient bandwidth, the method described in Japanese Patent Laid-Open No. 2003-209593 (hereinafter referred to as Document 14) has been proposed. Does not assume fluctuations in the communication band, and has a different purpose from the present invention that transmits media at an optimum bit rate in accordance with fluctuations in the communication band.
  • Reference 15 The method described in Japanese Patent No. 6673 (hereinafter referred to as Reference 15) has been proposed, but with this method, the bit rate is determined by determining the importance of each scene for the stored video, not for distribution.
  • the application field and purpose are different from those of the present invention in which media is transmitted at an optimum bit rate in accordance with fluctuations in the communication band. Disclosure of the invention: Problems to be solved by the invention
  • the communication bandwidths are measured for all of the methods described in the above documents 1 to 10.
  • bandwidth fluctuations are significant, so the measured bandwidth may differ greatly from the actual data transmission bandwidth.
  • bit rate is adjusted so as to match the band at the time of measurement, or the appropriate bit rate is estimated from the average of the band over a certain period.
  • bit rate is adjusted so that it fits the measured bandwidth, if the bandwidth changes frequently and the media quality fluctuates frequently, viewing will be disturbed. Since the average of the bandwidth for a certain period is only the average of the past, the divergence may increase when applied to the future.
  • Reference 15 also gives a specific example of the adjustment of the data volume of the GOP interval. As with the above, it is difficult to achieve high quality at a low bit rate, and is invalid for audio-only data.
  • the future bandwidth prediction is not performed, only the current bandwidth is used, and the bit rate may change after a bucket loss occurs. Quality can be significantly reduced temporarily. Even if packet loss does not occur, Document 4 does not assume that the bandwidth fluctuates rapidly, so the bit rate suddenly fluctuates when the bandwidth fluctuates suddenly, resulting in a decrease in media quality. There is a case. Also, as a feature of this method, in the band search mode, the transmission bit rate is changed without changing the content bit rate, but the media length (length) does not match the transmission time, so it is often optimal. If you try to find a good bit rate, playback will be delayed and the quality of the media will be degraded.
  • Reference 5 for example, future bandwidth prediction is not performed and only the current bandwidth is used.
  • Reference 5 aims for continuous playback, and when the band fluctuates rapidly, the media quality also fluctuates abruptly.
  • Reference 3 since the bandwidth is changed after measuring the jitter, if the delay is large and sudden bandwidth fluctuation occurs, the bit rate cannot be changed and the quality of the media may be significantly reduced. is there.
  • Reference 3 assumes a specific communication protocol called RTP, which may be difficult to apply to other protocols.
  • Reference 11 predicts the bandwidth at a certain point in the future, but the position of the vehicle at a certain point in the future is estimated from the position and speed of the vehicle assumed as the receiving terminal. Because the band is only estimated from the reception status at that location in the past, the physical conditions such as weather conditions and electromagnetic environment, and the band occupancy rate due to the use of other users change. I can't respond.
  • Reference 11 aims to reduce the interruption of media, but does not assume that the bandwidth fluctuates rapidly. Therefore, if the bandwidth fluctuates rapidly, the media quality also fluctuates rapidly. Resulting in.
  • the object of the present invention is to solve the above-mentioned problems, and even in an environment where the bandwidth fluctuates frequently, it is possible to stably deliver the quality of the media as long as the user does not feel uncomfortable. It is to provide a media distribution system, a distribution server device, a media distribution method used for them, and a program thereof. Means for solving the problem
  • a media distribution system includes a distribution server that distributes media including at least video and music, and a receiving terminal that receives and reproduces the media from the distribution server via a network.
  • the distribution server includes a terminal information acquisition unit that acquires terminal information indicating a model of the receiving terminal, a terminal database that stores the terminal information in advance, the terminal information acquired by the terminal information acquisition unit, and the terminal database Terminal performance determination means for comparing the processing capability of the receiving terminal and the corresponding media format as terminal performance by comparing with the terminal information of the receiving terminal, and the memory capacity currently available from the receiving terminal and the free space of the central processing unit.
  • a terminal resource acquisition unit that acquires a resource including at least a communication state and a disk capacity as an available resource, a connection environment determination unit that determines an environment type to which the receiving terminal is connected as a connection environment, and a current bandwidth.
  • Bandwidth measurement means for measuring, bandwidth fluctuation prediction means for predicting future bandwidth fluctuation for a predetermined period from a connected environment type and a current usable bandwidth, and making the future bandwidth fluctuation, and the terminal performance Even if the bandwidth fluctuates abruptly from the available resources and the future bandwidth fluctuation, the media at the receiving terminal is not interrupted, and the quality of the media is maintained so as to maintain high quality so that it does not fluctuate rapidly in the future.
  • a bit rate determining means for determining the optimum bit rate of the media and an optimal encoding method for achieving the optimum bit rate.
  • encoding means for encoding the media and distribution means for distributing the encoded media to the receiving terminal,
  • the receiving terminal stores resources currently available from the buffering means for storing the media in a buffer for a predetermined time, the playback means for playing back the stored media, and the buffering means and the playback means.
  • Terminal resource notification means for acquiring as available resources and notifying the distribution server.
  • a distribution server device is a distribution server device that distributes media including at least video and music to a receiving terminal via a network, and acquires terminal information indicating a model of the receiving terminal.
  • Terminal information acquisition means a terminal database for preliminarily storing the terminal information, terminal information acquired by the terminal information acquisition means and terminal information in the terminal database, and processing capacity and corresponding media format of the receiving terminal
  • Terminal performance determination means for determining the terminal performance as terminal performance
  • terminal resource acquisition means for acquiring a resource including at least the memory capacity currently available from the receiving terminal, the free state of the central processing unit, and the disk capacity as an available resource;
  • a connection environment determination unit that determines the environment type to which the receiving terminal is connected as a connection environment.
  • Bandwidth measurement means to measure the current bandwidth, and the bandwidth variation to predict future bandwidth variation for a certain period of time determined in advance from the connected environment type and the current usable bandwidth Even if the band suddenly fluctuates due to the prediction means, the terminal performance, the available resource, and the future band fluctuation, A bit rate determination means for determining an optimum bit rate of the media so that the media quality is not interrupted and the quality of the media is not changed rapidly in the future while maintaining high quality, and the optimum bit rate is achieved. Therefore, an encoding unit that selects an optimal encoding method and encodes the medium is provided, and a distribution unit that distributes the encoded medium to the receiving terminal.
  • a media distribution method includes a distribution server that distributes media including at least video and music, and a receiving terminal that receives and reproduces the media from the distribution server via a network.
  • a media distribution method used in a system includes a distribution server that distributes media including at least video and music, and a receiving terminal that receives and reproduces the media from the distribution server via a network.
  • a terminal information acquisition process in which the distribution server acquires terminal information indicating a model of the receiving terminal; a terminal database that stores the terminal information in advance; the terminal information acquired in the terminal information acquisition process; and the terminal database Terminal performance determination processing for comparing the receiving terminal processing capability and corresponding media type as terminal performance, and the memory capacity currently available from the receiving terminal and the free state of the central processing unit.
  • a terminal resource acquisition process for acquiring a resource including at least a disk capacity as an available resource, a connection environment determination process for determining the environment type to which the receiving terminal is connected as a connection environment, and a band for measuring the current band A fixed period of time determined in advance from the measurement process, the type of environment connected and the current available bandwidth.
  • the band fluctuation prediction process for predicting the movement and making the band fluctuation in the future, and even if the band suddenly fluctuates from the terminal performance, the available resource, and the band fluctuation in the future, the media is not interrupted at the receiving terminal.
  • a bit rate determination process for determining an optimum bit rate of the media so that the quality of the media does not change rapidly in the future while maintaining a high quality, and an optimal encoding for achieving the optimum bit rate
  • the receiving terminal saves the currently available resources from a buffering process for storing the media in a buffer for a predetermined time, a playback process for playing back the stored media, and the buffering process and the playback process. Terminal resource notification processing that is acquired as an available resource and notified to the distribution server Yes.
  • a program according to another aspect of the present invention is a program executed by a computer in a distribution server device that distributes media including at least video and music to a receiving terminal via a network,
  • a terminal information acquisition process for acquiring terminal information indicating the model of the receiving terminal, a terminal database for preliminarily storing the terminal information, a terminal information acquired in the terminal information acquisition process, and a terminal information in the terminal database Resources including at least a terminal performance determination process for determining the processing capability and corresponding media format of the receiving terminal as terminal performance, a memory capacity currently available from the receiving terminal, a free state of the central processing unit, and a disk capacity
  • a terminal resource acquisition process a connection environment determination process for determining the environment type to which the receiving terminal is connected as a connection environment, a band measurement process for measuring the current band, Predict future bandwidth fluctuations for a predetermined period of time based on the current environmental type and the current available bandwidth.
  • a bit rate determination process for determining an optimal media bit rate that does not fluctuate rapidly in the future while maintaining quality, and an optimal encoding method for achieving the optimal bit rate is selected.
  • An encoding process for encoding the medium, and a distribution process for distributing the encoded medium to the receiving terminal is selected.
  • the present invention is configured and operated as described above, so that even in an environment where the band frequently fluctuates, it is possible to stabilize and deliver the quality of the media as long as the user does not feel uncomfortable or unnatural. The effect that it can be obtained.
  • FIG. 1 is a block diagram showing the configuration of a media distribution system according to the first embodiment of the present invention.
  • FIG. 2 is a sequence chart showing the operation of the media distribution system according to the first example of the present invention.
  • FIG. 3 is a diagram showing a setting example of the first bit rate according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of setting the second bit rate according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a third bit rate setting example according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a fourth bit rate setting example according to the first embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of a media distribution system according to the second embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of a media distribution system according to the third embodiment of the present invention.
  • FIG. 9 is a block diagram showing the configuration of a media distribution system according to the fourth embodiment of the present invention.
  • FIG. 10 is a block diagram showing the configuration of a media distribution system according to the fifth embodiment of the present invention.
  • FIG. 11 is a block diagram showing the configuration of a media distribution system according to the sixth embodiment of the present invention.
  • FIG. 12 is a block diagram showing the configuration of a media distribution system according to the seventh embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of a media distribution system according to the eighth embodiment of the present invention.
  • FIG. 14 is a block diagram showing the configuration of a media distribution system according to the ninth embodiment of the present invention.
  • FIG. 15 is a block diagram showing the configuration of the media distribution system according to the tenth embodiment of the present invention.
  • FIG. 16 is a block diagram showing the configuration of the media distribution system according to the first embodiment of the present invention.
  • FIG. 17 is a block diagram showing the configuration of the media distribution system according to the 12th embodiment of the present invention.
  • FIG. 18 is a block diagram showing the configuration of the media distribution system according to the thirteenth embodiment of the present invention.
  • FIG. 19 is a block diagram showing the configuration of the media distribution system according to the fourteenth embodiment of the present invention.
  • FIG. 20 is a block diagram showing the configuration of the media distribution system according to the fifteenth embodiment of the present invention.
  • FIG. 21 is a block diagram showing a configuration of a media distribution system according to the sixteenth embodiment of the present invention.
  • FIG. 22 is a block diagram showing the configuration of the media distribution system according to the seventeenth embodiment of the present invention.
  • FIG. 23 is a block diagram showing the configuration of the media distribution system according to the eighteenth embodiment of the present invention.
  • FIG. 24 is a block diagram showing the configuration of the media distribution system according to the nineteenth embodiment of the present invention.
  • FIG. 25 is a block diagram showing the configuration of the media distribution system according to the 20th embodiment of the present invention.
  • FIG. 26 is a block diagram showing the configuration of the media distribution system according to the 21st embodiment of the present invention.
  • FIG. 27 is a block diagram showing the configuration of a media distribution system according to the 22nd embodiment of the present invention.
  • FIG. 28 is a block diagram showing the configuration of the media distribution system according to the 23rd embodiment of the present invention.
  • FIG. 29 is a block diagram showing a configuration of a media distribution system according to a twenty-fourth embodiment of the present invention.
  • FIG. 30 is a block diagram showing the configuration of the media distribution system according to the 25th embodiment of the present invention.
  • FIG. 31 is a block diagram showing a configuration of a media distribution system according to the twenty-sixth embodiment of the present invention. Best Mode for Carrying Out the Invention:
  • FIG. 1 is a block diagram showing the configuration of a media distribution system according to the first embodiment of the present invention.
  • the media distribution system according to the first embodiment of the present invention includes a distribution server 1 that distributes media such as video and music, and a receiving terminal 5 that receives and plays back media via a network 100. Has been.
  • the distribution server 1 includes, for example, a personal computer (hereinafter referred to as a personal computer) and a workstation.
  • the receiving terminal 5 is composed of, for example, a personal computer, a portable information terminal, a mobile phone, a portable music terminal, and an information appliance, but may be a television or radio having a network function as a set-top box.
  • the network 100 includes, for example, the Internet and a LAN (Local Area Network).
  • a wireless LAN including Bluetooth (registered trademark), infrared communication, visible light communication, ultrasonic Communication may be used.
  • the distribution server 1 includes a terminal information acquisition unit 1 1, a terminal database 1 2, a terminal performance determination unit 1 3, a terminal resource acquisition unit 14, a connection environment determination unit 15, a bandwidth measurement unit 16, a bandwidth It comprises a fluctuation prediction means 17, a bit rate determination means 18, a sign key means 19, and a distribution means 20.
  • the terminal information acquisition means 11 acquires terminal information indicating the model of the receiving terminal 5 on the receiver side.
  • the terminal performance determination means 13 compares the acquired terminal information with the terminal database 12 stored in advance by the system administrator, and determines the processing capability of the receiving terminal 5 and the corresponding media format as the terminal performance.
  • Terminal resource acquisition means 14 is based on the memory capacity and CPU (central processing unit) currently available from the receiving terminal 5.
  • the connection environment discrimination means 15 is configured so that the receiving terminal 5 is connected to a broadband environment, a wireless LAN, The environment type to which the receiving terminal 5 is connected is determined as the connection environment.
  • Band measuring means 16 measures the current band.
  • the bandwidth fluctuation prediction means 17 predicts future bandwidth fluctuations for a certain period of time, which is determined in advance by the system administrator, from the connected environment type and the current bandwidth, and sets them as future bandwidth fluctuations.
  • Bit rate determination means 18 is based on the above-mentioned terminal performance and future bandwidth fluctuations, and even if the bandwidth fluctuates rapidly, the media is not interrupted at the receiving terminal 5 and the media quality is maintained at a high quality for the future. Determine the optimal media bit rate that does not fluctuate rapidly.
  • the encoding means 19 selects the optimal encoding method to achieve the optimal bit rate, and encodes the media.
  • Distribution means 20 distributes the media to receiving terminal 5.
  • the receiving terminal 5 includes a buffering means 5 1 for storing media in a buffer (not shown) for a time specified in advance by the server administrator or browsing user, and a playback means 52 for playing back the stored media. From the buffering means 51 and the reproduction means 52, resources such as the currently available memory capacity, CPU free space (not shown) and disk capacity are acquired as available resources and notified to the distribution server 1. Terminal resource notification means 53.
  • FIG. 2 is a sequence chart showing the operation of the media distribution system according to the first embodiment of the present invention
  • FIG. 3 is a diagram showing an example of setting the first bit rate according to the first embodiment of the present invention
  • FIG. 4 is a diagram showing a second bit rate setting example according to the first embodiment of the present invention
  • FIG. 5 is a third bit rate setting example according to the first embodiment of the present invention
  • FIG. 6 is a diagram showing a setting example of the fourth bit rate according to the first embodiment of the present invention.
  • the operation of the media distribution system according to the first embodiment of the present invention will be described with reference to FIGS. Note that the processing operations shown in FIG. 2 (the operation of each means of the distribution server 1 and the operation of each means of the receiving terminal 5) described above are also realized by each CPU executing a program.
  • the distribution server 1 distributes media such as video and music to the receiving terminal according to the request from the receiving terminal 5.
  • Media may include still images, text files, document files, and data files for various computer applications.
  • the receiving terminal 5 receives the media distributed from the distribution server 1 and reproduces it according to the user's instructions.
  • user instructions may include, for example, rewind, fast forward, frame advance, double speed, skip by scene, pause, and stop.
  • a method for inputting a user instruction for example, keyboard input, touch panel input, input using voice recognition or character recognition may be used.
  • terminal information acquisition means 11 1 sends terminal information indicating the model of the receiving terminal 5 on the receiver side.
  • Obtain Processing a 2 in FIG. 2).
  • the terminal information acquisition unit 11 reads the information of the Web browser such as the user agent transmitted from the Web browser and determines the model of the receiving terminal 5.
  • the terminal performance discrimination means 1 3 connects the terminal information acquired by the terminal information acquisition means 1 1 from the receiving terminal 5 against the specifications and performance of the terminals registered in the terminal database 1 2
  • the processing capability of the receiving terminal 5 requesting distribution and the corresponding media format are determined as terminal performance (processing a 3 in FIG. 2).
  • the processing capability and the corresponding media format are stored in a list format for each model of the receiving terminal 5.
  • the processing capacity includes, for example, CPU performance, memory capacity, storage capacity, screen size, screen display response, number of colors and contrast, network speed, supported network protocol, etc.
  • Corresponding encryption algorithm and supported error correction An algorithm may be included.
  • Supported media formats include, for example, video and audio codecs, video frame size and frame rate, compression rate, number of colors, number of gradations, audio sampling rate, number of bits per sample, and number of channels.
  • the terminal resource acquisition unit 14 acquires resources such as the currently available memory capacity, CPU free space, and disk capacity acquired from the receiving terminal 5 as available resources (process a 4 in FIG. 2).
  • the connection environment discrimination means 15 is configured so that the receiving terminal 5 is connected to a broadband environment, a wireless LAN, Whether the connection is made through the cellular phone network or the environment type to which the receiving terminal 5 is connected is determined as the connection environment (process a 5 in FIG. 2). For example, the connection environment discriminating means 15 may determine the network route based on the IP (Internet Protocol) address of the receiving terminal 5, or may transmit data to the receiving terminal 5 on a trial basis to determine the network route. You can guess from the speed. In the case of mobile phones, the IP address of the gateway with the Internet installed in each carrier is determined, so the power that easily passes through the mobile phone network, and which carrier's mobile phone Can be determined.
  • IP Internet Protocol
  • the band measuring means 16 measures the current band (process a 6 in FIG. 2).
  • data of a known size may be transmitted to the receiving terminal 5 on a trial basis and estimated from the speed.
  • the bandwidth fluctuation prediction means 1 7 is a constant determined by the system administrator from the type of connection environment determined by the connection environment determination means 15 and the current bandwidth measured by the bandwidth measurement means 16.
  • the future bandwidth fluctuation is predicted for the period, and the predicted result is the future bandwidth fluctuation (process a 7 in Fig. 2).
  • a method for predicting the band fluctuation for example, there is a method of constructing a model by performing regression analysis and obtaining the band fluctuation as a function from the model.
  • the environment such as time zone and season may be taken into consideration. For example, on weekday mornings, there are many network users due to work communication, and the available bandwidth may be narrow, and the bandwidth can be estimated based on a model that incorporates this tendency.
  • the average bandwidth for each time zone on a daily basis, and estimate that the bandwidth after a certain period will be between the current bandwidth and this previously determined average value.
  • the future band fluctuation may be obtained by simply extrapolating a polynomial function to the past band fluctuation.
  • Bit rate determination means 1 8 is used to prevent the media quality at receiving terminal 5 from abruptly changing based on the terminal performance determined by terminal performance determination means 1 3 and the bandwidth fluctuation predicted by bandwidth fluctuation prediction means 1 7. Next, the optimum bit rate of the high-quality media to be delivered to the receiving terminal 5 is determined (process a 8 in FIG. 2).
  • bit rate is accurately followed by the bandwidth, for example, in mobile objects such as mobile phones
  • the bandwidth fluctuates rapidly during communication
  • the image quality and sound quality change frequently, making it very difficult to watch.
  • the bandwidth cannot be secured, it will be impossible to watch immediately. Therefore, in this embodiment, a bit rate with a margin to some extent is set so that the bit rate does not change frequently even if the bandwidth fluctuates.
  • the bit rate is obtained by connecting the minimum points with a straight line.
  • the encoding means 19 selects the optimal encoding method and encodes the media in order to achieve the optimal bit rate determined by the bit rate determination means 18 (process a 9 in FIG. 2). .
  • an encoding method for example, there is a method of selecting one of many video and audio codecs and adjusting the parameters.
  • the distribution unit 20 distributes the media encoded by the encoding unit 19 to the receiving terminal 5 (processing a 1 0 in FIG. 2). As described above, the receiving terminal 5 receives the media distributed from the distribution server 1 and reproduces it according to the user's instruction (processing a in FIG. 2). In the receiving terminal 5, the buffering means 51 saves media for the time designated in advance by the server administrator or the viewing user in the buffer.
  • the buffer may be a memory or a disk.
  • the reproduction means 52 reproduces the media stored in the buffer by the buffering means 51 according to the user instruction.
  • the playback means 52 for example, a playback application program already installed in the receiving terminal 5 is used. Also, as the playback means 52, a dedicated application program that is different for each type of media can be downloaded from the distribution server 1 and played back.
  • the terminal resource notification means 5 3 obtains, as the available resources, the currently available memory capacity, CPU free space, disk capacity, etc. from the buffering means 5 1 and the playback means 5 2, and the distribution server 1 To notify.
  • a method for obtaining the resource for example, a monitoring function such as a system monitor provided in many OSs (operating systems) is used.
  • a method for obtaining resources it is also possible to install new software for obtaining resources on the receiving terminal 5.
  • bandwidth fluctuation prediction means 17 future bandwidth fluctuation can be predicted by the bandwidth fluctuation prediction means 17, and the current performance of the receiving terminal 5 can be determined by the terminal performance determination means 13 and the terminal resource acquisition means 14. Performance can be estimated.
  • the bit rate determining means 1 8 sets the optimum bit rate for the current performance of the receiving terminal 5 so that the media quality does not change suddenly at the receiving terminal 5 based on the band fluctuation.
  • the receiving terminal 5 can watch high-quality media without a sense of incongruity and unnaturalness, even if there is a sudden band fluctuation, and there is no sudden bit rate fluctuation.
  • FIG. 7 is a block diagram showing the configuration of a media distribution system according to the second embodiment of the present invention.
  • the media distribution system according to the second embodiment of the present invention is the same as the first embodiment of the present invention shown in FIG. 1, except that the time interval holding means 21 is added to the distribution server 1a.
  • the same elements are given the same reference numerals.
  • the time interval holding means 2 1 holds a plurality of time intervals predetermined by the system administrator, and these time intervals are stored as terminal information acquisition means 1 1, terminal performance determination means 1 3, and terminal resource acquisition means 1 4, connection environment discrimination means 15, bandwidth fluctuation prediction means 17, and bit rate determination means 18.
  • the terminal information acquisition unit 11 acquires terminal information indicating the model of the receiving terminal 5 on the receiver side at the time interval from the time interval holding unit 21.
  • the terminal performance discrimination means 1 3 compares the terminal information acquired by the terminal information acquisition means 1 1 at the time interval from the time interval holding means 2 1 with the terminal database 1 2 stored in advance by the system administrator. In addition, the processing capability of the receiving terminal 5 and the corresponding media type are determined as the terminal performance.
  • the terminal resource acquisition unit 14 acquires, as available resources, the memory capacity currently available from the receiving terminal 5, the CPU free space, and the disk capacity at the time interval from the time interval holding unit 21.
  • Connection environment discrimination means 1 5 is the time interval from the time interval holding means 2 1.
  • the receiving terminal 5 is connected via a broadband environment, a wireless LAN, or a mobile phone network, or the receiving terminal 5 is connected to the type of environment. Is determined as the connection environment.
  • the bandwidth fluctuation prediction means 1 7 is the time interval from the time interval holding means 2 1, based on the environment type determined by the connection environment determination means 1 5 and the current bandwidth measured by the bandwidth measurement means 1 6. Predicts future bandwidth fluctuations for a certain period of time determined in advance.
  • the bit rate determination means 1 8 is a time interval from the time interval holding means 2 1, and the bandwidth is rapidly increased from the terminal performance determined by the terminal performance determination means 1 3 and the bandwidth fluctuation predicted by the bandwidth fluctuation prediction means 1 7. Even if it fluctuates, the optimum bit rate is determined so that the media is not interrupted at the receiving terminal 5 and the quality of the media is maintained high and does not fluctuate rapidly in the future.
  • the present embodiment is different from the first embodiment of the present invention described above in that it has time interval holding means 21 for holding a plurality of time intervals predetermined by the system administrator.
  • Time interval holding means 2 Even if there is only one time interval held in 1 It may be different depending on the means to refer to, or may vary in time series according to a predetermined rule.
  • the terminal information acquisition means 11 acquires the terminal information according to the time interval held in the time interval holding means 21. Accordingly, in this embodiment, for example, even if the user changes the model of the receiving terminal 5 while viewing the media, it can be detected. When you go out, you can browse on a mobile terminal, and when you get home, you can immediately detect the switch from a mobile phone to a large-screen TV when you watch media on a large-screen TV. Further, in this embodiment, for example, in the case of a receiving terminal that degrades due to performance or function being cut off due to running out of battery, the degeneration status can be detected sequentially. Terminal performance discriminating means 13 uses terminal data base 1 2 to re-extract terminal performance as terminal information changes.
  • the terminal resource acquisition unit 14 acquires resources such as the currently available memory capacity, CPU free space, and disk capacity acquired from the receiving terminal 5 as available resources.
  • the connection environment discrimination means 1 5 is connected to the receiving terminal 5 in a broadband environment, wireless LAN or mobile phone network. Is determined as the connection environment.
  • the receiving terminal 5 is a mobile phone having a wireless LAN function, it can be immediately detected that the connection environment has been switched from the mobile phone network to the wireless LAN.
  • the band fluctuation prediction unit 17 grasps the current band from the band measurement unit 16 for each time interval held in the time interval holding unit 21 and changes the band fluctuation prediction based on the current band. .
  • the difference between the predicted bandwidth fluctuation and the actual bandwidth can be reduced.
  • the bit rate determining means 18 determines the bit rate based on the predicted band fluctuation at each time point according to the time interval held in the time interval holding means 21. As a result, in this embodiment, the optimum bit rate for the actual band can be sequentially determined.
  • the bandwidth fluctuation prediction means 17 can predict future bandwidth fluctuations at a time interval determined in advance by the system administrator.
  • the current performance of the receiving terminal 5 can be estimated by means 13 and terminal resource acquisition means 14.
  • the bit rate determining means 18 is configured to set the optimum bit rate for the current performance of the receiving terminal 5 so that the quality of the media at the receiving terminal 5 does not change suddenly based on the band fluctuation. It can be determined at a predetermined time interval by the administrator, and even if there is a sudden bandwidth change at the receiving terminal 5, there is no sudden bit rate change, and there is no sense of incongruity or unnaturalness. You can watch it.
  • FIG. 8 is a block diagram showing the configuration of a media distribution system according to the third embodiment of the present invention.
  • the media distribution system according to the third embodiment of the present invention adds the advance means 2 2 and the bandwidth fluctuation monitoring means 2 3 to the distribution server 1 b and the buffer size changing means 5 4 to the receiving terminal 5 a.
  • 1 is the same as that of the first embodiment of the present invention shown in FIG. 1, and the same elements are denoted by the same reference numerals.
  • This embodiment can also be applied to the second embodiment of the present invention described above.
  • the bandwidth fluctuation monitoring means 2 3 is based on the distribution server 1 b of the media delivery system. In the future predetermined by the system administrator, the bandwidth obtained by the bandwidth fluctuation prediction means 1 7 is determined in advance by the system administrator. Monitors whether the bandwidth falls below the threshold, and sends a warning message to the postponing means 2 2 if it is predicted to fall below the threshold.
  • the advance sending means 2 2 When receiving the warning message from the bandwidth fluctuation monitoring means 2 3, the advance sending means 2 2 is within the range predetermined by the system administrator and within the range not exceeding the current bandwidth obtained from the bandwidth measuring means 16.
  • the distribution means 20 is instructed to distribute media data in the future period that is smaller than the threshold value to the receiving terminal 5 in advance, and the previously distributed media is saved by changing the buffer size to the receiving terminal 5 b. Instruct them to do so.
  • the bandwidth fluctuation monitoring means 23 may be, for example, a constant predetermined by the system administrator as a threshold value, or may adopt the bit rate determined by the bit rate determination means 18.
  • the threshold value can be a constant multiplied by the bit rate.
  • the forward sending means 2 2 delivers the future media in advance when the bandwidth is sufficient.
  • the situation where the bandwidth is sufficient is a situation where media is delivered to the receiving terminal 5 without delay as planned and the bit rate of the media delivered from the delivery means 20 is smaller than the current bandwidth.
  • the media of the predetermined future period is delivered to the receiving terminal 5 as a postponement.
  • the receiving terminal 5a may specify the timing of the postponement. If you receive a message from the receiving terminal 5a requesting to stop forwarding, you can stop forwarding.
  • the amount of data to be postponed for example, it may be postponed so that the bandwidth is exhausted so that there is no margin at all, or the amount of data to be postponed with a margin in the bandwidth determined in advance by the system administrator is determined. May be.
  • the buffer size changing means 54 instructs the buffering means 51 to change the buffer size within the range allowed by the memory capacity of the receiving terminal 5a. If there is no room for the receiving terminal 5a even if the designation of the advance is from the distribution server 1b, a message requesting the delivery server 1b to stop the advance may be transmitted. Accordingly, in this embodiment, when the bandwidth fluctuation monitoring means 23 predicts that the bandwidth will be smaller than the threshold value, a warning message can be sent to the advance sending means 22.
  • the delivery means 2 0 when the warning message is received by the advance means 22, the delivery means 2 0 so that the media data in the future period in which the bandwidth becomes smaller than the threshold value is delivered to the receiving terminal 5 a in advance.
  • the receiving terminal 5a can be instructed to change the buffer size and save the media distributed in advance.
  • the buffer size can be changed by the buffer size changing means 54 when an instruction is received from the advance means 22.
  • the media can be continuously played back by the receiving terminal 5a by these means even when the communication band is extremely small and the media cannot be delivered.
  • FIG. 9 is a block diagram showing the configuration of a media distribution system according to the fourth embodiment of the present invention.
  • the media distribution system according to the fourth embodiment of the present invention is the same as the first embodiment of the present invention shown in FIG. 1, except that the moving image coding discriminating means 24 is added to the distribution server 1c.
  • the same elements are denoted by the same reference numerals.
  • This embodiment can also be applied to the second and third embodiments of the present invention described above.
  • the video encoding discriminating means 2 4 changes the video frame size, frame rate, compression rate, number of colors, and number of gradations, targeting the optimum bit rate determined by the bit rate determining means 1 8. Instructs encoding means 19 to change the bit rate, which is the size of the media.
  • the moving image encoding determination unit 24 instructs the encoding unit 19 to change the size of the moving image by enlarging or reducing the vertical and horizontal size of one frame of the moving image.
  • the aspect ratio which is the vertical / horizontal size ratio
  • the playback means 52 may enlarge the playback during playback so that the vertical / horizontal size does not change in the display.
  • interpolation between pixels may be performed by bilinear or bicubic interpolation, or an area average method may be used.
  • the pixel values may be modeled and interpolated in a function form predetermined by the system administrator.
  • the moving image encoding determination unit 24 instructs the encoding unit 19 to change the size of the moving image, for example, by increasing or decreasing the frame rate. If you want to reduce the frame rate, you can simply thin it out. It may be reduced by interpolating frames between frames. If you want to increase the frame rate, you can copy the existing frame as it is, or increase it by interpolating the frame between frames.
  • pixel values may be bilinearly interpolated, or pixel values may be interpolated by modeling with a function system predetermined by a system administrator. In this embodiment, an object such as a person in a frame may be cut out and interpolated by predicting fluctuations such as movement for each object.
  • the moving image encoding determination unit 24 instructs the encoding unit 19 to change the size of the moving image, for example, by changing the compression rate.
  • the relationship between compression ratio and media size is generally not a linear relationship, but the system administrator obtains it beforehand by experimenting with test media and uses that relationship. Also good. Alternatively, in this embodiment, the system administrator may repeat the trial and error according to a predetermined procedure to search for the optimal compression ratio and specify it.
  • the moving image encoding determination unit 24 instructs the encoding unit 19 to change the size of the moving image, for example, by changing the number of colors.
  • a method of changing the number of colors for example, a dither method may be used, or an image processing method such as a median cut method may be used.
  • the moving image encoding determination unit 24 instructs the encoding unit 19 to change the size of the moving image, for example, by changing the number of gradations.
  • a method of changing the number of gradations for example, a dither method may be used.
  • a system administrator defines a function in advance for the original gradation and the gradation after the change, and performs conversion according to the function. Also good.
  • the moving image encoding determination means 24 may further change the size of the moving image by selecting a plurality of frame rates, compression rates, the number of colors, and the number of gradations and changing them.
  • the size of the media is adjusted by changing the frame size, frame rate, compression rate, number of colors, and number of gradations of the moving image using the moving image coding discrimination means 24. Can do.
  • FIG. 10 is a block diagram showing the configuration of a media distribution system according to the fifth embodiment of the present invention.
  • the media distribution system according to the fifth example of the present invention is the same as that shown in FIG. 1, except that the image processing means 25 is added to the distribution server 1d.
  • the configuration is the same as that of the first embodiment, and the same elements are denoted by the same reference numerals. This embodiment can also be applied to the second to fourth embodiments of the present invention described above.
  • Image processing means 2 5 smoothes the entire frame of the movie with uniform intensity or changes the intensity of smoothing at a part of the frame, with the target of the optimum bit rate determined by bit rate decision means 1 8 Or by changing the level of smoothing according to the intensity of motion, encoding means to change the bit rate, which is the media size, while suppressing the noticeable degradation of image quality like block noise.
  • the image processing means 25 for example, subdivides the image into rectangular blocks, smoothes the rectangular block included in the range predetermined by the system administrator, reduces the high-frequency region, increases the compression rate, and increases the size of the moving image. To reduce. Alternatively, the image processing means 25 reduces the size of the moving image by reducing the number of colors and the number of gradations.
  • the smoothing strength may be increased only in the peripheral area, or the number of colors and gradations may be reduced only in the peripheral area.
  • the smoothing strength may be increased or decreased with respect to the frame region or the time region.
  • the entire frame of the moving image is smoothed with a uniform strength by the image processing means 25, or the smoothing strength is changed at a portion of the frame, or the motion is intense.
  • the strength of smoothing according to the likelihood, the media size can be adjusted while suppressing a noticeable deterioration in image quality, such as block noise.
  • FIG. 11 is a block diagram showing the configuration of a media distribution system according to the sixth embodiment of the present invention.
  • the media distribution system according to the sixth exemplary embodiment of the present invention is the same as the first exemplary embodiment of the present invention shown in FIG. 1 except that the audio encoding determination means 26 is added to the distribution server 1 e.
  • the configuration is the same as in the example, and the same reference numerals are given to the same elements.
  • This embodiment can also be applied to the second to fifth embodiments of the present invention described above.
  • the voice coding discrimination means 26 changes the voice sampling rate, the number of bits per sample, the frequency band, the number of channels such as stereo, etc., targeting the optimum bit rate determined by the bit rate determination means 18. Instructs the encoding means 19 to change the bit rate which is the size of the media.
  • the audio coding discrimination means 26 changes the audio size by increasing or decreasing the audio sampling rate, for example.
  • the samples may be interpolated by bilinear, bicubic, or polynomial functions, or a voice waveform may be modeled and interpolated according to the model.
  • the speech coding discrimination means 26 changes the speech size by increasing or decreasing the number of bits per sample, for example.
  • the audio bit for each sample is simply multiplied by a constant, or after the constant multiplication, the audio waveform is modeled and the bits are adjusted according to the model.
  • One way to reduce the number of bits is to simply divide by a constant.
  • the speech encoding determination means 26 changes the size of speech by changing the frequency band, for example.
  • the audio data may be reduced by cutting the high frequency without leaving a large difference in sound quality.
  • As a method of changing the frequency band for example, FIR (F init -duration I mpu 1 se Re sponse) Finoleta IIR, ⁇ nfinite — duration I mp ulse Re sponse) Finoleta may be used.
  • the frequency band may be changed by partially selecting the frequency band with.
  • the audio encoding determination means 26 may increase or decrease the size of the audio data by increasing or decreasing the number of channels, for example, when stereo is made monaural.
  • the audio coding discrimination means 26 may further change the size of the audio by selecting a plurality from the sampling rate, the number of bits per sample, the frequency band, the number of channels such as stereo, and changing each.
  • the voice encoding discrimination means 26 performs voice sampling.
  • the media size can be adjusted by changing the pull rate, number of bits per sample, frequency band, number of channels such as stereo.
  • FIG. 12 is a block diagram showing the configuration of a media distribution system according to the seventh embodiment of the present invention.
  • the media distribution system according to the seventh embodiment of the present invention is the same as the first embodiment of the present invention shown in FIG. 1, except that the encoding selection means 27 is added to the distribution server 1 f.
  • the same elements are denoted by the same reference numerals.
  • This embodiment can also be applied to the second to sixth embodiments of the present invention described above.
  • the encoding selection means 27 is directed to the encoding means 19 so as to change the codec itself of the medium and change the bit rate which is the size of the medium with the target of the optimum bit rate determined by the bit rate determination means 18. Instruct.
  • the encoding selection means 27 switches the codec to a more efficient H.264. Change the bit rate by changing it. For example, when raising or lowering the bit rate, the ability to switch to which codec to increase or decrease the bit rate relative to the original codec, and the method in which the system administrator decides the rules in advance. is there.
  • the encoding selection means 27 can change the media codec itself to adjust the media size.
  • FIG. 13 is a block diagram showing the configuration of a media distribution system according to the eighth embodiment of the present invention.
  • the media distribution system according to the eighth embodiment of the present invention is the same as the first embodiment of the present invention shown in FIG. 1 except that the matrix holding means 28 and the combination selection means 29 are added to the distribution server 1 g.
  • the structure is the same as in the embodiment, and the same elements are denoted by the same reference numerals. This embodiment can also be applied to the second to seventh embodiments of the present invention described above.
  • the matrix holding means 28 is used for the video frame size, frame rate, compression ratio, number of colors, number of gradations, smoothing strength, smoothing strength distribution on the frame, audio It holds a matrix that describes the sampling rate, the number of bits per sample, the frequency band, the number of channels, and the bit rate achieved for each combination of media codecs.
  • the combination selection means 29 selects the optimum encoding method of the media to be delivered to the receiving terminal 5 from the matrix held in the matrix holding means 28 based on the terminal performance and the band fluctuation, and performs the encoding. Direct to measures 1-9.
  • the matrix holding means 28 may be composed of, for example, commercially available database software.
  • the frame size of the video stored in the matrix is the frame rate, compression rate, number of colors, number of gradations, smoothing strength, smoothing strength distribution on the frame, audio sampling rate,
  • the number of bits per sample, frequency band, number of channels, and media codec are the encoding parameters.
  • the combination selection means 29 refers to the matrix held by the matrix holding means 28 described above, and the bit rate determining means 1 Select the combination of encoding parameters that best suits the bit rate determined by 8.
  • the optimum combination of encoding parameters may be determined in advance by the system administrator, for example, or may be determined by the user of the receiving terminal 5.
  • the matrix holding means 28 is used to display the frame size of the moving image, the frame rate, the compression rate, the number of colors, the number of gradations, the smoothing strength, and the smoothing strength on the frame. It can hold a matrix that describes the distribution, audio sampling rate, number of bits per sample, frequency band, number of channels, and bit rate achieved for each combination of media codecs.
  • the combination selection means 29 can select the optimum encoding method of the media to be delivered from the Matrix to the receiving terminal 5 based on the terminal performance and the band fluctuation.
  • FIG. 14 is a block diagram showing the configuration of the media distribution system according to the ninth embodiment of the present invention.
  • the media distribution system according to the ninth embodiment of the present invention is similar to the eighth embodiment of the present invention shown in FIG. 13 except that a scene discriminating means 30 is provided instead of the combination selecting means 29.
  • the same components as those in the first embodiment are given the same reference numerals.
  • the scene discriminating means 30 is targeted at the optimum bit rate determined by the bit rate determining means 18 and the intensity of the movement of the person or object in the scene that affects the compression efficiency or the complexity of the image in the frame. Based on the content type such as the degree and the sports program, the optimum encoding method of the media to be delivered to the receiving terminal 5 from the matrix held by the matrix holding means 28 is selected, and the encoding means 19 is instructed.
  • the content type for example, it is possible to determine whether or not the scene has a strong motion from the size of the motion vector.
  • the type of program when distributing broadcast programs as media, for example, if the type of program can be classified on a program-by-program basis using the electronic program guide, it can be determined in advance whether the movement is large or not. it can. If it can be determined whether or not the motion is intense, for example, in the case of a scene with small motion in MPEG, the error of compression between frames is reduced, so by increasing the frequency of frames containing only difference information between frames, it is high. A compression ratio can be realized. For scenes with a large amount of motion, the error in inter-frame compression increases, so high image quality can be achieved by reducing the frequency of frames that contain only difference information between frames.
  • the scene discriminating means 30 makes it possible to determine the intensity of the movement of a person or object in the scene that affects the compression efficiency, the complexity of the image in the frame, or the content type such as a sport program. Based on the above, it is possible to select an optimal encoding method of media delivered from the Matrix status held by the matrix holding means 28 to the receiving terminal 5. In the present embodiment, this means can automatically select an optimum combination from a large number of combinations of encoding parameters.
  • FIG. 15 is a block diagram showing the configuration of the media distribution system according to the tenth embodiment of the present invention.
  • the media distribution system according to the tenth embodiment of the present invention includes a combination recommendation unit 31 instead of the combination selection unit 29, and an encoding candidate selection unit 5 5 in the receiving terminal 5 b. Except for the addition of, the configuration is the same as that of the eighth embodiment of the present invention shown in FIG. 13 and the same elements are denoted by the same reference numerals.
  • the combination recommendation means 3 1 aims at the optimum bit rate determined by the bit rate determination means 1 8 and is based on the content type such as a sports program and the movement of humans and objects in the scene. Select the multiple encoding methods from among the optimal encoding methods for the media to be delivered from the matrix to the receiving terminal 5b, prepare the number that is predetermined by the server administrator, and list that list. The data is distributed to the receiving terminal 5b, and the encoding method is instructed to the encoding means 19 according to the encoding method specified by the receiving terminal 5b.
  • the encoding candidate selection means 55 displays the encoding method candidates at the receiving terminal 5b, causes the user to select them, and sends the encoding method selected by the user to the distribution server 1i.
  • the combination recommendation unit 31 may classify the combinations of encoding parameters based on characteristics such as image quality priority and motion priority, and send them to the receiving terminal 5b.
  • the encoding candidate selection means 5 5 displays, for example, a combination of encoding parameters and a classification such as image quality priority or motion priority on the screen of the receiving terminal 5 b, and the distribution server 1 selects the combination selected by the user with the keyboard or mouse. Send to i.
  • the combination recommendation means 31 uses the matrix held in the matrix holding means 28 based on the content type such as the sports program and the movement of the person or object in the scene.
  • Distribute to receiving terminal 5b Select multiple media encoding methods from among the optimal media encoding methods, prepare the number of servers determined in advance by the server administrator, and distribute the list to receiving terminal 5b. can do.
  • the combination recommendation means 31 can instruct the encoding means 19 according to the encoding method instructed from the receiving terminal 5b.
  • the receiving terminal 5 b is selected by the encoding candidate selection means 5 5.
  • the encoding method candidates can be displayed and allowed to be selected by the user, and the encoding method selected by the user can be sent to the distribution server 1 i. By these means, in this embodiment, the user can select a combination of encoding parameters.
  • FIG. 16 is a block diagram showing the configuration of the media distribution system according to the first example of the present invention.
  • the media distribution system according to the first exemplary embodiment of the present invention is the same as the first exemplary embodiment of the present invention shown in FIG. 1 except that an error correction coding determination means 32 is added to the distribution server 1 j.
  • the configuration is the same as the example, and the same elements are given the same reference numerals. This embodiment can also be applied to the second to tenth embodiments of the present invention described above.
  • the error correction coding discriminating means 3 2 instructs the encoding means 19 to add an error correction signal to the media when delivering the media from the delivery server 1 j to the receiving terminal 5.
  • the media size is changed with the target of the optimum bit rate determined by the bit rate determination means 1 8.
  • a number of methods have been proposed as error correction codes, but the system administrator selects them in advance. For example, a Hamming code or a rigid solomon code may be applied as the error correction code.
  • the data size increases, but the error tolerance can be increased. Furthermore, in this embodiment, for example, when the error occurrence probability is low on the transmission line, the number of redundant bits can be reduced to reduce the data size. Furthermore, in this embodiment, since the data size generated by the error correction code method is different, the size may be adjusted by selecting and switching the method.
  • FIG. 17 is a block diagram showing the configuration of a media distribution system according to the twelfth embodiment of the present invention.
  • the media distribution system according to the twelfth embodiment of the present invention is the same as the first embodiment of the present invention shown in FIG. 1, except that the encryption determination means 33 is added to the distribution server 1 k.
  • the same elements are denoted by the same reference numerals.
  • This embodiment can also be applied to the above-described second to eleventh embodiments of the present invention.
  • the encryption discriminating means 33 instructs the encoding means 19 to encrypt the media when distributing the media from the distribution server 1 k to the receiving terminal 5, and determines the encryption strength and the encryption algorithm itself. By changing the size, the media size is changed with the optimum bit rate determined by the bit rate determining means 18 as a target.
  • Many methods have been proposed as encryption algorithms, but the system administrator selects them in advance. For example, as the encryption algorithm, DES (Dat Enc ry pt i o n St a n d a r d) or R S A (R i Vest Sh amir Ad l ema n) may be applied.
  • the data size increases by increasing the number of bits of the key, but it is possible to improve the difficulty of decrypting the code. Furthermore, in this embodiment, for example, when the communication path is confirmed to be secure, the number of bits of the key can be reduced to reduce the data size. In this example, the data size generated by the encryption algorithm is different, so you can select the algorithm and adjust the size.
  • the encryption determination unit 33 distributes from the distribution server lk to the receiving terminal 5
  • the encoding unit 19 is instructed to encrypt the medium, and the encryption strength is increased. You can adjust the media size by changing the encryption algorithm itself.
  • FIG. 18 is a block diagram showing the configuration of a media distribution system according to the thirteenth embodiment of the present invention.
  • the media distribution system according to the thirteenth embodiment of the present invention is similar to FIG. 18 except that a terminal performance evaluation unit 34 is added to the distribution server 11 and a test media playback unit 56 is added to five receiving terminals.
  • the first realization of the present invention shown in FIG. The configuration is the same as that of the example, and the same reference numerals are given to the same elements. Note that this embodiment can also be applied to the second to the 12th embodiments of the present invention described above.
  • the terminal performance evaluation means 3 4 holds a test medium in the distribution server 11 to check the performance of the receiving terminal 5 c, and distributes the test medium to the receiving terminal 5 c. Receive the error message from the receiving terminal 5c, and store it in the terminal data base 1 2 as media that cannot be played back for each terminal.
  • the test media playback means 5 6 plays back the test media acquired via the buffering means 51 in the receiving terminal 5 c, and sends an error message to the distribution server 11 if it cannot be played back normally. Send it.
  • music or video media with a short playback time is used as test media.
  • the terminal performance evaluation means 3 4 may distribute the test media when the receiving terminal 5 c accesses the distribution server 1 1 for the first time, and whenever the type of media to be distributed changes, the terminal performance evaluation means 3 4 Test media may be distributed.
  • the terminal performance evaluation means 34 may allow the user of the receiving terminal 5c to specify delivery of test media.
  • the test media playback means 5 6 not only returns an error message to the distribution server 11 1 when the test media cannot be played back, but also sends a message to that effect to the distribution server 11 1 when normal playback is possible. May be. As a result, even if a failure occurs in the receiving terminal 5 c due to the media and an error message cannot be sent to the distribution server 11, the error can be detected on the distribution server 11 side.
  • the terminal performance evaluation means 3 4 holds a test medium for examining the performance of the receiving terminal 5 c, distributes the test medium to the receiving terminal 5 c, and receives the receiving terminal 5 c.
  • the error message from c can be stored in the terminal database 12 as a non-reproducible media for each terminal.
  • the test media playback means 5 6 plays back the test media acquired through the buffering means 51 at the receiving terminal 5 c. If the test media playback means 5 6 does not play back normally, an error message is displayed.
  • Distribution server 1 Can be sent to 1. By these means, in this embodiment, the optimum media can be distributed even to a new receiving terminal 5c of a new model whose type of media that can be viewed is unknown. it can.
  • FIG. 19 is a block diagram showing the configuration of a media distribution system according to the 14th embodiment of the present invention.
  • the media distribution system according to the 14th embodiment of the present invention is the same as the first embodiment of the present invention shown in FIG. 1, except that the media dividing means 35 is added to the distribution server lm.
  • the same elements are given the same reference numerals.
  • This embodiment can also be applied to the second to thirteenth embodiments of the present invention described above.
  • the media division means 3 5 divides the media by finding a division point for dividing the media according to a rule predetermined by the system administrator.
  • Bandwidth fluctuation prediction means 1 7 is based on the future bandwidth fluctuations determined by the system administrator for a certain period of time, the connection environment obtained by connection environment discrimination means 15 and the current bandwidth obtained by bandwidth measurement means 16. Based on the above, prediction is made for each dividing point divided by the media dividing means 35.
  • An example of a rule determined in advance by the system administrator to be applied in the media dividing means 35 is to divide at regular intervals.
  • a method of dividing each program there are a method of dividing by CM (commercial) broadcast timing.
  • video and music are also determined for CM, and there is a method of registering them in advance and dividing them by identifying CM based on the degree of coincidence of images and audio.
  • the media dividing means 35 can divide the media according to a specific rule. Further, in this embodiment, the band fluctuation prediction means 17 can predict for each division point that is a segment of the media.
  • FIG. 20 is a block diagram showing the configuration of the media distribution system according to the fifteenth embodiment of the present invention.
  • the media distribution system according to the 15th embodiment of the present invention is the first embodiment of the present invention shown in FIG. 19 except that the audio dividing means 36 is provided instead of the media dividing means 35.
  • the configuration is the same as that of the fourth embodiment, and the same elements are denoted by the same reference numerals.
  • the voice dividing unit 36 separates the voice at a timing such as a voice silence area, speaker switching, music switching, and the like, and notifies the band fluctuation prediction unit 17 of the voice.
  • a timing such as a voice silence area, speaker switching, music switching, and the like
  • the band fluctuation prediction unit 17 of the voice there is a method for detecting a silent area, for example, a case where the volume is below a threshold value determined in advance by the system administrator as a silent area.
  • detection of the silent area for example, there is a method of determining whether there is a person's speech even if BGM (BackGroundMusic) is sounding and considering it as a silent area.
  • BGM BackGroundMusic
  • the voice dividing means 36 can divide the voice at a timing such as a voice silence area, speaker switching, music switching, and the like.
  • FIG. 21 is a block diagram showing the configuration of a media distribution system according to the sixteenth embodiment of the present invention.
  • the media distribution system according to the 16th embodiment of the present invention is the first embodiment of the present invention shown in FIG. 19 except that the moving image dividing means 37 is provided instead of the media dividing means 35.
  • the configuration is the same as that of the fourth embodiment, and the same elements are denoted by the same reference numerals. This embodiment can also be applied to the above-described fifteenth embodiment of the present invention.
  • the moving image dividing means 37 separates the moving images at the timing such as when the cut of the moving image is switched, and notifies the bandwidth fluctuation predicting means 17.
  • Video cut and scene switching detection A number of methods have been proposed, but for example, the difference between frames is calculated at any time, and if the difference is greater than the threshold set in advance by the system administrator, it is considered that there has been a change. There is a way.
  • the moving image dividing means 37 can divide the moving image at a timing such as when the moving image is cut.
  • FIG. 22 is a block diagram showing the configuration of the media distribution system according to the seventeenth embodiment of the present invention.
  • the media distribution system according to the seventeenth embodiment of the present invention is the same as that of the present invention shown in FIG. 19 except that the moving image audio dividing means 38 is provided instead of the media dividing means 35. 14
  • the configuration is the same as that of the fourth embodiment, and the same elements are denoted by the same reference numerals. This embodiment can also be applied to the above-described first and fifth embodiments of the present invention.
  • Video audio dividing means 3 8 compares the timing of audio silence, switching of speakers, switching of music, etc. with timing of video cut and scene switching, etc., and adopts either timing as media division point The ability to adopt either or both timings, or whether to divide audio and video at different timings according to the rules set by the server administrator in advance. To separate the media and notify the band fluctuation prediction means 17.
  • a media division point for example, there is a method of designating both an audio segmentation and a video segmentation as segmentation points. Also, media division points include a method of selecting only audio segmentation and a method of selecting only video segmentation.
  • media division points for example, after there is an audio segmentation, wait for the video segmentation, and use the video segmentation as the segmentation point, or after a video segmentation, There is a method that waits for a break in the sound and uses the break in the sound as a dividing point.
  • the quality may vary slightly.
  • the division of the voice is used as a dividing point when the voice is judged not to be noticed.
  • the video / audio dividing means 3 8 compares the timing of the silent region of the audio, switching of the speaker, switching of the music, etc.
  • the media can be divided at a timing that is comfortable for the user. By this means, in this embodiment, even if the quality of the media is changed, it is possible to minimize the user's uncomfortable feeling at the moment when the quality changes.
  • FIG. 23 is a block diagram showing the configuration of the media distribution system according to the 18th embodiment of the present invention.
  • the media distribution system according to the eighteenth embodiment of the present invention adds a reproduction status storage means 39 and a retransmission control means 40 to the distribution server 1 q, and adds a reproduction location to the receiving terminal 5 d.
  • the configuration is the same as that of the first embodiment of the present invention shown in FIG. 1 except that the notification means 57 is added.
  • the same elements are denoted by the same reference numerals. This embodiment can also be applied to the second to 17th embodiments of the present invention described above.
  • the playback status storage means 39 receives the playback location of the media being played from the receiving terminal 5d, stores the playback location and the ID for identifying the media, and the user designates stop at the receiving terminal 5d. If the media could not be delivered normally to the receiving terminal 5d due to a communication failure, the last location that was successfully delivered is saved as the interruption location.
  • the retransmission control means 40 starts distribution from the media interruption point to the receiving terminal 5d at the stage when the user instructs reproduction again on the receiving terminal 5d side, or the user designates an arbitrary one specified by the receiving terminal 5d.
  • the distribution means 20 is instructed to start distribution from the location designated by the user to the receiving terminal 5 d so that playback can be started from the location.
  • the playback location notifying means 57 acquires the media playback location from the playback means 52 and notifies the delivery server 1 q of the media playback location.
  • a method of designating the last part of the media stored by the playback status storage means 39 there are, for example, a method of indicating the time from the start of the media, or a method of indicating the accumulated data size from the start of the media.
  • a method of indicating the frame number from the start of the media there are a method of dividing the media into scenes and numbering each scene to indicate the number.
  • the playback status storage means 39 receives the playback location of the media being played back from the receiving terminal 5d, and stores the playback location, the media title, and the ID for identifying the content. If the user specifies a stop at the receiving terminal 5d, or if the media could not be delivered normally to the receiving terminal 5d due to a communication failure, the last part that was normally delivered should be saved as the interruption part. Can do.
  • the distribution server 1 q can know how far the receiving terminal 5 d has successfully played back the media by the playback location notifying means 57 in the receiving terminal 5 d.
  • distribution starts from the media interruption point to the receiving terminal 5d or the user receives the receiving terminal 5d. Distribution can be started from the location specified by the user to the receiving terminal 5d so that playback starts from an arbitrary location specified in 5d.
  • FIG. 24 is a block diagram showing the configuration of the media distribution system according to the nineteenth embodiment of the present invention.
  • the media distribution system according to the nineteenth embodiment of the present invention is the same as that shown in FIG. 23 except that terminal registration means 41 and terminal identification means 42 are added to the distribution server 1r.
  • the configuration is the same as that of the eighteenth embodiment of the invention, and the same elements are denoted by the same reference numerals.
  • the terminal registration means 41 registers in advance a plurality of receiving terminals that the system administrator permits to receive.
  • the terminal identification means 4 2 suspends playback at the receiving terminal 5 d, and then instructs playback again at a receiving terminal different from the receiving terminal 5 d that has been played back so far.
  • the receiving terminal for example, in the case of a mobile phone, it can be registered by the terminal ID.
  • a method of registering the receiving terminal there is also a method of registering based on the accessed IP address.
  • the MAC (Media Access Control) address of the network interface is used as the terminal ID
  • the internal disk ID is used as the terminal ID. There is a way to use it as an ID.
  • an unauthorized receiving terminal accesses, for example, there are a method of displaying a message of disapproval on the screen of the receiving terminal and a method of playing back specific media. There is also a method that allows unregistered receiving terminals to play for a certain period of time. In addition, for unregistered receiving terminals, there are methods of distributing media with degraded image quality by reducing the image size or media with degraded sound quality by narrowing the bandwidth. As described above, in the case of an unregistered receiving terminal, it is possible to view only a part of the scene, or when only a part of the frame can be viewed, by exposing the media partially, User registration can be prompted.
  • the terminal registration means 41 can register a plurality of receiving terminals permitted to receive in advance. Also, in this embodiment, after the playback is interrupted by the receiving terminal 5 d by the terminal identifying means 4 2, the playback is instructed to be played again by the receiving terminal different from the receiving terminal that has been played so far. Check whether the receiving terminal is a receiving terminal registered in terminal registration means 41, and if registered, resume delivery to the receiving terminal from where the media was interrupted or from any location specified by the user. If it is not registered, a message such as disapproval can be displayed for the requested receiving terminal.
  • the terminal registered in advance is used. By generating the optimal media for each terminal in advance from the end information, it can be provided immediately when requested by the user.
  • FIG. 25 is a block diagram showing the configuration of the media distribution system according to the 20th embodiment of the present invention.
  • the media distribution system according to the 20th embodiment of the present invention adds the failure handling rule storage means 4 3 to the delivery server 1 s, and adds the failure handling playback means 5 8 to the receiving terminal 5 e. Except for this, the configuration is the same as that of the first embodiment of the present invention shown in FIG. 1, and the same reference numerals are given to the same elements.
  • This embodiment can also be applied to the second to nineteenth embodiments of the present invention described above.
  • the failure handling rule storage means 4 3 prepares for cases where media cannot be delivered due to a communication failure, etc., and if the delivery is not possible, the receiving terminal 5 e displays what rules the server administrator defines in advance. This is stored as a response rule, and this failure response rule is transmitted to the receiving terminal 5 e and instructed to the distribution means 20 to stop distribution when a failure occurs.
  • the failure handling playback unit 58 instructs the playback unit 52 to play back media that has been received so far in the event of a failure according to the failure handling rules from the distribution server 1 s.
  • the failure handling playback unit 58 plays back the media that has been received so far and remains in the buffering unit 51 in the event of a failure, or the system administrator or the user of the receiving terminal stores the media in the receiving terminal in advance.
  • the playback means 52 is instructed to play the media dedicated to the failure.
  • a method of acquiring the media dedicated to the failure for example, it is acquired via the network interface of the receiving terminal 5 e, or it is stored in an external memory by a computer other than the receiving terminal 5 e, and the external memory Can be obtained by attaching to the receiving terminal 5 e.
  • the failure handling rule storage means 4 3 prepares for the case where the media could not be distributed due to a communication failure or the like.
  • the rule determined by the server administrator as a failure handling rule is used to indicate what to display in e.
  • This failure handling rule is sent to the receiving terminal 5 e, and the delivery means 20 is set to stop delivery when a failure occurs. Can be instructed.
  • the failure handling playback means 58 can play back the media received so far or the media dedicated to the failure according to the failure handling rules.
  • FIG. 26 is a block diagram showing the configuration of the media distribution system according to the second example of the present invention.
  • the media distribution system according to the second embodiment of the present invention adds the backup media distribution means 44 to the distribution server 1t, and stores the failure handling playback means 58 and the backup media storage in the receiving terminal 5f. Except for the addition of the means 59, the configuration is the same as that of the first embodiment of the present invention shown in FIG. 1, and the same elements are denoted by the same reference numerals. This embodiment can also be applied to the second to 20th embodiments of the present invention described above.
  • the spare media distribution means 4 4 prepares media to be displayed on the receiving terminal 5 f as a spare medium in case the media cannot be distributed due to a communication failure or the like. 2 Delivered to receiving terminal 5 via 0.
  • the backup media storage means 59 receives the backup media from the distribution server 1 t and stores it in a dedicated buffer (not shown).
  • the failure handling playback means 5 8 instructs the playback means 52 to display the spare media according to the failure handling rules in the event of a failure.
  • spare media examples include trailers for movies and TV programs, and methods for using commercials.
  • the spare media may be distributed, for example, at a time specified by the system administrator, or may be distributed at a time specified by the user of the receiving terminal 5f.
  • the spare media may be distributed simultaneously with the media that the user of the receiving terminal 5f is viewing, for example, when there is a sufficient bandwidth.
  • spare media may be distributed immediately before playback of media to be viewed when the user starts viewing at the receiving terminal 5f, for example.
  • the backup media distribution means 44 prepares the media to be displayed on the receiving terminal 5 f as the backup media when the media cannot be distributed due to a communication failure or the like.
  • the spare media can be distributed to the receiving terminal 5f.
  • the spare medium can be stored in a dedicated buffer by receiving the spare medium at the receiving terminal 5 f by the spare medium storing means 59.
  • the spare media can be displayed according to the failure handling rules at the time of failure by the failure handling reproduction means 58.
  • FIG. 27 is a block diagram showing a configuration of a media distribution system according to the second example of the present invention.
  • the media distribution system according to the second and second embodiments of the present invention adds a presence acquisition unit 45 to the distribution server 1 u and adds a presence notification unit 60 to the receiving terminal 5 g.
  • the structure is the same as that of the first embodiment of the present invention shown in FIG. 1, and the same reference numerals are given to the same elements. This embodiment can also be applied to the above-described second to second embodiments of the present invention.
  • the presence acquisition means 45 acquires the position and movement status of the receiving terminal 5 g from the receiving terminal 5 g as presence.
  • the bandwidth fluctuation prediction means 17 uses the presence acquired by the presence acquisition means 45 when predicting future bandwidth fluctuation for a certain period.
  • the presence notification means 60 notifies the distribution server 1 u of the position of the receiving terminal 5 g and the state of movement.
  • a method for acquiring presence for example, there is a method in which a GPS (global positioning system) receiver is mounted on the receiving terminal 5 g and a position is acquired from a GPS signal received by the receiver.
  • a method of acquiring presence for example, it can be obtained from the radio field strength of each base station as in the case of a mobile phone. Monkey.
  • the position of the receiving terminal 5 g can be estimated from the position of the hot spot.
  • the degree of movement of the receiving terminal 5 g can be obtained, for example, by using an acceleration sensor or a gyro.
  • the presence acquisition means 45 and presence notification means 60 can improve the accuracy of prediction of future band fluctuations based on the position of the receiving terminal 5g and how it moves.
  • FIG. 28 is a block diagram showing the configuration of a media distribution system according to the second to third embodiments of the present invention.
  • the media distribution system according to the second and third embodiments of the present invention adds a reception environment acquisition means 4 6 to the distribution server 1 V, and a sensor 61 and reception environment notification means 6 2 to the reception terminal 5 h. 1 are the same as those in the first embodiment of the present invention shown in FIG. 1, and the same elements are denoted by the same reference numerals.
  • This embodiment can also be applied to the second to second embodiments of the present invention described above.
  • reception environment acquisition means 46 acquires the physical environment such as weather conditions and electromagnetic environment around reception terminal 5 h as reception environment from reception terminal 5 h.
  • the bandwidth fluctuation prediction means 17 uses the reception environment acquired by the reception environment acquisition means 46 when predicting future bandwidth fluctuation for a certain period.
  • the sensor 61 measures the physical environment such as ambient weather conditions and electromagnetic environment.
  • the reception environment notification means 6 2 notifies the distribution server 1 V of the physical environment measured by the sensor 61 as the reception environment.
  • radio waves are strongly attenuated when it rains heavily.
  • wireless communication may be difficult.
  • sensors that measure the physical environment, such as rain gauges, rain radars, anemometers, barometers, geomagnetic meters, and ionosphere radars.
  • observation data from earth observation satellites such as meteorological satellites can be acquired and used.
  • the reception environment acquisition means 4 6 and the reception environment notification means 6 2 Therefore, it is possible to improve the prediction accuracy of future band fluctuations from the weather conditions and electromagnetic environment around the receiving terminal 5 h.
  • FIG. 29 is a block diagram showing the configuration of the media distribution system according to the 24th embodiment of the present invention.
  • the media distribution system according to the 24th embodiment of the present invention adds task acquisition means 4 7 and terminal resource prediction means 4 8 to the distribution server lw, and sends task notification means 6 to the receiving terminal 5 i.
  • the configuration is the same as that of the first embodiment of the present invention shown in FIG. 1, and the same components are denoted by the same reference numerals.
  • This embodiment can also be applied to the second to second embodiments of the present invention described above.
  • the task acquisition means 47 acquires the type of program currently being executed and the execution history from the receiving terminal 5 i.
  • the terminal resource prediction means 4 8 were obtained from the average execution time of the program type specified by the system administrator in advance, the active program type, the execution history, and the terminal resource acquisition means 14 Using the available resources, the resources that can be used in the future for a certain period are predicted and used as future resources.
  • the bit rate determining means 18 uses the future resource instead of the available resource when determining the bit rate.
  • the task notification means 63 notifies the distribution server 1 w of the currently executed program type and execution history.
  • a monitoring function such as a system monitor or a task monitor that is standard in many OSs (operating systems) is used.
  • Another method is to install new software on the receiving terminal 5 i that obtains the type of program being executed and its execution history.
  • the task acquisition means 4 7, task notification means 6 3 and terminal resource prediction means 4 8 make it possible for the receiving terminal 5 i to use the memory capacity, CPU free space and disk capacity in the future. Based on these resources, it is possible to distribute more optimal media to the receiving terminal 5 i.
  • FIG. 30 is a block diagram showing the configuration of a media distribution system according to the 25th embodiment of the present invention.
  • the media distribution system according to the 25th embodiment of the present invention is the same as the second embodiment of the present invention shown in FIG. 27 except that presence prediction means 49 is added to the distribution server 1 X.
  • the same elements are given the same reference numerals.
  • This embodiment can also be applied to the above-described second and third embodiments of the present invention.
  • the presence prediction means 4 9 predicts the future position and movement status for a certain period from the current position and movement status of the receiving terminal 5 g obtained from the presence acquisition means 4 5. To do.
  • the bandwidth fluctuation prediction means 17 uses the future presence instead of the presence when forecasting the future bandwidth fluctuation for a certain period.
  • a method for predicting presence for example, there is a method in which a model is constructed by regression analysis of existing presence, and band fluctuation is obtained as a function from the model.
  • the environment such as the time zone and season and the geography around the receiving terminal may be taken into consideration.
  • the future position can be estimated by referring to the operation schedule.
  • the route and time are fixed to some extent for commuting, and the presence can be easily estimated.
  • a polynomial function may be simply extrapolated to past presence.
  • the presence prediction means 49 can predict the future position and the state of movement of the receiving terminal 5g, and can improve the prediction accuracy of future band fluctuations.
  • FIG. 31 is a block diagram showing the configuration of a media distribution system according to the 26th embodiment of the present invention.
  • the media distribution system according to the 26th embodiment of the present invention is the second embodiment of the present invention shown in FIG. 28 except that the reception environment predicting means 50 is added to the distribution server 1 y. It has the same configuration as the example, and the same elements are given the same reference numerals.
  • This embodiment is the implementation of the second, second, second, and second 25 of the present invention described above. It can also be applied to examples.
  • the reception environment prediction means 50 predicts the future weather conditions and electromagnetic environment for a certain period from the current weather conditions and electromagnetic environment around the receiving terminal 5 h obtained from the reception environment acquisition means 46. And set it as the future reception environment.
  • the bandwidth fluctuation prediction means 17 uses the future reception environment instead of the reception environment when predicting the future bandwidth fluctuation for a certain period.
  • the media distribution system of the present invention realizes high efficiency by changing the quality according to fluctuations in communication bandwidth, and enables browsing of media with stable quality by predicting bandwidth fluctuations. .
  • the media delivery system of the present invention can deliver media with stable quality within a range in which the user does not feel uncomfortable or unnatural even in an environment where the bandwidth fluctuates frequently. It becomes.
  • the media distribution system of the present invention it is possible to distribute optimal media to various receiving terminals without delay even if the receiving terminal performance and the communication environment vary.
  • a first media distribution system includes a distribution server that distributes media such as video and music, and a reception terminal that receives and plays back media via a network.
  • Terminal performance identification means to determine the processing capacity and corresponding media format, and memos currently available from the receiving terminal
  • Terminal resource acquisition means for acquiring resources such as free space, CPU (central processing unit) free space, disk capacity, etc., and the environment type to which the receiving terminal is connected and the current bandwidth, which is determined in advance by the system administrator
  • Bandwidth fluctuation prediction means to predict future bandwidth fluctuations, and deliver to receiving terminals so that receiving terminal performance and available resources and predicted future bandwidth fluctuations do not cause sudden fluctuations in media quality.
  • a bit rate determining means for determining an optimum bit rate for high-quality media, and an encoding means for selecting the optimum encoding method to encode the media in order to achieve the optimum bit rate. Yes.
  • the receiving terminal has terminal resource notification means for notifying the distribution server of resources such as the currently available memory capacity, CPU free space and disk capacity.
  • the bandwidth fluctuation prediction means it becomes possible to predict future bandwidth fluctuation by the bandwidth fluctuation prediction means, and the terminal performance determination means and the terminal resource acquisition means make it possible to predict the current state of the terminal.
  • the performance can be estimated.
  • the bit rate determination means is adapted to prevent the media quality at the receiving terminal from abruptly changing based on the bandwidth fluctuation and to be suitable for the current performance of the receiving terminal. Bit rate can be determined, and even if there is a sudden bandwidth change at the receiving terminal, there is no sudden bit rate change, and high quality media can be viewed without any sense of incongruity or unnaturalness. Is possible.
  • a second media distribution system is a system composed of a distribution server that distributes media such as video and music, and a receiving terminal that receives and plays back media via a network.
  • the terminal performance determination means for determining the processing capacity and corresponding media format
  • the terminal resource acquisition means for acquiring resources such as the memory capacity, CPU free space, and disk capacity currently available from the receiving terminal, and the system administrator Time interval holding means that holds multiple predetermined time intervals, the environment type to which the receiving terminal is connected, and the current bandwidth to predict future bandwidth fluctuations for a certain period of time determined by the system administrator.
  • Bit rate determining means for determining a rate at the time interval
  • encoding means for selecting an optimal encoding method and encoding media in order to achieve an optimal bit rate.
  • the receiving terminal has terminal resource notification means for notifying the distribution server of resources such as the currently available memory capacity, CPU free space and disk capacity.
  • the second media distribution system of the present invention it becomes possible to predict future bandwidth fluctuations at time intervals predetermined by the system administrator using the bandwidth fluctuation prediction means. It is possible to estimate the current performance of the terminal by using the resource acquisition means.
  • the bit rate optimum means for the current performance of the receiving terminal so that the media quality at the receiving terminal does not fluctuate rapidly based on the band fluctuation by the bit rate determining means.
  • the system administrator can determine the rate at a predetermined time interval, and even if there is a sudden band fluctuation at the receiving terminal, there is no sudden bit rate fluctuation, and it is unnatural if it feels strange In addition, high-quality media can be viewed.
  • the third media distribution system of the present invention has the above bandwidth in the future predetermined by the system administrator in addition to the configuration of any of the first and second media distribution systems of the present invention.
  • Bandwidth for sending a warning message to the deferred means if the bandwidth obtained by the fluctuation prediction means is monitored to see if it is smaller than the threshold value of the bandwidth set by the system administrator.
  • the media in the future period in which the bandwidth is less than the threshold within the range determined by the system administrator and not exceeding the current bandwidth obtained from the bandwidth measuring means.
  • a postponement means for instructing to store for instructing to store.
  • the receiving terminal is provided with the advance means.
  • the buffer size changing means for instructing the buffering means to change the buffer size when receiving an instruction from the user.
  • the bandwidth fluctuation monitoring means predicts that the bandwidth will be smaller than the threshold value, it is possible to send a warning message to the advance sending means.
  • the distribution means when the warning message is received by the advance means, the distribution means so that the media data in the future period in which the bandwidth is smaller than the threshold value is distributed to the receiving terminal in advance. It is possible to instruct the receiving terminal to change the buffer size and store the media distributed in advance.
  • the buffer size can be changed by the buffer size changing means when receiving an instruction from the advance sending means.
  • the media can be continuously played back at the receiving terminal by these means even when the communication band is extremely small and the media cannot be distributed.
  • the fourth media distribution system of the present invention includes a frame size, a frame rate, a compression rate, and a number of colors in addition to the configuration of any of the first to third media distribution systems of the present invention described above. And a moving image coding determining means for instructing the coding means to change the size of the media by changing the number of gradations.
  • the video frame size, the frame rate, the compression rate, the number of colors, and the number of gradations are changed by the moving image coding discrimination means.
  • the size can be adjusted.
  • the fifth media distribution system of the present invention smoothes the entire frame of the moving image with uniform intensity in addition to any one of the first to fourth media distribution systems of the present invention described above.
  • Image processing means for instructing the encoding means to change a certain bit rate is provided.
  • the image processing means Therefore, smoothing the entire frame of the video with uniform intensity, changing the smoothing intensity in the frame part, or changing the smoothing intensity according to the intensity of movement, Therefore, it is possible to adjust the media size while suppressing the noticeable image quality degradation.
  • the sixth media distribution system includes, in addition to the configuration of any one of the first to fifth media distribution systems according to the present invention described above, the audio sampling rate, the number of bits per sample, and the frequency band.
  • the audio sampling rate, the number of bits per sample, the frequency band, the number of channels such as stereo, etc. are changed by the audio coding discrimination means.
  • the media size can be adjusted.
  • the seventh media distribution system of the present invention changes the size of the media by changing the media codec itself, in addition to any of the configurations of the first to sixth media distribution systems of the present invention described above.
  • an encoding selection means for instructing the encoding means.
  • the size of the media can be adjusted by changing the codec itself of the media by the encoding selection means.
  • the eighth media distribution system of the present invention includes a frame size, a frame rate, a compression rate, and a number of colors in addition to the configuration of any of the first to seventh media distribution systems of the present invention.
  • Number of gradations, smoothing strength, distribution of smoothing strength on frame, audio sampling rate and number of bits per sample, frequency band, number of channels, and media codec are achieved for each combination Matrix holding means for holding a matrix describing the bit rate, and combination selection means for selecting an optimal encoding method for media to be delivered from the matrix to the receiving terminal based on terminal performance and bandwidth fluctuation .
  • the eighth media distribution system of the present invention maintains the matrix.
  • the frame size of the video, the frame rate, the compression ratio, the number of colors, the number of gradations, the smoothing strength, the distribution of the smoothing degree on the frame, the sampling rate of the audio and the number of bits per sample It is possible to maintain a matrix that describes the bit rate achieved for each combination of frequency band, number of channels, and media codec.
  • the combination selection means selects an optimum encoding method for media to be distributed from the matrix to the receiving terminal based on the terminal performance and the band fluctuation. Is possible.
  • the ninth media delivery system of the present invention includes a person in a scene that has an influence on compression efficiency, the intensity of movement, and the complexity of an image in a frame.
  • the scene discriminating means causes the complexity of the image of the frame ⁇ or the sports of the movement of the person or object in the scene that affects the compression efficiency. Based on the content type such as a program, it is possible to select an optimal encoding method for media to be distributed from Matrix to the receiving terminal. In the ninth media distribution system of the present invention, it is possible to automatically select an optimum combination from a large number of combinations of encoding parameters by this means.
  • the tenth media distribution system of the present invention is based on a content type such as a sports program and a movement of a person or object in a scene. From the optimal encoding method for the media to be delivered to the receiving terminal, multiple methods are selected as encoding method candidates, the server administrator prepares a predetermined number, and the list is delivered to the receiving terminal. And a combination recommendation means for instructing the encoding means to the encoding means in accordance with the specified encoding method.
  • the encoding method candidates are displayed on the receiving terminal, and are selected by the user, and encoded by the encoding method selected by the user. It has an encoding candidate selection means for sending the media to the distribution server.
  • the combination recommendation means allows the media to be distributed from the matrix to the receiving terminal based on the content type such as a sports program or the movement of a person or object in the scene. It is possible to select multiple encoding methods from among the optimal encoding methods, prepare as many as the number determined in advance by the server administrator, and distribute the list to the receiving terminal.
  • the combination recommendation means can instruct the encoding means to the encoding means in accordance with the encoding method instructed from the receiving terminal.
  • the encoding method selection unit displays the encoding method candidates at the receiving terminal, allows the user to select, and selects the encoding method selected by the user. It can be sent to the distribution server.
  • the user can select a combination of encoding parameters.
  • the first media distribution system according to the present invention in addition to any one of the first to tenth media distribution systems according to the present invention described above, is used as an encoding means when distributing from the distribution server to the receiving terminal.
  • it has an error correction coding discriminating means for instructing to add an error correction signal to the media and changing the size of the media by changing the strength of the error correction signal.
  • the error correction coding discriminating means distributes from the distribution server to the receiving terminal, the error correction signal is added to the media to the encoding means.
  • the media size can be adjusted.
  • the first and second media distribution systems according to the present invention are used as encoding means when distributing from the distribution server to the receiving terminal.
  • it has encryption discrimination means that changes the size of the media by instructing to encrypt the media and changing the encryption strength and the encryption algorithm itself.
  • the encryption discrimination means When distributing from the distribution server to the receiving terminal, the encoding means is instructed to encrypt the media, and the media size is adjusted by changing the encryption strength or the encryption algorithm itself. Is possible.
  • the first third media distribution system of the present invention holds a test medium for examining the performance of the receiving terminal.
  • terminal performance evaluation means for distributing the test medium to the receiving terminal, receiving an error message from the receiving terminal, describing the non-playable medium for each terminal in the terminal database, and storing the medium. Yes.
  • test media acquired through the buffering means is played at the receiving terminal, and an error message is sent to the distribution server when the test media cannot be played back normally.
  • Test media playback means In the third media distribution system of the present invention, the test media acquired through the buffering means is played at the receiving terminal, and an error message is sent to the distribution server when the test media cannot be played back normally. Test media playback means.
  • the terminal performance evaluation unit holds the test medium for examining the performance of the receiving terminal, and the test medium is then sent to the receiving terminal.
  • the error message from the receiving terminal can be distributed and stored in the terminal database as a non-reproducible medium for each terminal.
  • test media playback means plays back the test media acquired through the buffering means by the test media playback means and cannot be normally played back.
  • An error message can be sent to the delivery server.
  • 13th media delivery system of the present invention it is possible to deliver the optimum media by these means even to a new model receiving terminal whose type of media that can be viewed is unknown.
  • the 14th media distribution system of the present invention is not limited to any of the configurations of the 1st to 13th media distribution systems of the present invention described above, in order to divide the media according to rules determined in advance by the system administrator. And a media division means for dividing the media on the time axis and a bandwidth fluctuation prediction means for predicting future bandwidth fluctuations for a certain period of time predetermined by the system administrator for each division point.
  • the media dividing Depending on the level, media can be separated by specific rules.
  • the 15th media distribution system includes, in addition to the configuration of the above-mentioned 14th media distribution system according to the present invention, a voice division that divides the voice at a timing such as a silent region of a voice, speaker switching, music switching, etc. Have means.
  • the voice can be divided by the voice dividing means at the timing of the voice silence area, speaker switching, music switching, and the like.
  • this means can minimize the user's uncomfortable feeling at the moment when the quality changes even if the quality of the audio changes.
  • the 16th media distribution system of the present invention includes a moving image dividing means for dividing a moving image at a timing such as a cut-off of a moving image, in addition to the configuration of the above-described 14th or 15th media distribution system of the present invention. have.
  • the moving image dividing means can divide the moving image at the timing of moving image cut-off scene switching or the like.
  • the 16th media distribution system of the present invention even if the quality of the moving image is changed, it is possible to suppress the user's uncomfortable feeling at the moment when the quality changes.
  • the seventeenth media distribution system of the present invention includes, in addition to the configuration of any one of the fourteenth to sixteenth media distribution systems of the present invention described above, a silent region of voice, switching of speakers, switching of music, etc.
  • the timing of the video and the timing of video cuts, scene changes, etc., and either timing is used as the media division point, or both timings are used, or the audio and video are different Whether to divide at the timing is determined according to the rules set by the server administrator in advance, and it has video / audio division means to divide the media at a timing that does not make the user feel uncomfortable.
  • the timing of the audio silence area, speaker switching, music switching, etc., depending on the video / audio dividing means Against the timing of video cuts, scene changes, etc., and the ability to adopt either timing as the dividing point of media, or both timings, or audio and video at different timings It is possible to determine whether to divide the media according to rules established by the server administrator in advance, and to divide the media at a timing that does not make the user feel uncomfortable.
  • the 17th media distribution system of the present invention even if the quality of the media is changed by this means, it is possible to minimize the user's uncomfortable feeling at the moment when the quality changes.
  • a playback location of media being played back is received from a receiving terminal,
  • the playback location and the ID that identifies the title and content of the media are saved, and if the user specifies a stop at the receiving terminal, or if the media could not be delivered normally to the receiving terminal due to a communication failure, the media was delivered successfully.
  • Playback status storage means for storing the last part as an interrupted part, and when the user instructs playback again on the receiving terminal side, distribution starts from the interrupted part of the media to the receiving terminal, or the user uses the receiving terminal.
  • it has retransmission control means for instructing the delivery means to start delivery from the location specified by the user to the receiving terminal.
  • the receiving terminal has a playback location notifying means for acquiring the media playback location from the playback means and notifying the delivery server.
  • the playback location storage unit receives the playback location of the media being played back from the receiving terminal, and identifies the playback location and the media title and content. ID is saved, and when the user specifies stop at the receiving terminal, or when media cannot be normally delivered to the receiving terminal due to a communication failure, the last part that was normally delivered is saved as the interruption part. It becomes possible.
  • the reproduction location notifying means at the receiving terminal distributes how far the media can be normally reproduced at the receiving terminal. It can be grasped by the server.
  • the delivery starts from the interrupted location of the media to the receiving terminal. It is possible to start distribution from the location specified by the user to the receiving terminal so that playback starts from an arbitrary location specified by the receiving terminal.
  • the media distribution system it is possible to resume from the point of time when normal viewing was possible after recovery from the communication failure, even if the communication failure is not received by these means. Playback from any location specified by the user is possible.
  • the nineteenth media distribution system of the present invention is a terminal for registering a plurality of receiving terminals that the system administrator permits in advance in addition to the configuration of the above eighteenth media distribution system of the present invention.
  • the terminal identification means suspends playback at the receiving terminal and then instructs playback again at a receiving terminal different from the receiving terminal that has been played back so far. In this case, it is checked whether the receiving terminal is registered in the terminal registration means, and if it has been registered, distribution to the receiving terminal is resumed from the media interruption point or any point specified by the user. In the case of registration, it is possible to display a message such as disapproval for the requested receiving terminal.
  • the media distribution system by these means, even when the user changes the display device from, for example, a mobile phone to a PC (personal computer), the same content can be continuously viewed. Is possible. Furthermore, in the media distribution system according to the nineteenth aspect of the present invention, the most suitable media is generated in advance for each terminal from previously registered terminal information, so that it can be immediately provided when a user requests it. It becomes possible to do.
  • the 20th media distribution system of the present invention provides for a case where media could not be distributed due to a communication failure or the like in addition to any of the configurations of the 1st to 19th media distribution systems of the present invention described above.
  • What to display on the receiving terminal when delivery is not possible saves the rules determined by the server administrator as fault handling rules, sends this fault handling rule to the receiving terminal, and stops delivery when a fault occurs Fault handling rule storage means for instructing the delivery means.
  • the 20th media distribution system of the present invention instructs the receiving means to play back the media that has been received so far in the event of failure according to the failure handling rules to the media dedicated to the failure. It has a failure handling reproduction means.
  • the 20th media distribution system of the present invention what is displayed on the receiving terminal when the media cannot be distributed by the failure handling rule storage means when the media cannot be distributed due to a communication failure or the like. It is possible to use the rules determined by the server administrator as a failure handling rule, send this failure handling rule to the receiving terminal, and instruct the delivery means to stop delivery when a failure occurs. Become.
  • the failure handling playback means can play back media received so far or dedicated media at the time of failure according to the failure handling rules. .
  • the second media distribution system of the present invention provides for a case where media could not be distributed due to a communication failure or the like in addition to any of the configurations of the first to 20th media distribution systems of the present invention described above. If the media cannot be delivered, the media to be displayed on the receiving terminal is prepared as a spare media, and reserve media delivery means for delivering the media to the receiving terminal is provided.
  • the second media distribution system includes a spare media storage means for receiving spare media at a receiving terminal and storing the spare media in a dedicated buffer, and a fault that displays spare media according to a fault handling rule in the event of a fault. Corresponding reproduction means.
  • the spare media distribution In case the media cannot be delivered due to communication failure, etc., the media to be displayed on the receiving terminal can be prepared as a spare media and delivered to the receiving terminal.
  • the backup media can be received by the receiving terminal and stored in a dedicated buffer by the backup media storage means.
  • the 21st media distribution system of the present invention it is possible to display spare media according to the failure handling rules at the time of failure by the failure handling playback means.
  • the second media distribution system of the present invention includes, in addition to the configuration of any of the first to second media distribution systems of the present invention described above, the position of the receiving terminal and the condition of movement in the distribution server. Is obtained from the receiving terminal as presence, and band fluctuation prediction means that also uses presence when predicting future band fluctuation for a certain period of time.
  • the second media distribution system of the present invention has presence notification means for notifying the distribution server of the position and movement in the receiving terminal.
  • the second media distribution system of the present invention includes, in addition to the configuration of any one of the first to second media distribution systems of the present invention described above, a weather condition or electromagnetic environment around the receiving terminal in the distribution server.
  • a receiving terminal notifies a distribution server of the physical environment as a reception environment and a sensor for measuring a physical environment such as ambient weather conditions and electromagnetic environment in the reception terminal.
  • Environmental notification means As a result, in the second media distribution system of the present invention, the reception environment acquisition means and the reception environment notification means can predict the accuracy of future bandwidth fluctuations from the weather conditions and electromagnetic environment around the reception terminal. It becomes possible to raise.
  • the 24th media distribution system of the present invention includes, in addition to the configuration of any of the above first to second 3rd media distribution systems of the present invention, a program type currently being executed from the receiving terminal in the distribution server. And task acquisition means for acquiring the execution history, the average execution time of the program type specified by the system administrator in advance, the program type being executed, the execution history, and the availability obtained from the terminal resource acquisition means.
  • the 24th media distribution system of the present invention has a task notification means for notifying the distribution server of the currently executed program type and execution history in the receiving terminal.
  • the task acquisition means, task notification means, and terminal resource prediction means determine the memory capacity, CPU free space, disk capacity, etc. that can be used in the receiving terminal in the future. Based on the resources, it is possible to distribute more optimal media to the receiving terminal.
  • the 25th media distribution system of the present invention includes, in addition to the configuration of any of the above 2nd to 2nd media distribution systems of the present invention, the current location and movement of the receiving terminal in the distribution server.
  • Presence prediction means that predicts future positions and movements for a certain period from the condition of the situation and makes future presence, and band fluctuation prediction that uses future presence instead of presence when forecasting future band fluctuation for a certain period Means.
  • the 25th media distribution system of the present invention it becomes possible to predict the future position and the state of movement of the receiving terminal by the presence prediction means, and to improve the prediction accuracy of the future bandwidth fluctuation. Is possible.
  • the 26th media distribution system of the present invention includes the current weather around the receiving terminal in the distribution server, in addition to the configuration of any of the above-described second to 25th media distribution systems of the present invention. Forecast future weather conditions and electromagnetic environment for a certain period from the conditions and electromagnetic environment. Receiving environment predicting means for the future receiving environment, and band fluctuation predicting means for using the future receiving environment instead of the receiving environment when predicting the future bandwidth fluctuation for a certain period of time.
  • the twenty-sixth media distribution system of the present invention it becomes possible to predict the future weather conditions and electromagnetic environment around the receiving terminal by the reception environment prediction means, and the prediction accuracy of future band fluctuations Can be increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

 配信サーバ1において、端末情報取得手段11が受信端末5の端末情報を取得し、端末性能判別手段13が端末情報と端末データベース12とを照合して受信端末5の端末性能を判別する。接続環境判別手段15は受信端末5の接続環境を判別し、帯域変動予測手段17は接続環境と帯域測定手段16で得られた現在の帯域とから一定期間将来の帯域変動を予測する。ビットレート決定手段18は予測された帯域変動と端末リソース取得手段14で得られた受信端末5で利用可能なリソースとを基に受信端末5へ配信する高品質なメディアの最適なビットレートを決定し、符号化手段19は最適な符号化方法を選択する。

Description

メディァ配信システム 配信サーバ装置及びそれらに用いるメディァ配信方法 並びにそのプログラム 技術分野:
本発明はメディア配信システム、 配信サーバ装置及びそれらに用いるメディア 配信方法並びにそのプログラムに関明し、 特にパーソナルコンピュータや携帯情報 端末に対して映像や音楽等のメディアを配信するシステムに関する。 食
背景技術:
近年、 上記のシステムでは、 ネッ トワークのブロードバンド化とパーソナルコ ンピュータ (以下、 パソコンとする) や携帯情報端末の高性能化に伴い、 ネット ワークを介して大容量の映像や音楽を閲覧するというニーズが高まっており、 そ のニーズに合わせて映像や音楽を配信するサービスが始まっている。 このサービ スとしては、 ファイルをダウン口一ドする形式と逐次配信するストリーミング形 式がある。 ここでは、 受信側でダウンロードしたメディアを保存するための大容 量ストレージを必要としないストリーミング形式を対象とする。
メディアをストリーミング形式で配信するサービスの多くは、 ユーザの通信環 境に合わせてビットレートの異なるデ一ダを用意している。 一方、 インタネット のようなオープンなネットワーク環境や無線 L AN ( L ο c a 1 A r e a N e t w o r k ) のように物理環境の変動が大きい環境では、 通信帯域が変動する ため、 平均帯域ではユーザが指定したビットレートを上回っていても、 タイミン グによってはユーザが指定したビットレートを大きく下回る場合がある。
このような時、 多くのサービスでは、 メディアを受信の時間が余計に要するた め、必要な分のメディアのダウン口一ドが済むまでユーザが待つことになつたり、 一部メディアが欠落して途切れが生じたりする。 場合によっては、 接続を最初か らやり直さなければならないことがある。
このような帯域変動に合わせてメディアの品質を制御してビットレートを変更 する方法としては、 特開 2002— 204278号公報、 特開 2002— 208 954号公報、 特開 2002— 325095号公報、 特開 2004— 01 542 9号公報、 特開 2004— 214755号公報、 特開 2004— 222044号 公報、特開 2004— 272563号公報、特開 2004— 357226号公報、 特開 2005— 286978号公報、特開 2005— 318057号公報(以下、 順に文献 1〜10と記す) に記載の手法等が提案されている。 また、 現時点の帯 域だけではなく、 将来の帯域を予測する方法としては、 特開 2005 _ 1513
52号公報 (以下文献 1 1と記す) に記載の手法が提案されている。 さらに、 帯 域変動への追随については触れていないが、 画像のデータ量を削減する方法とし ては、 特開 2001 _ 128132号公報 (以下文献 1 2と記す) に記載の手法 が提案されている。
これら以外に、 帯域に合わせて通信セッションを制御する方法としては、 特開 2005-157323号公報 (以下文献 13と記す) に記載の手法が提案され ているが、 この方法はあくまでも、 複数の通信端末が存在する場合に、 各々の通 信端末の通信内容によらず、 できるだけ平等に帯域が割り当てられるように、 回 線割り当てを制御するものであって、 単一端末の通信のビットレートを制御する 本発明とは適用分野も目的も異なる。
また、 これら以外に、 帯域に余裕がある場合に、 データを先送りする方法とし ては、 特開 2003— 209593号公報 (以下文献 14と記す) に記載の手法 が提案されているが、 この方法は通信帯域の変動を想定しているものではなく、 通信帯域の変動に合わせてメディアを最適なビットレートで送信する本発明とは 目的が異なる。
さらに、 これら以外に動画の容量を調整する方法としては、 特開平 1 1一 13
6673号公報 (以下文献 15と記す) に記載の手法が提案されているが、 この 手法では、 配信ではなく、 蓄積されている映像を対象に、 シーン毎に重要性を判 定してビットレートを変更しているだけであり、 通信帯域の変動に合わせてメデ ィァを最適なビットレートで送信する本発明とは適用分野も目的も異なる。 発明の開示: 発明が解決しょうとする課題
上述した従来の技術では、 上記の文献 1〜 10に記載の手法の場合、 何れも通 信帯域を測定しているが、 メディアの特定部分について、 その部分を配信する前 の帯域を知ることができるだけである。 そのため、 これらの手法では、 帯域測定 から実際の送信までの間に帯域が変動する場合に対応することができない。 特に 移動体通信の場合には、 帯域変動が顕著であるため、 測定した帯域と実際のデー タ送信時の帯域とが大きく異なることがある。
また、 これら文献 1〜10に記載の手法では、 測定した時点での帯域にビタリ 合うようにビットレートを調整するか、 ある程度の期間の帯域の平均から適切な ビットレートを推定することになる。 しかしながら、 測定した帯域にビタリ合う ようにビットレートを調整するようにした場合には、 帯域変動が頻繁で頻繁にメ ディアの品質が変動することになると、 視聴に障害が出ることになる。 ある程度 の期間の帯域の平均はあくまでも過去の平均であるため、 未来に適用すると乖離 が大きくなる場合がある。
例えば、 文献 1では、 将来の帯域予測を行わず、 現在の帯域のみを利用してい る上に、 一旦ジッタやバケツト損失が生じてからビットレートの変更を実施して おり、 メディアの品質が一時的に著しく低下する可能性がある。 それに加え RT P (Re a l T i me t r a n s p o r t P r o t o c o l ) とレヽぅ特定 の通信プロトコルに依存した手法であり、 他のプロトコルへの適用は難しい場合 カある。
画像符号化においても、 ビットレート変更の具体な記述は動画の GO P (G r o u p O f P i c t u r e s) 間隔を変更するだけの単純なものであり、 メ ディア品質とビットレートとについてトレードオフの選択肢が狭く、 低ビットレ ートで高品質を実現するのが難しい。 また、 上記の文献 1では、 GO P間隔を用 いているため、 音声のみのメディアには適用不可である。
文献 12でも、 GOPに相当するキーフレームを省くことによって、 同じよう な動画のデータ量削減を行っているが、 同様に低ビットレートで高品質を実現す るのが難しく、 音声のみのデータには無効である。
文献 1 5でも、 データ量の調整の具体例として上げているのは GOPの間隔の 調整であり、 上記と同様に、 低ビットレートで高品質を実現するのが難しく、 音 声のみのデータには無効である。
同様に、 例えば、 文献 4でも、 将来の帯域予測を行わず、 現在の帯域のみを利 用している上に、 ー且バケツト損失が生じてからビットレートの変更することが あるため、 メディアの品質が一時的に著しく低下する可能性がある。 また、 仮に パケット損失が起きなかったとしても、 文献 4では、 帯域が急激に変動する場合 を想定していないため、 急激な帯域の変動時にビットレートが急激に変動してメ ディアの品質が低下する場合がある。 また、 この手法の特徴として、 帯域を探る モードでは、 コンテンツビッ トレートを変えずに送出ビッ トレートを変更してい るが、 メディアの尺 (長さ) と送信時間とが合わないため、 頻繁に最適なビット レートを探ろうとすると、 再生が間延びしたりしてメディアの品質が低下してし まう。
さらに同様に、 例えば、 文献 5においても、 将来の帯域予測を行わず、 現在の 帯域のみを利用している。 文献 5では、 途切れの無い再生を目標としており、 帯 域が急激に変動する場合、 メディァの品質も急激に変動してしまう。
また、 例えば、 文献 3においては、 帯域の過去の平均を予測値としているが、 実際の変動との乖離が大きくなる場合がある。
さらにまた、 文献 3では、 ジッタを測定した後に帯域変更となるため、 遅延が 大きく、 急激な帯域変動が発生すると、 ビットレートの変更が追随できず、 メデ ィァの品質が著しく低下する場合がある。 それに加え、 文献 3では、 R T Pとい う特定の通信プロトコルを想定しており、 他のプロトコルへの適用は難しい場合 がある。
上記の方法において、 メディア変換に時間がかかる場合、 前もって変換してお けば配信に間にあわせることができるが、 これらの提案手法では現時点の帯域が わかるだけなので、 帯域の変動を見越して様々なビットレートのメディアを用意 する必要が出てくる。 そのため、 大容量のストレージが必要になるし、 変換時間 も大きくなつてしまう。
一方、 文献 1 1では、 将来のある時点での帯域を予測しているが、 受信端末と して想定している車両の位置と速度とから将来のある時点でのその車両の位置を 推測し、 過去にあったその位置での受信状況から帯域を予測しているだけである ため、 気象状況や電磁環境等の物理条件、 他のユーザの使用による帯域占有率等 が変動した場合に対応することができない。
また、 文献 1 1では、 メディアの途切れを軽減することを目指してはいるが、 帯域が急激に変動する場合を想定していないため、 帯域が急激に変動する場合、 メディアの品質も急激に変動してしまう。
上述した文献 1〜1 2に記載の方法で動画のビットレートを変更する場合には、 単純にビットレートを指定してェンコ一ドすることのみを想定しており、 ビット レートが小さい場合、 プロックノイズ等の視聴し辛い低品質となってしまう場合 力 sある。
その上、 これらの手法では、 何れも受信端末の利用状況や受信端末の能力を想 定したビットレートの変更をしておらず、 携帯電話や PDA (P e r s o n a l D i g i t a l A s s i s t a n t) のように機種によって仕様が多様なもの が受信端末の場合、再生できないメディアが受信端末に送信される可能性がある。 そこで、 本発明の目的は上記の問題点を解消し、 頻繁に帯域変動する環境であ つても、 ユーザが違和感ゃ不自然さを抱かない範囲でメディァの品質を安定させ て配信することができるメディア配信システム、 配信サーバ装置及びそれらに用 いるメディァ配信方法並びにそのプログラムを提供することにある。 課題を解決するための手段
本発明の一態様であるメディア配信システムは、 少なくとも映像及び音楽を含 むメディアを配信する配信サーバと、 前記配信サーバからネットワークを介して 前記メディアを受信して再生する受信端末とからなるメディア配信システムであ つて、
前記配信サーバは、 前記受信端末の機種を示す端末情報を取得する端末情報取 得手段と、 前記端末情報をあらかじめ保存する端末データベースと、 前記端末情 報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して 前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性 能判別手段と、 前記受信端末から現在利用可能なメモリ容量と中央処理装置の空 き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取 得する端末リソース取得手段と、 前記受信端末が接続している環境種別を接続環 境として判別する接続環境判別手段と、 現在の帯域を測定する帯域測定手段と、 接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間 将来の帯域変動を予測して将来帯域変動とする帯域変動予測手段と、 前記端末性 能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前 記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ 将来に渡って急激に変動しないような最適なメディアのビットレートを決定する ビットレート決定手段と、 前記最適なビットレートを達成するために最適な符号 化方法を選択して前記メディアを符号化する符号化手段と、 その符号化されたメ ディアを前記受信端末へ配信する配信手段とを備え、
前記受信端末は、 前記メディァをあらかじめ指定された時間分バッファに保存 するバッファリング手段と、 保存したメディアを再生する再生手段と、 前記バッ ファリング手段と前記再生手段とから現在利用可能なリソースを利用可能リソー スとして取得して前記配信サーバへ通知する端末リソース通知手段とを備えてい る。
本発明の他の一態様である配信サーバ装置は、 少なくとも映像及び音楽を含む メディアをネットワークを介して受信端末に配信する配信サーバ装置であって、 前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、 前記端末 情報をあらかじめ保存する端末データベースと、 前記端末情報取得手段で取得し た端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理 能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、 前記 受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容 量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース 取得手段と、 前記受信端末が接続している環境種別を接続環境として判別する接 続環境判別手段と、 現在の帯域を測定する帯域測定手段と、 接続している環境種 別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予 測して将来帯域変動とする帯域変動予測手段と、 前記端末性能と前記利用可能リ ソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディ ァが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に 変動しないような最適なメディアのビットレートを決定するビットレート決定手 段と、 前記最適なビットレートを達成するために最適な符号化方法を選択して前 記メディアを符号化する符号化手段と、 その符号化されたメディアを前記受信端 末へ配信する配信手段とを備えている。
本発明の他の一態様であるメディァ配信方法は、 少なくとも映像及び音楽を含 むメディアを配信する配信サーバと、 前記配信サーバからネットワークを介して 前記メディアを受信して再生する受信端末とからなるシステムに用いるメディア 配信方法であって、
前記配信サーバが、 前記受信端末の機種を示す端末情報を取得する端末情報取 得処理と、 前記端末情報をあらかじめ保存する端末データベースと、 前記端末情 報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して 前記受信端末の処理能力及び対応メディァ形式を端末性能として判別する端末性 能判別処理と、 前記受信端末から現在利用可能なメモリ容量と中央処理装置の空 き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取 得する端末リソース取得処理と、 前記受信端末が接続している環境種別を接続環 境として判別する接続環境判別処理と、 現在の帯域を測定する帯域測定処理と、 接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間 将来の帯域変動を予測して将来帯域変動とする帯域変動予測処理と、 前記端末性 能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前 記受信端末でメディァが途切れずかつ前記メディァの品質が高品質を維持しつつ 将来に渡って急激に変動しないような最適なメディアのビットレートを決定する ビットレート決定処理と、 前記最適なビットレートを達成するために最適な符号 化方法を選択して前記メディアを符号化する符号化処理と、 その符号化されたメ ディアを前記受信端末へ配信する配信処理とを実行し、
前記受信端末が、 前記メディアをあらかじめ指定された時間分バッファに保存 するバッファリング処理と、 保存したメディアを再生する再生処理と、 前記バッ ファリング処理と前記再生処理とから現在利用可能なリソースを利用可能リソー スとして取得して前記配信サーバへ通知する端末リソース通知処理とを実行して いる。
本発明の他の一態様であるプログラムは、 少なくとも映像及び音楽を含むメデ ィァをネットワークを介して受信端末に配信する配信サーバ装置においてコンビ ユータに実行されるプログラムであって、
前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、 前記端末 情報をあらかじめ保存する端末データベースと、 前記端末情報取得処理で取得し た端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理 能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、 前記 受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容 量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース 取得処理と、 前記受信端末が接続している環境種別を接続環境として判別する接 続環境判別処理と、 現在の帯域を測定する帯域測定処理と、 接続している環境種 別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予 測して将来帯域変動とする帯域変動予測処理と、 前記端末性能と前記利用可能リ ソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディ ァが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に 変動しないような最適なメディアのビットレートを決定するビットレート決定処 理と、 前記最適なビットレートを達成するために最適な符号化方法を選択して前 記メディアを符号化する符号化処理と、 その符号化されたメディアを前記受信端 末へ配信する配信処理とを含んでいる。 発明の効果:
本発明は、 上記のような構成及び動作とすることで、 頻繁に帯域変動する環境 であっても、 ユーザが違和感や不自然さを抱かない範囲でメディアの品質を安定 させて配信することができるという効果が得られる。 図面の簡単な説明:
図 1は本発明の第 1の実施例によるメディァ配信システムの構成を示すプロッ ク図である。 図 2は本発明の第 1の実 例によるメディァ配信システムの動作を示すシーケ ンスチャートである。
図 3は本発明の第 1の実施例による第 1のビットレートの設定例を示す図であ る。
図 4は本発明の第 1の実施例による第 2のビットレートの設定例を示す図であ る。
図 5は本発明の第 1の実施例による第 3のビットレートの設定例を示す図であ る。
図 6は本発明の第 1の実施例による第 4のビットレートの設定例を示す図であ る。
図 7は本発明の第 2の実施例によるメディァ配信システムの構成を示すプロッ ク図である。
図 8は本発明の第 3の実施例によるメディァ配信システムの構成を示すプロッ ク図である。
図 9は本発明の第 4の実施例によるメディア配信システムの構成を示すブロッ グ図である。
図 1 0は本発明の第 5の実施例によるメディァ配信システムの構成を示すプロ ック図である。
図 1 1は本発明の第 6の実施例によるメディア配信システムの構成を示すプロ ック図である。
図 1 2は本発明の第 7の実施例によるメディア配信システムの構成を示すプロ ック図である。
図 1 3は本発明の第 8の実施例によるメディァ配信システムの構成を示すプロ ック図である。
図 1 4は本発明の第 9の実施例によるメディァ配信システムの構成を示すプロ ック図である。
図 1 5は本発明の第 1 0の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 1 6は本発明の第 1 1の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 1 7は本発明の第 1 2の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 1 8は本発明の第 1 3の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 1 9は本発明の第 1 4の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 0は本発明の第 1 5の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 1は本発明の第 1 6の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 2は本発明の第 1 7の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 3は本発明の第 1 8の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 4は本発明の第 1 9の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 5は本発明の第 2 0の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 6は本発明の第 2 1の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 7は本発明の第 2 2の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 8は本発明の第 2 3の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 2 9は本発明の第 2 4の実施例によるメディア配信システムの構成を示すブ 口ック図である。
図 3 0は本発明の第 2 5の実施例によるメディア配信システムの構成を示すブ 口ック図である。 図 31は本発明の第 26の実施例によるメディア配信システムの構成を示すブ 口ック図である。 発明を実施するための最良の形態:
次に、 本発明の実施例について図面を参照して説明する。
(実施例 1 )
図 1は本発明の第 1の実施例によるメディア配信システムの構成を示すプロッ ク図である。 図 1において、 本発明の第 1の実施例によるメディア配信システム は、 映像や音楽といったメディアを配信する配信サーバ 1と、 ネットワーク 10 0を介してメディアを受信して再生する受信端末 5とから構成されている。
配信サーバ 1は、 例えば、 パーソナルコンピュータ (以下、 パソコンとする) やワークステーションから構成される。 受信端末 5は、 例えば、 パソコンや携帯 情報端末、 携帯電話機、 携帯音楽端末、 情報家電から構成されるが、 セットトツ プボックスゃネットワーク機能を備えたテレビやラジオであってもよい。 ネット ワーク 100は、 例えばインタネットや LAN (L o c a 1 Ar e a Ne t wo r k) から構成されるが、 有線 LAN以外に、 ブルートゥース (登録商標) を含む無線 LAN、 赤外線通信、 可視光通信、 超音波通信を利用してもよい。 配信サーバ 1は、 端末情報取得手段 1 1と、 端末データベース 1 2と、 端末性 能判別手段 1 3と、 端末リソース取得手段 14と、 接続環境判別手段 15と、 帯 域測定手段 16と、 帯域変動予測手段 1 7と、 ビットレート決定手段 18と、 符 号ィ匕手段 19と、 配信手段 20とから構成されている。
端末情報取得手段 1 1は、 受け手側である受信端末 5の機種を示す端末情報を 取得する。 端末性能判別手段 13はその取得した端末情報を、 システムの管理者 があらかじめ保存してある端末データベース 12と照らし合わせて、 受信端末 5 の処理能力や対応メディア形式を端末性能として判別する。 端末リソース取得手 段 14は、 受信端末 5から現在利用可能なメモリ容量や CPU (中央処理装置)
(図示せず) の空きやディスク容量等のリソースを利用可能リソースとして取得 する。
接続環境判別手段 15は、 受信端末 5がブロードバンド環境や無線 LAN、 携 帯電話網で接続しているか、 受信端末 5が接続している環境種別を接続環境とし て判別する。 帯域測定手段 1 6は、 現在の帯域を測定する。
帯域変動予測手段 1 7は、 接続している環境種別と現在の帯域とから、 システ ムの管理者があらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動 とする。 ビットレート決定手段 1 8は、 上記の端末性能と将来帯域変動とから、 帯域が急激に変動しても受信端末 5でメディァが途切れずかつメディァの品質が 高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビッ トレートを決定する。 符号化手段 1 9は、 最適なビットレートを達成するために 最適な符号化方法を選択し、 メディアを符号化する。 配信手段 2 0は、 受信端末 5ヘメディアを配信する。
受信端末 5は、 メディアをサーバ管理者または閲覧ユーザがあらかじめ指定し た時間分のメディアをバッファ (図示せず) に保存するバッファリング手段 5 1 と、 保存したメディアを再生する再生手段 5 2と、 バッファリング手段 5 1と再 生手段 5 2とから現在利用可能なメモリ容量や C P U (図示せず) の空きやディ スク容量等のリソースを利用可能リソースとして取得して配信サーバ 1へ通知す る端末リソース通知手段 5 3とを備えている。
図 2は本発明の第 1の実施例によるメディァ配信システムの動作を示すシーケ ンスチヤ一トであり、 図 3は本発明の第 1の実施例による第 1のビットレートの 設定例を示す図であり、 図 4は本発明の第 1の実施例による第 2のビットレート の設定例を示す図であり、 図 5は本発明の第 1の実施例による第 3のビッ トレー トの設定例を示す図であり、 図 6は本発明の第 1の実施例による第 4のビットレ ―卜の設定例を示す図である。 これら図 1〜図 6を参照して本発明の第 1の実施 例によるメディア配信システムの動作について説明する。 尚、 図 2に示す処理動 作 (上述した配信サーバ 1の各手段の動作、 受信端末 5の各手段の動作) はそれ ぞれの C P Uがプログラムを実行することでも実現される。
配信サーバ 1は受信端末 5からの要求にしたがって、 受信端末に対して映像や 音楽等のメディアを配信する。 メディアとしては静止画やテキス トファイル、 文 書フアイルゃ様々なコンピュータアプリケ一ションのデータフアイルが含まれて いてもよい。 受信端末 5は配信サーバ 1から配信されたメディアを受信し、 ユーザの指示に したがって再生する。 ユーザの指示として再生の他に、 例えば、 巻き戻し、 早送 り、 コマ送り、 倍速、 シーン毎のスキップ、 一時停止、 停止が含まれていてもよ い。 ユーザの指示の入力方法としては、 例えば、 キーボード入力、 タツチパネル による入力、 音声認識や文字認識を利用した入力であってもよい。
配信サーバ 1においては、 受信端末 5から配信要求が送られてくると (図 2の 処理 a 1 )、端末情報取得手段 1 1にて、受け手側である受信端末 5の機種を示す 端末情報を取得する (図 2の処理 a 2 )。 例えば、 端末情報取得手段 1 1は W e b ブラゥザから送信されるユーザエージヱント等の W e bブラゥザの情報を読取つ て受信端末 5の機種を判別する。
端末性能判別手段 1 3は、 端末情報取得手段 1 1が受信端末 5から取得した端 末情報を、 端末データベース 1 2に登録されている端末の仕様や性能と照らし合 わせて、 接続して現在配信を要求している受信端末 5の処理能力や対応メディア 形式を端末性能として判別する (図 2の処理 a 3 )。
ここで、 端末データベース 1 2には、 受信端末 5の機種毎に処理能力や対応メ ディア形式をリスト形式で保存されている。 処理能力としては、 例えば、 C P U 性能やメモリ容量、 ストレージ容量、 画面サイズ、 画面表示レスポンス、 色数や コントラスト、ネッ トワーク速度、対応ネットワークプロ トコル等が含まれるが、 対応暗号化アルゴリズムや対応誤り訂正アルゴリズムが含まれていてもよい。 対応メディア形式としては、 例えば、 動画や音声のコーデック、 動画のフレー ムサイズやフレームレート、 圧縮率、 色数、 階調数、 音声のサンプリングレート やサンプルあたりのビット数やチャンネル数等が含まれる。
端末データベース 1 2への登録については、 例えば、 システム管理者が手で入 力してもいいし、 印刷されたスペック表を文字認識して入力してもよいし、 受信 端末メーカからの電子ファイルによるスペック表を基に自動的に登録してもよレ、。 端末リソース取得手段 1 4は、 受信端末 5から取得した現在利用可能なメモリ 容量や C P Uの空きやディスク容量等のリソースを利用可能リソースとして取得 する (図 2の処理 a 4 )。
接続環境判別手段 1 5は、 受信端末 5がブロードバンド環境や無線 L A N、 携 帯電話網で接続しているか、 受信端末 5が接続している環境種別を接続環境とし て判別する (図 2の処理 a 5 )。 例えば、 接続環境判別手段 1 5は、 受信端末 5の I P ( I n t e r n e t P r o t o c o l ) ァドレスを基にネットワーク経路 を割り出して判別してもよいし、 受信端末 5に試験的にデータを送信してその速 度から推測してもよレ、。 また、 携帯電話の場合には、 各キャリアに設置されたィ ンタネットとのゲ一トウエイの I Pァドレスが決まっているため、 容易に携帯電 話網を経由している力、 さらにどのキヤリァの携帯電話からの接続かを判別する ことができる。
帯域測定手段 1 6は、 現在の帯域を測定する (図 2の処理 a 6 )。 帯域を測定す る方法としては、 例えば、 受信端末 5に試験的に既知のサイズのデータを送信し てその速度から推測してもよい。
帯域変動予測手段 1 7は、 接続環境判別手段 1 5で判別された接続環境の種別 と帯域測定手段 1 6で測定された現在の帯域とから、 システムの管理者があらか じめ定めた一定期間将来の帯域変動を予測し、 その予測結果を将来帯域変動とす る (図 2の処理 a 7 )。
帯域変動を予測する方法としては、 例えば、 回帰分析してモデルを構築し、 そ のモデルから帯域変動を関数として求める方法がある。 この時、 時間帯や季節等 の環境を勘案してもよい。 例えば、 平日午前は仕事の連絡でネットワーク利用者 が多く、 利用できる帯域が狭い場合があり、 その傾向を織り込んだモデルに基づ いて帯域を推測することができる。
また、 日単位で時間帯毎の帯域の平均を算出しておき、 ある一定期間後の帯域 は現在の帯域とこのあらかじめ求めた平均値との間の値となると推測してもよレ、。 さらに、 単純に過去の帯域変動に多項式関数を外挿して将来帯域変動を求めても よい。
ビットレート決定手段 1 8は、 端末性能判別手段 1 3で判別された端末性能と 帯域変動予測手段 1 7で予測された帯域変動とから、 受信端末 5でメディアの品 質が急激に変動しないように受信端末 5へ配信する高品質なメディアの最適なビ ットレートを決定する (図 2の処理 a 8 )。
帯域にビットレートを正確に追随させると、 例えば、 携帯電話等の移動体での 通信で帯域が急激に変動する場合に、 頻繁に画質や音質が変化し非常に視聴し辛 いものになる。 また、 帯域が確保できない場合には、 即座に視聴できなくなる。 そこで、 本実施例では、 帯域が変動しても頻繁にビットレートが変わらないよう に、 帯域よりある程度余裕のあるビットレートを設定する。
ビットレートの変化を緩やかとする方法としては、例えば、図 3に示すように、 ある時間間隔を定め、 その時間内は最小の帯域に合わせてビットレートを一定に 設定する方法がある。 このことによって、 平均的な帯域より小さいビットレート でメディアを配信するため、 帯域の予測外の変動への耐性がより高くなる。 これ によって、 帯域が予想より急激に低下しても、 ビットレートは急激には変化しな いようにすることができる。
また、 ビットレートの変化を緩やかとする方法としては、 図 4に示すように、 ある時間間隔を定め、 その時間内の平均帯域に合わせてビットレートを一定にす る方法もある。 この方法を採用することで、 より高ビットレートで高品質のメデ ィァを配信することができる。
さらに、ビットレートの変化を緩やかとする方法としては、図 5に示すように、 横軸を時間、 縦軸を帯域とした帯域変動のグラフにおいて、 極少点を直線で結ん だものをビットレートと設定する方法や、 帯域変動のグラフにおいて、 帯域変動 を平滑化したものをビットレートとする方法がある。
これらに加え、 帯域変動が急激で将来帯域の信頼性が低い場合には、 メディア の品質の安定性をより確実にするために、 図 6に示すように、 現状の利用可能な 帯域よりも大幅にメディアのビットレートを小さくする方法もある。
符号化手段 1 9は、 ビッ トレート決定手段 1 8で決定された最適なビッ トレー トを達成するために、 最適な符号化方法を選択し、 メディアを符号化する (図 2 の処理 a 9 )。 符号化方法としては、 例えば、 数多くある動画や音声のコ一デック の中からどれかを選び、 そのパラメータを調整する方法がある。
配信手段 2 0は、 符号化手段 1 9で符号化されたメディアを受信端末 5へ配信 する (図 2の処理 a 1 0 )。 受信端末 5は、 上述したように、 配信サーバ 1から配 信されたメディアを受信し、 ユーザの指示にしたがって再生する (図 2の処理 a 受信端末 5においては、 バッファリング手段 5 1にて、 サーバ管理者または閲 覧ユーザがあらかじめ指定した時間分のメディァをバッファに保存する。 バッフ ァとしてはメモリであってもよいし、 ディスクであってもよい。
再生手段 5 2は、 バッファリング手段 5 1によってバッファに保存されたメデ ィァをユーザ指示にしたがって再生する。 再生手段 5 2としては、 例えば、 受信 端末 5に既にインストール済みの再生用のアプリケーシヨンプログラムを利用す る。 また、 再生手段 5 2としては、 メディアの種類毎に異なる専用アプリケーシ ョンプログラムを配信サーバ 1からダウンロードして再生してもよレ、。
端末リソース通知手段 5 3は、バッファリング手段 5 1と再生手段 5 2と力 ら、 現在利用可能なメモリ容量や C P Uの空きやディスク容量等のリソースを、 利用 可能リソースとして取得し、 配信サーバ 1へ通知する。 リソースを求める方法と しては、 例えば、 多くの O S (オペレーティングシステム) に標準的に備わって いるシステムモニタ等のモニタリング機能を利用する。 また、 リソースを求める 方法としては、 リソースを求めるソフトウエアを新たに受信端末 5にインストー ルしてもよレ、。
これによつて、 本実施例では、 帯域変動予測手段 1 7によって将来の帯域変動 を予測することができ、 端末性能判別手段 1 3と端末リソース取得手段 1 4とに よって、 受信端末 5の現時点での性能を推測することができる。
また、 本実施例では、 ビットレート決定手段 1 8によって、 帯域変動に基づい て、 受信端末 5でメディアの品質が急激に変動しないように、 かつ受信端末 5の 現時点の性能に最適なビットレートを決定することができ、受信端末 5において、 急激な帯域変動があっても、 急激なビットレートの変動がなく、 違和感や不自然 さなく、 高品質なメディアを視聴することができる。
(実施例 2 )
図 7は本発明の第 2の実施例によるメディァ配信システムの構成を示すプロッ ク図である。 図 7において、 本発明の第 2の実施例によるメディア配信システム は、 配信サーバ 1 aに時間間隔保持手段 2 1を追加した以外は、 図 1に示す本発 明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付してあ る。 時間間隔保持手段 2 1はシステムの管理者があらかじめ定めた時間間隔を複数 通り保持しており、 それらの時間間隔を端末情報取得手段 1 1と端末性能判別手 段 1 3と端末リソース取得手段 1 4と接続環境判別手段 1 5と帯域変動予測手段 1 7とビットレート決定手段 1 8とにそれぞれ供給する。
端末情報取得手段 1 1は、 時間間隔保持手段 2 1からの時間間隔で、 受け手側 である受信端末 5の機種を示す端末情報を取得する。 端末性能判別手段 1 3は、 時間間隔保持手段 2 1からの時間間隔で、 端末情報取得手段 1 1が取得した端末 情報を、 システムの管理者があらかじめ保存してある端末データベース 1 2と照 らし合わせ、 受信端末 5の処理能力や対応メディァ形式を端末性能として判別す る。
端末リソース取得手段 1 4は、 時間間隔保持手段 2 1からの時間間隔で、 受信 端末 5から現在利用可能なメモリ容量や C P Uの空き、 ディスク容量等のリソー スを利用可能リソースとして取得する。 接続環境判別手段 1 5は、 時間間隔保持 手段 2 1からの時間間隔で、 受信端末 5がブロードバンド環境や無線 L A N、 携 帯電話網で接続しているか、 受信端末 5が接続している環境種別を接続環境とし て判別する。
帯域変動予測手段 1 7は、 時間間隔保持手段 2 1からの時間間隔で、 接続環境 判別手段 1 5が判別した環境種別と帯域測定手段 1 6が測定した現在の帯域とか ら、 システムの管理者があらかじめ定めた一定期間将来の帯域変動を予測し、 将 来帯域変動とする。 ビットレート決定手段 1 8は、 時間間隔保持手段 2 1からの 時間間隔で、 端末性能判別手段 1 3が判別した端末性能と帯域変動予測手段 1 7 が予測した帯域変動とから、 帯域が急激に変動しても受信端末 5でメディァが途 切れずかつメディアの品質が高品質を維持しつつ将来に渡って急激に変動しない ような最適なビットレ一トを決定する。
この図 7を参照して本発明の第 2の実施例によるメディァ配信システムの動作 について説明する。
本実施例においては、 システムの管理者があらかじめ定めた時間間隔を複数通 り保持する時間間隔保持手段 2 1を有することが上述した本発明の第 1の実施例 との違いである。 時間間隔保持手段 2 1に保持する時間間隔は、 1つであっても いいし、 参照する手段によって異なるものであってもよいし、 あらかじめ定めた ルールにしたがって、 時系列で変動するものであってもよい。
端末情報取得手段 1 1は時間間隔保持手段 2 1に保持されている時間間隔にし たがって端末情報を取得する。 これによつて、 本実施例では、 例えば、 ユーザが メディアを視聴途中に受信端末 5の機種が変更となっても探知することができる。 外出時には携帯端末で閲覧し、 帰宅時には大画面テレビでメディアを視聴するよ うな状況において携帯電話から大画面テレビへの切替えを即座に察知することが できる。 また、 本実施例では、 例えば、 バッテリ切れで性能や機能を切り詰めて 縮退するような受信端末の場合、 その縮退の状況を逐次察知することができる。 端末性能判別手段 1 3は、 端末情報が変化するにしたがって、 端末データべ一 ス 1 2を利用して、 端末性能を抽出し直しする。 端末リソース取得手段 1 4は、 受信端末 5から取得した現在利用可能なメモリ容量や C P Uの空きやディスク容 量等のリソースを利用可能リソースとして取得する。
接続環境判別手段 1 5は、 時間間隔保持手段 2 1に保持されている時間間隔に したがって、 受信端末 5がブロードバンド環境や無線 L A N、 携帯電話網で接続 している力 \ 受信端末 5が接続している環境種別を接続環境として判別する。 こ れによって、 本実施例では、 例えば、 受信端末 5が無線 L A N機能を備えた携帯 電話の場合、 接続環境が携帯電話網から無線 L A Nに切替わったことを即座に察 知することができる。
帯域変動予測手段 1 7は、 例えば、 時間間隔保持手段 2 1に保持されている時 間間隔毎に帯域測定手段 1 6からの現在の帯域を把握し、 それに基づいて帯域変 動の予測を変える。 これによつて、 本実施例では、 予測した帯域変動と実際の帯 域との差異を小さくすることができる。
ビットレート決定手段 1 8は、 時間間隔保持手段 2 1に保持されている時間間 隔にしたがって、 各時点での予測した帯域変動に基づいてビットレートを決定す る。 これによつて、 本実施例では、 実際の帯域に最適なビットレートを逐次決定 することができる。
よって、 本実施例では、 帯域変動予測手段 1 7によって将来の帯域変動をシス テムの管理者があらかじめ定めた時間間隔で予測することができ、 端末性能判別 手段 1 3と端末リソース取得手段 1 4とによって受信端末 5の現時点での性能を 推測することができる。
また、本実施例では、ビットレート決定手段 1 8によって帯域変動に基づいて、 受信端末 5でメディァの品質が急激に変動しないようにかつ受信端末 5の現時点 の性能に最適なビットレートをシステムの管理者があらかじめ定めた時間間隔で 決定することができ、 受信端末 5において、 急激な帯域変動があっても、 急激な ビットレートの変動がなく、 違和感や不自然さなく、 高品質なメディアを視聴す ることができる。
(実施例 3 )
図 8は本発明の第 3の実施例によるメディァ配信システムの構成を示すプロッ ク図である。 図 8において、 本発明の第 3の実施例によるメディア配信システム は、 配信サーバ 1 bに先送り手段 2 2と帯域変動監視手段 2 3とを追加し、 受信 端末 5 aにバッファサイズ変更手段 5 4を追加した以外は、 図 1に示す本発明の 第 1の実施例と同様の構成となっており、 同一要素には同一符号を付してある。 尚、 本実施例は上記の本発明の第 2の実施例にも適用可能である。
帯域変動監視手段 2 3は、 メディァ配信システムの配信サーバ 1 bにおいて、 システムの管理者があらかじめ定めた将来において、 帯域変動予測手段 1 7で得 られた帯域が、 システムの管理者があらかじめ定めた帯域のしきい値より小さく なるかどうかを監視し、 しきい値より小さくなると予測した場合、 先送り手段 2 2へ警告メッセージを送る。
先送り手段 2 2は、 帯域変動監視手段 2 3から警告メッセージを受けた場合、 システムの管理者があらかじめ定めた範囲で、 帯域測定手段 1 6から得られる現 在の帯域を越えない範囲で、 帯域がしきい値より小さくなる将来期間のメディア データを受信端末 5へ前もって配信するように配信手段 2 0に指示し、 受信端末 5 bに対して、 バッファサイズを変更して前もって配信したメディアを保存する ように指示する。
バッファサイズ変更手段 5 4は、 受信端末 5 bにおいて、 先送り手段 2 2から 指示を受けた場合に、 バッファサイズを変更するようにバッファリング手段 5 1 へ指示する。 帯域変動監視手段 2 3は、 しきい値として、 例えばシステム管理者があらかじ め定めた定数であってもよいし、 ビットレート決定手段 1 8が決めたビットレ一 トを採用してもよいし、 該ビットレートを定数倍したものをしきい値としてもよ レ、。
先送り手段 2 2は、 帯域に余裕がある場合に将来のメディアを先行して配信す る。 帯域に余裕がある状況とは、 受信端末 5に予定通り滞りなく、 メディアを配 信している状況で、配信手段 2 0から配信されているメディアのビットレートカ 現状の帯域より小さい場合である。
この時、 例えば、 受信端末 5 aで即座に再生するメディアと並行して、 あらか じめ定めた将来期間のメディアについて受信端末 5へと先送りとして配信する。 帯域に余裕がある場合には、 必ず先送りするようにしてもいいし、 受信端末 5 a のユーザが先送りのタイミングを指定してもよい。 受信端末 5 a側から先送りを 停止するように依頼するメッセージが届いた場合には、 先送りを停止するように してもよレ、。
先送りするデータの量としては、 例えば余裕が全くなくなるように帯域を使い 尽くすように先送りしてもよいし、 あらかじめシステム管理者が定めた分だけ帯 域に余裕を残して先送りするデータ量を決めてもよい。
バッファサイズ変更手段 5 4は受信端末 5 aのメモリ容量が許す範囲でバッフ ァサイズを変更するようにバッファリング手段 5 1へと指示する。 先送りの指定 が配信サーバ 1 bからあっても受信端末 5 aに余裕がない場合には、 配信サーバ 1 bに対して先送りを停止するように依頼するメッセージを発信してもよい。 これによつて、 本実施例では、 帯域変動監視手段 2 3によって、 帯域がしきい 値より小さくなると予測した場合、 先送り手段 2 2へ警告メッセージを送ること ができる。
また、本実施例では、先送り手段 2 2によって、警告メッセージを受けた場合、 帯域がしきい値より小さくなる将来期間のメディアデータを受信端末 5 aへ前も つて配信するように配信手段 2 0に指示し、 受信端末 5 aに対して、 バッファサ ィズを変更して前もつて配信したメディァを保存するように指示することができ る。 これに加え、 本実施例では、 バッファサイズ変更手段 5 4によって、 先送り手 段 2 2から指示を受けた場合に、 バッファサイズを変更することができる。 本実 施例では、 これらの手段によって、 通信帯域が著しく小さくなつてメディアが配 信できない状態でも、 受信端末 5 aで引き続きメディアの再生ができる。
(実施例 4 )
図 9は本発明の第 4の実施例によるメディア配信システムの構成を示すブ口ッ ク図である。 図 9において、 本発明の第 4の実施例によるメディア配信システム は、 配信サーバ 1 cに動画符号化判別手段 2 4を追加した以外は、 図 1に示す本 発明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付して ある。尚、本実施例は上記の本発明の第 2及び第 3の実施例にも適用可能である。 動画符号化判別手段 2 4は、 ビットレート決定手段 1 8が決定した最適なビッ トレートを目標として、 動画のフレームサイズや、 フレームレート、 圧縮率、 色 数、 階調数を変更することによって、 メディアのサイズであるビットレートを変 更するように符号化手段 1 9へ指示する。
動画符号化判別手段 2 4は、 例えば、 動画の 1フレームの縦横サイズを拡大縮 小することにより、 動画のサイズを変更するように符号化手段 1 9へ指示する。 この場合、 本実施例では、 縦横のサイズ比であるァスぺク ト比が変更されてもよ い。 また、 本実施例では、 動画の縦横サイズが変化しても、 表示では縦横サイズ に変化がないように再生手段 5 2が再生時に拡大してもよい。 さらに、 本実施例 では、 フレームの拡大縮小に、 画素間の補間としてバイリニアやバイキュービッ クで補間してもよく、 面積平均法を使ってもよい。 さらにまた、 本実施例では、 画素値をシステム管理者があらかじめ定めた関数形でモデル化して補間してもよ い。
動画符号化判別手段 2 4は、 その他に、 例えば、 フレームレートを増減させる ことによって、 動画のサイズを変更するように符号化手段 1 9へ指示する。 フレ ームレートを削減する場合には、 単純に間引いてもよい。 フレーム間のフレーム を補間して削減してもよい。 フレームレートを増大させる場合には、 既存のフレ ームをそのままコピーして増やしてもよく、 フレーム間のフレームを補間して増 大させてもよレ、。 フレーム間のフレームを補間する方法としては、 画素値をバイリニァゃバイキ ュ一ビックで補間してもよく、 画素値をシステム管理者があらかじめ定めた関数 系でモデル化して補間してもよい。 また、 本実施例では、 フレーム内の人物等ォ ブジェク トを切出し、オブジェクト毎に移動等の変動を予測して補間してもよレ、。 動画符号化判別手段 2 4は、 その他に、 例えば、 圧縮率を変更することによつ て、 動画のサイズを変更するように符号化手段 1 9へ指示する。 圧縮率とメディ ァのサイズの関係については、 一般的に、 線形の関係にはなっていないが、 シス テムの管理者があらかじめテスト用メディアで実験して求めておいてその関係を 利用してもよい。 あるいは、 本実施例では、 システムの管理者があらかじめ定め た手順にしたがって試行錯誤を繰り返して最適な圧縮率を探索してから指定して もよい。
動画符号化判別手段 2 4は、 その他に、 例えば色数を変更することによって、 動画のサイズを変更するように符号化手段 1 9へ指示する。 色数を変更する方法 としては、 例えば、 ディザ法を利用してもよく、 メディアンカット法等の画像処 理手法を使ってもよい。
動画符号化判別手段 2 4は、 その他に、 例えば、 階調数を変更することによつ て、 動画のサイズを変更するように符号化手段 1 9へ指示する。 階調数を変更す る方法としては、 例えば、 ディザ法を利用してもよく、 元の階調と変更後の階調 とにあらかじめシステム管理者が関数を定め、 その関数にしたがって変換しても よい。
動画符号化判別手段 2 4は、 さらにフレームレート、 圧縮率、 色数、 階調数か ら複数選択して各々変更させることによって、 動画のサイズを変更してもよレ、。 これによつて、 本実施例では、 動画符号化判別手段 2 4によって、 動画のフレ ームサイズや、 フレームレート、圧縮率、色数、階調数を変更することによって、 メディァのサイズを調整することができる。
(実施例 5 )
図 1 0は本発明の第 5の実施例によるメディア配信システムの構成を示すプロ ック図である。 図 1 0において、 本発明の第 5の実施例によるメディア配信シス テムは、 配信サーバ 1 dに画像処理手段 2 5を追加した以外は、 図 1に示す本発 明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付してあ る。 尚、 本実施例は上記の本発明の第 2〜第 4の実施例にも適用可能である。 画像処理手段 2 5は、 ビットレート決定手段 1 8が決定した最適なビットレー トを目標として、 動画のフレーム全体を一様な強度で平滑化するか、 フレームの 部分部分で平滑化の強度を変更したり、 動きの激しさによつて平滑化の強度を変 更することによって、ブロックノイズのように際立った画質の低下を抑えたまま、 メディアサイズであるビットレートを変更するように符号化手段 1 9へ指示する。 画像処理手段 2 5は、 例えば、 画像を矩形ブロックに細分割し、 システム管理 者があらかじめ定めた範囲に含まれる矩形プロックについて平滑化し、 高周波領 域を低減して圧縮率をあげて動画のサイズを削減する。 または、 画像処理手段 2 5は、 色数や階調数を減らすことによって動画のサイズを削減する。
例えば、 画像の周辺領域は画質が低下しても目立たないため、 周辺領域のみ平 滑化の強度を強く してもよく、 または周辺領域のみ色数や階調数を減らしてもよ い。 あるいは、 人物等オブジェクトを抽出して、 オブジェクト以外の部分につい ては、 圧縮率を上げたり、 色数や階調数を減らしたりして動画のサイズを削減し てもよく、 さらには動きの激しいフレーム領域や時間領域に対して平滑化の強度 を強くしたり弱くしたりしてもよい。
これによつて、 本実施例では、 画像処理手段 2 5によって、 動画のフレーム全 体を一様な強度で平滑化するか、 フレームの部分部分で平滑化の強度を変更した り、 動きの激しさによって平滑化の強度を変更することによって、 ブロックノィ ズのように際立った画質の低下を抑えたままメディアサイズを調整することがで きる。
(実施例 6 )
図 1 1は本発明の第 6の実施例によるメディア配信システムの構成を示すプロ ック図である。 図 1 1において、 本発明の第 6の実施例によるメディア配信シス テムは、 配信サーバ 1 eに音声符号化判別手段 2 6を追加した以外は、 図 1に示 す本発明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付 してある。 尚、 本実施例は上記の本発明の第 2〜第 5の実施例にも適用可能であ る。 音声符号化判別手段 26は、 ビットレ一ト決定手段 18が決定した最適なビッ トレートを目標として、音声のサンプリングレートゃサンプルあたりのビット数、 周波数帯域、 ステレオ等のチャンネル数を変更することによって、 メディアのサ ィズであるビットレートを変更するように符号化手段 19へ指示する。
音声符号化判別手段 26は、 例えば、 音声のサンプリングレートを増減させる ことによって音声のサイズを変更する。サンプリングレート変換の方法としては、 例えば、 サンプル間をバイリニアやバイキュービックや多項式関数で補間しても よく、 音声の波形をモデル化し、 そのモデルにしたがって補間してもよい。
音声符号化判別手段 26は、 その他に、 例えば、 サンプルあたりのビット数を 増減させることによって音声のサイズを変更する。 ビット数を増大させる方法と しては、 例えば、 サンプノレ毎の音声のビットを単純に定数倍してもよく、 または 定数倍の後、 音声の波形をモデル化してそのモデルにしたがってビットを調整し てもよレ、。 ビット数を削減する方法としては、 例えば、 単純に定数で割ってもよ レ、。
音声符号化判別手段 26は、 その他に、 例えば、 周波数帯域を変更することに よって音声のサイズを変更する。 この場合には、 例えば、 高周波をカットするこ とによって、 音質に大きな違いがないままで音声データを削減してもよい。 周波 数帯域を変更する方法としては、 例えば、 F I R (F i n i t -d u r a t i o n I m p u 1 s e Re s p o n s e) フイノレタゃ I I R 、丄 n f i n i t e — du r a t i o n I mp u l s e Re s p o n s e) フイノレタを使用して もよく、 フーリェ空間で周波数帯域を部分的に選択することによって周波数帯域 を変更してもよい。
音声符号化判別手段 26は、 その他に、 例えば、 ステレオをモノラルにする場 合のようにチャンネル数を増減させることによって音声データのサイズを増減さ せてもよい。
音声符号化判別手段 26は、 さらにサンプリングレートやサンプルあたりのビ ット数、 周波数帯域、 ステレオ等のチャンネル数から複数選択して各々変更させ ることによって音声のサイズを変更してもよい。
これによつて、 本実施例では、 音声符号化判別手段 26によって、 音声のサン プリングレートやサンプルあたりのビット数、 周波数帯域、 ステレオ等のチャン ネル数を変更することによって、 メディアのサイズを調整することができる。
(実施例 7)
図 12は本発明の第 7の実施例によるメディア配信システムの構成を示すプロ ック図である。 図 12において、 本発明の第 7の実施例によるメディア配信シス テムは、 配信サーバ 1 f に符号化選択手段 27を追加した以外は、 図 1に示す本 発明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付して ある。 尚、 本実施例は上記の本発明の第 2〜第 6の実施例にも適用可能である。 符号化選択手段 27は、 ビットレート決定手段 18が決定した最適なビットレ ートを目標として、 メディアのコーデック自体を変更してメディアのサイズであ るビットレートを変更するように符号化手段 19へ指示する。
符号化選択手段 27は、 例えば、 MP EG2 (Mo v i n g P i c t u r e Ex p e r t s G r o u p 2) で配信していた映像のビットレートを下げる 場合、 より高効率な H. 264に切替えるというように、 コーデックを変更する ことによって、 ビットレートを変更する。 例えば、 ビットレートを上げたりさげ たりする場合には、 元のコーデックに対してビットレートを上げるか下げるかで どのコーデックに切替える力、、 システムの管理者があらかじめルールを決めてお くという方法がある。
これによつて、 本実施例では、 符号化選択手段 27によって、 メディアのコー デック自体を変更してメディアのサイズを調整することができる。
(実施例 8)
図 1 3は本発明の第 8の実施例によるメディァ配信システムの構成を示すプロ ック図である。 図 13において、 本発明の第 8の実施例によるメディア配信シス テムは、 配信サーバ 1 gにマトリックス保持手段 28と組み合わせ選択手段 29 とを追加した以外は、 図 1に示す本発明の第 1の実施例と同様の構成となってお り、 同一要素には同一符号を付してある。 尚、 本実施例は上記の本発明の第 2〜 第 7の実施例にも適用可能である。
マトリ ックス保持手段 28は、 動画のフレームサイズや、 フレームレート、 圧 縮率、 色数、 階調数、 平滑化の強度、 平滑化の強度のフレーム上の分布、 音声の サンプリングレートやサンプルあたりのビット数、 周波数帯域、 チャンネル数、 及びメディアのコーデックについて組み合わせ毎に達成されるビットレートを記 載したマトリックスを保持する。
組み合わせ選択手段 2 9は、 端末性能と帯域変動とを基にして、 マトリ ックス 保持手段 2 8に保持されたマトリッタスから受信端末 5へ配信するメディアの最 適な符号化方法を選択し、 符号化手段 1 9へと指示する。
マトリックス保持手段 2 8は、 例えば、 市販されているデータベースソフトゥ エアから構成されてもよい。 この場合には、 マトリックスに保持されている動画 のフレームサイズや、 フレームレート、 圧縮率、 色数、 階調数、 平滑化の強度、 平滑化の強度のフレーム上の分布、 音声のサンプリングレートやサンプルあたり のビット数、 周波数帯域、 チャンネル数、 及びメディアのコーデックを符号化パ ラメータとする。
特定のビットレートを指定した場合、 複数の符号化のパラメータが存在する場 合があるが、 組み合わせ選択手段 2 9は上記のマトリックス保持手段 2 8が保持 するマトリックスを参照して、 ビットレート決定手段 1 8が決定したビットレー トに最適な符号化パラメータの組み合わせを選択する。 符号化パラメ一タの最適 な組み合わせは、例えば、システムの管理者があらかじめ定めておいてもよいし、 受信端末 5のユーザが定めてもよい。
これによつて、 本実施例では、 マトリックス保持手段 2 8によって、 動画のフ レームサイズや、 フレームレート、 圧縮率、 色数、 階調数、 平滑化の強度、 平滑 化の強度のフレーム上の分布、 音声のサンプリングレートゃサンプルあたりのビ ット数、 周波数帯域、 チャンネル数、 及びメディアのコーデックについて組み合 わせ毎に達成されるビットレートを記載したマトリックスを保持することができ る。
また、 本実施例では、 組み合わせ選択手段 2 9によって、 端末性能と帯域変動 とに基づいて、 マトリッタスから受信端末 5へ配信するメディアの最適な符号化 方法を選択することができる。
(実施例 9 )
図 1 4は本発明の第 9の実施例によるメディァ配信システムの構成を示すブ口 ック図である。 図 1 4において、 本発明の第 9の実施例によるメディア配信シス テムは、 組み合わせ選択手段 2 9の代わりにシーン判別手段 3 0を配設した以外 は、 図 1 3に示す本発明の第 8の実施例と同様の構成となっており、 同一要素に は同一符号を付してある。
シーン判別手段 3 0は、 ビッ トレート決定手段 1 8が決定した最適なビッ トレ ートを目標として、 圧縮効率に影響のあるシーン内の人物や物体の動きの激しさ やフレーム内の画像の複雑度やスポーツ番組といったコンテンツ種別を基にして、 上記のマトリックス保持手段 2 8が保持するマトリッタスから受信端末 5へ配信 するメディアの最適な符号化方法を選択し、 符号化手段 1 9へ指示する。
コンテンツ種別については、 例えば、 動きベク トルの大きさから動きが激しい シーンかどうかを判別することができる。 画像の複雑度を算定する方法としては 数多くの手法があるが、 例えば、 特開平 0 9 _ 0 1 6 7 5 4号公報にて提案され ているようにフラクタル次元を使用してもよレ、。
また、 メディアとして放送番組を配信する場合には、 例えば、 電子番組表によ つて番組単位で番組の種別の分類ができていれば、 動きが大きいかどうかをあら かじめ判別しておくことができる。 動きが激しいかどうかが判別できれば、 例え ば、 M P E Gでは動きが小さいシーンについて、 フレーム間圧縮の誤差が小さく なるので、 フレーム間の差分情報のみを含むフレームの頻度を上げることによつ て、 高い圧縮率を実現することができる。 動きが大きいシーンについては、 フレ ーム間圧縮の誤差が大きくなるので、 フレーム間の差分情報のみを含むフレーム の頻度を下げることによって、 高い画質を実現することができる。
これによつて、 本実施例では、 シーン判別手段 3 0によって、 圧縮効率に影響 のあるシーン内の人物や物体の動きの激しさやフレーム内の画像の複雑度や、 ス ポーッ番組といったコンテンツ種別に基づいて、 マトリックス保持手段 2 8が保 持するマトリツタスから受信端末 5へ配信するメディァの最適な符号化方法を選 択することができる。 本実施例では、 この手段によって、 数多い符号化パラメ一 タの組み合わせから最適な組み合わせを自動的に選択することができる。
(実施例 1 0 )
図 1 5は本発明の第 1 0の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 1 5において、 本発明の第 1 0の実施例によるメディア配信 システムは、 組み合わせ選択手段 2 9の代わりに組み合わせ推薦手段 3 1を配設 し、 受信端末 5 bに符号化候補選択手段 5 5を追加した以外は、 図 1 3に示す本 発明の第 8の実施例と同様の構成となっており、 同一要素には同一符号を付して める
組み合わせ推薦手段 3 1は、 ビットレート決定手段 1 8が決定した最適なビッ トレートを目標として、 スポーツ番組といったコンテンツ種別や、 シーン内の人 物や物体の動きを基にして、 マトリックス保持手段 2 8に保持されているマトリ ッタスから受信端末 5 bへ配信するメディァの最適な符号化方法から複数の方法 を符号化方式候補として選択し、サーバ管理者があらかじめ定めた個数分用意し、 そのリストを受信端末 5 bへ配信し、 受信端末 5 bから指示された符号化方式に したがって符号化方法を符号化手段 1 9へと指示する。
符号化候補選択手段 5 5は、 受信端末 5 bにおいて、 符号化方式候補を表示し てユーザに選択させ、ユーザが選択した符号化方式を配信サーバ 1 iへ送付する。 組み合わせ推薦手段 3 1は、 例えば、 画質優先や動き優先等の特徴を基に符号 化のパラメータの組み合わせを分類して、 受信端末 5 bへ送付してもよい。 符号 化候補選択手段 5 5は、 例えば、 符号化パラメータの組み合わせと、 画質優先や 動き優先といった分類を受信端末 5 bの画面上に表示し、 ユーザがキーボードゃ マウスで選択した組み合わせを配信サーバ 1 iへと送信する。
これによつて、 本実施例では、 組み合わせ推薦手段 3 1によって、 スポーツ番 組といったコンテンツ種別や、 シーン内の人物や物体の動きに基づいて、 マトリ ックス保持手段 2 8に保持されているマトリックスから受信端末 5 bへ配信する メディアの最適な符号化方法から複数の方法を符号化方式候補として選択し、 サ ーバ管理者があらかじめ定めた個数分用意し、 そのリストを受信端末 5 bへ配信 することができる。
また、 本実施例では、 組み合わせ推薦手段 3 1によって、 受信端末 5 bから指 示された符号化方式にしたがつて符号化方法を符号化手段 1 9へと指示すること ができる。
それに加え、 本実施例では、 符号化候補選択手段 5 5によって、 受信端末 5 b において、 符号化方式の候補を表示し、 ユーザに選択させ、 ユーザが選択した符 号化方式を、 配信サーバ 1 iへ送付することができる。 これらの手段によって、 本実施例では、 符号化のパラメータの組み合わせをユーザが選択することができ る。
(実施例 1 1 )
図 1 6は本発明の第 1 1の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 1 6において、 本発明の第 1 1の実施例によるメディア配信 システムは、 配信サーバ 1 jに誤り訂正符号化判別手段 3 2を追加した以外は、 図 1に示す本発明の第 1の実施例と同様の構成となっており、 同一要素には同一 符号を付してある。 尚、 本実施例は上記の本発明の第 2〜第 1 0の実施例にも適 用可能である。
誤り訂正符号化判別手段 3 2は、 配信サーバ 1 jから受信端末 5ヘメディアを 配信する際、 符号化手段 1 9に対してメディアへ誤り訂正信号を付加するよう指 示し、 誤り訂正信号の強度を変更することによって、 ビットレート決定手段 1 8 が決定した最適なビットレートを目標として、 メディアのサイズを変更する。 誤り訂正符号としては数多くの手法が提案されているが、 システム管理者があ らかじめこれらから選択する。 例えば、 誤り訂正符号としてはハミング符号ゃリ 一ドソロモン符号を適用してもよい。
また、 本実施例では、 例えば、 誤り訂正符号において冗長ビット数を大きくす ることによって、 データサイズは大きくなるが、 誤り耐性を強くすることができ る。 さらに、 本実施例では、 例えば、 伝送路で誤り発生確率が低い場合、 冗長ビ ット数を小さくして、 データサイズを小さくすることもできる。 さらにまた、 本 実施例では、 誤り訂正符号方式によって生成されるデータサイズが異なるので、 方式を選択して切替えることによってサイズを調整してもよい。
これによつて、 本実施例では、 誤り訂正符号化判別手段 3 2によって、 配信サ ーバ 1 jから受信端末 5へ配信する際、 符号化手段 1 9に対し、 メディアへ誤り 訂正信号を付加するよう指示し、 誤り訂正信号の強度を変更することによって、 メディァのサイズを調整することができる。
(実施例 1 2 ) 図 1 7は本発明の第 12の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 1 7において、 本発明の第 12の実施例によるメディア配信 システムは、 配信サーバ 1 kに暗号化判別手段 33を追加した以外は、 図 1に示 す本発明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付 してある。 尚、 本実施例は上記の本発明の第 2〜第 1 1の実施例にも適用可能で ある。
暗号化判別手段 33は、 配信サーバ 1 kから受信端末 5ヘメディアを配信する 際、 符号化手段 1 9に対し、 メディアを暗号化するよう指示し、 暗号化の強度や 暗号化のアルゴリズム自体を変更することによって、 ビットレート決定手段 18 が決定した最適なビットレートを目標として、 メディアのサイズを変更する。 暗号化アルゴリズムとしては数多くの手法が提案されているが、 システム管理 者があらかじめこれらから選択する。 例えば、 暗号化アルゴリズムとしては、 D E S (Da t a En c r y p t i o n S t a n d a r d) や R S A (R i v e s t Sh am i r Ad l ema n) を適用してもよい。
また、 本実施例では、 例えば、 鍵のビット数を大きくすることによってデータ サイズは大きくなるが、 暗号の解読にくさを向上させることができる。 さらに、 本実施例では、 例えば、 通信路が安全だと確認された場合に鍵のビット数を小さ くしてデータサイズを小さくすることもできる。 本実施例では、 暗号化のァルゴ リズムによって生成されるデータサイズが異なるので、 アルゴリズムを選択して サイズを調整してもよレ、。
これによつて、 本実施例では、 暗号化判別手段 33によって、 配信サーバ l k から受信端末 5へ配信する際、 符号化手段 19に対してメディアを暗号化するよ う指示し、 暗号化の強度や暗号化のァルゴリズム自体を変更することによって、 メディァのサイズを調整することができる。
(実施例 13)
図 18は本発明の第 13の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 18において、 本発明の第 13の実施例によるメディア配信 システムは、 配信サーバ 1 1に端末性能評価手段 34を追加し、 受信端末 5じに テスト用メディア再生手段 56を追加した以外は、 図 1に示す本発明の第 1の実 施例と同様の構成となっており、 同一要素には同一符号を付してある。 尚、 本実 施例は上記の本発明の第 2〜第 1 2の実施例にも適用可能である。
端末性能評価手段 3 4は、 配信サーバ 1 1において、 受信端末 5 cの性能を調 ベるためにテスト用のメディアを保持し、 受信端末 5 cに対して該テスト用メデ ィァを配信し、 受信端末 5 cからのエラーメッセージを受信し、 端末データべ一 ス 1 2に端末毎に再生不可のメディアと記述して保存する。
テスト用メディア再生手段 5 6は、 受信端末 5 cにおいて、 バッファリング手 段 5 1を介して取得した該テスト用メディアを再生し、 正常に再生できなかった 場合にエラーメッセージを配信サーバ 1 1へ送付する。 この場合、 テスト用メデ ィァとしては、 例えば、 再生時間の短い音楽や映像のメディアを利用する。
端末性能評価手段 3 4は、 受信端末 5 cが初めて配信サーバ 1 1にアクセスし た時にテスト用メディアを配信してもよいし、 配信するメディアの種類が変更す るたびに、 配信前に必ずテスト用メディアを配信してもよい。 また、 端末性能評 価手段 3 4は、 受信端末 5 cのユーザがテスト用メディアの配信を指定してもよ レ、。
テスト用メディア再生手段 5 6は、 テスト用メディアを再生できなかった場合 にエラーメッセージを配信サーバ 1 1に返すだけでなく、 正常再生できた場合も その旨を配信サーバ 1 1へ返信するようにしてもよい。 これによつて、 メディア に起因して受信端末 5 cに障害が生じ、 配信サーバ 1 1へエラーメッセージを送 信できない場合でも、 配信サーバ 1 1側でエラーを察知することができる。
よって、 本実施例では、 端末性能評価手段 3 4によって、 受信端末 5 cの性能 を調べるためにテスト用のメディアを保持し、 受信端末 5 cに対してそのテスト 用メディアを配信し、 受信端末 5 cからのエラーメッセージを端末データベース 1 2に端末毎に再生不可のメディァと記述して保存することができる。
また、 本実施例では、 テスト用メディア再生手段 5 6によって、 受信端末 5 c において、バッファリング手段 5 1を介して取得したテスト用メディアを再生し、 正常に再生できなかった場合にエラーメッセージを配信サーバ 1 1へ送付するこ とができる。 これらの手段によって、 本実施例では、 視聴可能なメディアの型が 不明な新しい機種の受信端末 5 cにおいても、 最適なメディアを配信することが できる。
(実施例 1 4 )
図 1 9は本発明の第 1 4の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 1 9において、 本発明の第 1 4の実施例によるメディア配信 システムは、 配信サーバ l mにメディア分割手段 3 5を追加した以外は、 図 1に 示す本発明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を 付してある。 尚、 本実施例は上記の本発明の第 2〜第 1 3の実施例にも適用可能 である。
メディア分割手段 3 5は、 システム管理者があらかじめ定めたルールでメディ ァを区切るための分割点を求めてメディアを区切る。 帯域変動予測手段 1 7は、 システムの管理者があらかじめ定めた一定期間将来の帯域変動を、 接続環境判別 手段 1 5で得られた接続環境と帯域測定手段 1 6で得られた現在の帯域とを基に、 メディァ分割手段 3 5によって区切られた分割点毎に予測する。
メディア分割手段 3 5で適用するシステム管理者があらかじめ定めたルールと しては、 例えば、 一定時間毎に区切る方法がある。 また、 放送番組の場合には、 番組毎に区切る方法や CM (コマーシャル) 放送のタイミングで区切る方法があ る。
さらに、 上記のルールとしては、 特定の画像処理や音声処理を実施し、 その結 果得られる特徴量を基に分割点を決める方法もある。 例えば、 放送番組では番組 のオープニングまたはエンデイングの映像や音楽が決まっている場合があり、 そ れらをあらかじめ登録しておき、 画像や音声の一致の度合いからオープニングや エンディングを同定して区切る方法がある。
さらにまた、 上記のルールとしては、 CMについても映像や音楽が決まってお り、 それらをあらかじめ登録しておき、 画像や音声の一致の度合いから C Mを同 定して区切る方法もある。
これによつて、 本実施例では、 メディア分割手段 3 5によって、 特定のルール でメディアを区切ることができる。 また、 本実施例では、 帯域変動予測手段 1 7 によって、 メディアの区切りである分割点毎に予測することができる。
(実施例 1 5 ) 図 2 0は本発明の第 1 5の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 0において、 本発明の第 1 5の実施例によるメディア配信 システムは、 メディァ分割手段 3 5の代わりに音声分割手段 3 6を配設した以外 は、 図 1 9に示す本発明の第 1 4の実施例と同様の構成となっており、 同一要素 には同一符号を付してある。
音声分割手段 3 6は、 音声の無音領域や話者切替わり、 音楽切替わり等のタイ ミングで音声を区切り、 帯域変動予測手段 1 7へ通知する。 ここで、 無音領域の 検出については、 例えば、 音量があらかじめシステム管理者が定めたしきい値を 下回る場合を無音領域と見なす方法がある。 また、 無音領域の検出については、 例えば、 B GM ( B a c k G r o u n d M u s i c ) が鳴っていても、 人物 の発言があるかどうかを判定して無音領域と見なす方法がある。
人物の発言があるかどうかについては数多くの手法が提案されているが、 例え ば, スぺク トル分析を実施し、 人物の音声に特有な特徴があれば発言があった、 なければ発言がなかったと見なす方法がある。 話者の切替わりについては数多く 提案されている話者同定の手法を利用することによって実現することができる。 音楽の切替わりについても、 話者同定の手法を適用することができる。
これによつて、 本実施例では、 音声分割手段 3 6によって、 音声の無音領域や 話者切替わり、 音楽切替わり等のタイミングで音声を区切ることができる。 この 手段によって、 本実施例では、 音声の品質を変化させても、 品質が変化した瞬間 のユーザの違和感を最小限に抑えることができる。
(実施例 1 6 )
図 2 1は本発明の第 1 6の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 1において、 本発明の第 1 6の実施例によるメディア配信 システムは、 メディア分割手段 3 5の代わりに動画分割手段 3 7を配設した以外 は、 図 1 9に示す本発明の第 1 4の実施例と同様の構成となっており、 同一要素 には同一符号を付してある。 尚、 本実施例は上記の本発明の第 1 5の実施例にも 適用可能である。
動画分割手段 3 7は、 動画のカツトゃシーン切替わり等のタイミングで動画を 区切り、 帯域変動予測手段 1 7へ通知する。 動画のカットやシーン切替わりの検 出については数多くの手法が提案されているが、 例えば、 フレーム間の差分を随 時算出し、 その差分があらかじめシステム管理者が定めたしきい値より大きくな つた場合に切替わりがあつたと見なす方法がある。
これによつて、 本実施例では、 動画分割手段 3 7によって、 動画のカットゃシ ーン切替わり等のタイミングで動画を区切ることができる。 この手段によって、 本実施例では、 動画の品質を変化させても、 品質が変化した瞬間のユーザの違和 感を最小限に抑えることができる。
(実施例 1 7 )
図 2 2は本発明の第 1 7の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 2において、 本発明の第 1 7の実施例によるメディア配信 システムは、 メディァ分割手段 3 5の代わりに動画音声分割手段 3 8を配設した 以外は、 図 1 9に示す本発明の第 1 4の実施例と同様の構成となっており、 同一 要素には同一符号を付してある。 尚、 本実施例は上記の本発明の第 1 5及び第 1 6の実施例にも適用可能である。
動画音声分割手段 3 8は、 音声の無音領域や話者切替わり、 音楽切替わり等の タイミングと、動画のカツトゃシーン切り替わり等のタイミングを照らし合わせ、 メディアの分割点としてどちらかのタイミングを採用するか、 または両方のいず れのタイミングも採用する力、 または音声と動画を異なったタイミングで分割す るかを、 あらかじめサーバ管理者が定めたルールにしたがって決定し、 ユーザに 違和感のないタイミングでメディアを区切り、帯域変動予測手段 1 7へ通知する。 メディアの分割点としては、 例えば、 音声の区切りと動画の区切りとの双方を 分割点として指定する方法がある。 また、 メディアの分割点としては、 音声の区 切りのみを選択する方法や、 動画の区切りのみを選択する方法がある。 さらに、 メディアの分割点としては、 例えば、 音声の区切りがあった後、 動画の区切りが あるのを待って、 その動画の区切りを分割点とする方法や、 動画の区切りがあつ た後、 音声の区切りがあるのを待って、 その音声の区切りを分割点とする方法が ある。
さらにまた、 例えば、 動画の区切りがなく、 音声の区切りのみが検出されてい る場合でも、 画面がボケていたり、 暗かったりして多少品質が変動してもユーザ に気づかれないと判定した塲合には、 その音声の区切りを分割点とする方法があ る。 同様に、 例えば、 音声の区切りがなく、 動画の区切りのみが検出されている 場合でも、 音声にノィズ成分が多くふくまれて多少品質が変動してもユーザに気 づかれないと判定した場合、 その動画の区切りを分割点とする方法がある。 これによつて、 本実施例では、 動画音声分割手段 3 8によって、 音声の無音領 域や話者切替わり、 音楽切替わり等のタイミングと、 動画のカットやシーン切替 わり等のタイミングを照らし合わせ、 メディアの分割点としてどちらかのタイミ ングを採用するか、 または両方のいずれのタイミングも採用するか、 または音声 と動画とを異なったタイミングで分割するかを、 あらかじめサーバ管理者が定め たルールにしたがって決定し、 ユーザに違和感のないタイミングでメディアを区 切ることができる。 この手段によって、 本実施例では、 メディアの品質を変化さ せても、 品質が変化した瞬間のユーザの違和感を最小限に抑えることができる。
(実施例 1 8 )
図 2 3は本発明の第 1 8の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 3において、 本発明の第 1 8の実施例によるメディア配信 システムは、 配信サーバ 1 qに再生状況保存手段 3 9と再送制御手段 4 0とを追 加し、 受信端末 5 dに再生箇所通知手段 5 7を追カ卩した以外は、 図 1に示す本発 明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付してあ る。 尚、 本実施例は上記の本発明の第 2〜第 1 7の実施例にも適用可能である。 再生状況保存手段 3 9は、 受信端末 5 dから再生中のメディアの再生箇所を受 取り、 該再生箇所とメディアを識別する I Dとを保存し、 ユーザが受信端末 5 d で停止を指定した場合や、 通信障害で受信端末 5 dヘメディアを正常に配信でき なかった場合、 正常に配信した最後の箇所を中断箇所として保存する。
再送制御手段 4 0は、 ユーザが受信端末 5 d側で再度再生を指示した段階で、 メディアの中断箇所から受信端末 5 dへと配信を始めるか、 ユーザが受信端末 5 dで指定した任意の箇所から再生できるように、 ユーザが指定した箇所から受信 端末 5 dへと配信を始めるように配信手段 2 0へと指示する。
再生箇所通知手段 5 7は、 メディア再生箇所を再生手段 5 2から取得し、 その メディア再生箇所を配信サーバ 1 qに対して通知する。 再生状況保存手段 3 9が保存するメディアの最後の箇所の指定の仕方としては、 例えば、 メディア開始からの時間を示す方法、 あるいはメディア開始からの累積 データサイズで示す方法がある。 動画については、 メディア開始からのフレーム 番号で示す方法、 さらにメディアをシーン分割し、 シーン毎に番号付けしてその 番号を示す方法がある。
これによつて、 本実施例では、 再生状況保存手段 3 9によって、 受信端末 5 d から再生中のメディアの再生箇所を受取り、 該再生箇所とメディアのタイ トルと 内容を識別する I Dとを保存し、ユーザが受信端末 5 dで停止を指定した場合や、 通信障害で受信端末 5 dヘメディアを正常に配信できなかった場合等において、 正常に配信した最後の箇所を中断箇所として保存することができる。
また、 本実施例では、 受信端末 5 dにおける再生箇所通知手段 5 7によって、 受信端末 5 dでどこまで正常にメディアを再生できたかを配信サーバ 1 qで把握 することができる。
さらに、 本実施例では、 再送制御手段 4 0によって、 ユーザが受信端末 5 d側 で再度再生を指示した段階で、 メディアの中断箇所から受信端末 5 dへと配信を 始めるか、 ユーザが受信端末 5 dで指定した任意の箇所から再生するように、 ュ 一ザが指定した箇所から受信端末 5 dへと配信を始めることができる。
これらの手段によって、 本実施例では、 通信障害等で配信を受けられない場合 でも、 通信障害が回復後、 正常に視聴できた時点から再開することができ、 ユー ザが指定した任意の箇所からの再生ができる。
(実施例 1 9 )
図 2 4は本発明の第 1 9の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 4において、 本発明の第 1 9の実施例によるメディア配信 システムは、 配信サーバ 1 rに端末登録手段 4 1と端末識別手段 4 2とを追加し た以外は、 図 2 3に示す本発明の第 1 8の実施例と同様の構成となっており、 同 一要素には同一符号を付してある。
端末登録手段 4 1は、 システムの管理者があらかじめ受信を許可する複数の受 信端末を登録しておく。端末識別手段 4 2は、受信端末 5 dで再生を中断した後、 これまで再生していた受信端末 5 dとは異なる受信端末で再度の再生を指示した 段階で、 その受信端末が端末登録手段 4 1に登録されている受信端末かどうかを 調べ、 登録済みの場合、 メディアの中断箇所から受信端末への配信を再開するよ うに配信手段 2 0に対して指示し、 未登録の場合、 要求した受信端末に対して不 許可等のメッセージを表示させる。
受信端末を登録する方法としては、 例えば、 携帯電話の場合、 端末 I Dによつ て登録することができる。 また、 受信端末を登録する方法としては、 アクセスし た I Pアドレスを基に登録する方法もある。 さらに、 受信端末を登録する方法と しては、 例えば、 パソコンや P D Aの場合、 ネッ トワークインタフェースの MA C (M e d i a A c c e s s C o n t r o l ) アドレスを端末 I Dとして使 う方法、 内蔵ディスクの I Dを端末 I Dとして使う方法がある。
未許可の受信端末がアクセスした場合には、 例えば、 不許可というメッセージ を受信端末の画面上に表示する方法や、 特定のメディアを再生する方法がある。 また、 未登録の受信端末でも一定時間だけは再生できるようにする方法もある。 さらに、 未登録の受信端末の場合、 画像サイズを小さくしたりして画質を劣化さ せたメディアや帯域を絞って音質を劣化させたメディアを配信する方法がある。 上記のように、 未登録の受信端末の場合には、 一部のシーンのみ視聴可能とし たり、 フレーム內一部分のみ視聴可能とするといつたようにメディアを部分的に 露出することによって、 未登録のユーザの登録を促すことができる。
これによつて、 本実施例では、 端末登録手段 4 1によって、 あらかじめ受信を 許可する複数の受信端末を登録することができる。 また、 本実施例では、 端末識 別手段 4 2によって、 受信端末 5 dで再生を中断した後、 これまで再生していた 受信端末とは異なる受信端末で再度の再生を指示した段階で、 その受信端末が端 末登録手段 4 1に登録されている受信端末かどうかを調べ、 登録済みの場合、 メ ディアの中断箇所かまたはユーザが指定した任意の箇所から受信端末への配信を 再開し、 未登録の場合、 要求した受信端末に対して不許可等のメッセージを表示 させることができる。
これらの手段によって、 本実施例では、 ユーザが表示デバイスを、 例えば携帯 電話から P C (パソコン) 等へ変更した場合であっても、 同じコンテンツを引き 続き視聴することができる。 さらに、 本実施例では、 あらかじめ登録してある端 末情報から、 端末毎に最適なメディアをあらかじめ生成しておくことによって、 ユーザから要求があった場合に即座に提供することができる。
(実施例 2 0 )
図 2 5は本発明の第 2 0の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 5において、 本発明の第 2 0の実施例によるメディア配信 システムは、 配信サーバ 1 sに障害対応ルール保存手段 4 3を追加し、 受信端末 5 eに障害対応再生手段 5 8を追加した以外は、 図 1に示す本発明の第 1の実施 例と同様の構成となっており、 同一要素には同一符号を付してある。 尚、 本実施 例は上記の本発明の第 2〜第 1 9の実施例にも適用可能である。
障害対応ルール保存手段 4 3は、 通信障害等でメディアを配信できなかつた場 合に備え、 配信できない場合に受信端末 5 eで何を表示するか、 サーバ管理者が あらかじめ定めたルールを、 障害対応ルールとして保存し、 この障害対応ルール を受信端末 5 eへと送信し、 障害発生時に配信を停止するように配信手段 2 0に 対して指示する。
障害対応再生手段 5 8は、配信サーバ 1 sからの障害対応ルールにしたがって、 障害時にこれまで受信したメディァゃ障害時専用のメディァを再生するように再 生手段 5 2に対して指示する。 障害対応再生手段 5 8は、 例えば、 障害時にこれ までに受信してバッファリング手段 5 1に残っているメディアを再生する、 また はあらかじめシステムの管理者または受信端末のユーザが受信端末に保存してお いた障害時専用のメディアを再生するように再生手段 5 2に対して指示する。 障害時専用のメディアを取得する方法としては、 例えば受信端末 5 eのネット ワークインタフェースを介して取得する方法、 あるいは受信端末 5 eとは別のパ ソコン等で外部メモリに保存し、 その外部メモリを受信端末 5 eに装着すること によって取得する方法がある。 障害時にメディアを再生する場合には、 例えば複 数のメディアがある場合、 保存した順番や指定した順番に再生する方法やランダ ムな順番に再生する方法がある。 また、 複数のメディアがある場合には、 各々の メディアの再生途中で別のメディアを再生する方法がある。
これによつて、 本実施例では、 障害対応ルール保存手段 4 3によって、 通信障 害等でメディアを配信できなかった場合に備え、 配信できない場合に受信端末 5 eで何を表示するか、 サーバ管理者があらかじめ定めたルールを障害対応ルール とし、 この障害対応ルールを受信端末 5 eへと送信し、 障害発生時に配信を停止 するように配信手段 2 0に対して指示することができる。
また、 本実施例では、 障害対応再生手段 5 8によって、 障害対応ルールにした がって、 障害時にこれまで受信したメディアや障害時専用のメディアを再生する ことができる。
(実施例 2 1 )
図 2 6は本発明の第 2 1の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 6において、 本発明の第 2 1の実施例によるメディア配信 システムは、 配信サーバ 1 tに予備メディア配信手段 4 4を追加し、 受信端末 5 f に障害対応再生手段 5 8と予備メディァ保存手段 5 9とを追加した以外は、 図 1に示す本発明の第 1の実施例と同様の構成となっており、 同一要素には同一符 号を付してある。 尚、 本実施例は上記の本発明の第 2〜第 2 0の実施例にも適用 可能である。
配信サーバ 1 tにおいて、 予備メディア配信手段 4 4は、 通信障害等でメディ ァを配信できなかった場合に備え、 配信できない場合に受信端末 5 f で表示する メディアを予備メディアとして準備し、 配信手段 2 0を介して受信端末 5 へと 配信する。
受信端末 5 f において、 予備メディア保存手段 5 9は、 配信サーバ 1 tからの 予備メディアを受信し、 専用のバッファ (図示せず) に保存する。 障害対応再生 手段 5 8は、 障害時に障害対応ルールにしたがって予備メディアを表示するよう に再生手段 5 2へ指示する。
予備メディアとしては、 例えば、 映画やテレビ番組の予告編や、 CMを使う方 法がある。 予備メディアは、 例えば、 システムの管理者があらじめ定めた時間帯 に配信してもよいし、受信端末 5 f のユーザが指定した時間帯に配信してもよレ、。 また、 予備メディアは、 例えば、 帯域に余裕がある場合に、 受信端末 5 f のユー ザが視聴しているメディアと同時に配信してもよい。 さらに、 予備メディアは、 例えば、 受信端末 5 f でユーザが視聴を開始する際、 視聴するメディア再生の直 前に配信してもよレ、。 これによつて、 本実施例では、 予備メディア配信手段 4 4によって、 通信障害 等でメディアを配信できなかった場合に備え、 配信できない場合に受信端末 5 f で表示するメディアを予備メディアとして準備することで、 予備メディアを受信 端末 5 f へと配信することができる。
また、 本実施例では、 予備メディア保存手段 5 9によって、 受信端末 5 f にお いて予備メディアを受信することで、 予備メディアを専用のバッファに保存する ことができる。 それに加え、 本実施例では、 障害対応再生手段 5 8によって、 障 害時に障害対応ルールにしたがって予備メディァを表示することができる。
これらの手段によって、 本実施例では、 通信障害で配信サーバ 1 tからのメデ ィァの配信が途絶え、 受信端末 5 f のバッファのメディアを全て再生済みの場合 でも、 例えば予備メディアとして予告編やプレミア映像や広告を表示することに よって、 ユーザに対して継続視聴を促すことができる。
(実施例 2 2 )
図 2 7は本発明の第 2 2の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 7において、 本発明の第 2 2の実施例によるメディア配信 システムは、 配信サーバ 1 uにプレゼンス取得手段 4 5を追カ卩し、 受信端末 5 g にプレゼンス通知手段 6 0を追加した以外は、 図 1に示す本発明の第 1の実施例 と同様の構成となっており、 同一要素には同一符号を付してある。 尚、 本実施例 は上記の本発明の第 2〜第 2 1の実施例にも適用可能である。
配信サーバ l uにおいて、 プレゼンス取得手段 4 5は、 受信端末 5 gの位置や 移動の具合を受信端末 5 gからプレゼンスとして取得する。 帯域変動予測手段 1 7は、 一定期間将来の帯域変動を予測する際に、 プレゼンス取得手段 4 5で取得 したプレゼンスも利用する。
受信端末 5 gにおいて、 プレゼンス通知手段 6 0は、 受信端末 5 gの位置や移 動の具合を配信サーバ 1 uへ通知する。
プレゼンスを取得する方法としては、 例えば、 受信端末 5 gに G P S (グロ一 バルポジショニングシステム) の受信機を搭載し、 その受信機にて受信した G P S信号から位置を取得する方法がある。 また、 プレゼンスを取得する方法として は、 例えば、 携帯電話の場合のように、 基地局毎の電波強度から求めることがで さる。
その他に、 プレゼンスを取得する方法としては、 例えば、 無線 L A N接続提供 サービスであるホットスポットを使う場合、 そのホットスポットの位置から受信 端末 5 gの位置を推定することができる。
受信端末 5 gの移動の具合については、 例えば、 加速度センサやジャイロを利 用することによって取得することができる。
これによつて、 本実施例では、 プレゼンス取得手段 4 5とプレゼンス通知手段 6 0とによって、 受信端末 5 gの位置や移動の具合から、 将来の帯域変動の予測 精度を高めることができる。
(実施例 2 3 )
図 2 8は本発明の第 2 3の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 8において、 本発明の第 2 3の実施例によるメディア配信 システムは、 配信サーバ 1 Vに受信環境取得手段 4 6を追加し、 受信端末 5 hに センサ 6 1と受信環境通知手段 6 2とを追加した以外は、 図 1に示す本発明の第 1の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、 本実施例は上記の本発明の第 2〜第 2 2の実施例にも適用可能である。
配信サーバ 1 Vにおいて、 受信環境取得手段 4 6は受信端末 5 h周囲の気象条 件や電磁環境等の物理環境を受信端末 5 hから受信環境として取得する。 帯域変 動予測手段 1 7は、 一定期間将来の帯域変動を予測する際に、 受信環境取得手段 4 6で取得した受信環境も利用する。
受信端末 5 hにおいて、 センサ 6 1は周囲の気象条件や電磁環境等の物理環境 を測定する。 受信環境通知手段 6 2はセンサ 6 1にて測定された物理環境を受信 環境として配信サーバ 1 Vに通知する。
例えば、 降雨が激しい場合には電波の減衰が強い。 電離層の活動によっては無 線通信が通じにくい状況になる場合がある。 こういつた物理環境を測定するセン サとしては、 例えば降雨計や降雨レーダ、 風速計、 気圧計、 地磁気計、 電離層測 定レーダ等数多くの種類がある。 また、 物理環境の測定には、 気象衛星等の地球 観測衛星からの観測データを取得して利用してもよレ、。
これによつて、 本実施例では、 受信環境取得手段 4 6と受信環境通知手段 6 2 とによって、 受信端末 5 h周囲の気象条件や電磁環境から、 将来の帯域変動の予 測精度を高めることができる。
(実施例 2 4 )
図 2 9は本発明の第 2 4の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 2 9において、 本発明の第 2 4の実施例によるメディア配信 システムは、 配信サーバ l wにタスク取得手段 4 7と端末リソース予測手段 4 8 とを追加し、 受信端末 5 iにタスク通知手段 6 3を追加した以外は、 図 1に示す 本発明の第 1の実施例と同様の構成となっており、 同一要素には同一符号を付し てある。 尚、 本実施例は上記の本発明の第 2〜第 2 3の実施例にも適用可能であ る。
配信サーバ l wにおいて、 タスク取得手段 4 7は、 受信端末 5 iから現在実行 中のプログラム種別と実行履歴とを取得する。 端末リソース予測手段 4 8は、 あ らかじめシステムの管理者が指定したプロダラム種別の平均実行時間と、 実行中 のプロダラム種別と、 実行履歴と、 端末リソース取得手段 1 4カゝら得られた利用 可能リソースとを用いて、 一定期間将来に利用可能となるリソースを予測して将 来リソースとする。ビットレート決定手段 1 8は、ビットレートを決定する際に、 利用可能リソースの代わりに将来リソースを利用する。
受信端末 5 iにおいて、 タスク通知手段 6 3は、 現在実行中のプログラム種別 と実行履歴とを配信サーバ 1 wへ通知する。
現在実行中のプログラム種別と実行履歴とを求める方法としては、 例えば、 多 くの O S (オペレーティングシステム) に標準的に備わっているシステムモニタ やタスクモニタ等のモニタリング機能を利用する。 また、 他の方法としては、 実 行中のプログラム種別と実行履歴とを求めるソフトウェアを新たに受信端末 5 i にィンストールしてもよレ、。
これによつて、 本実施例では、 タスク取得手段 4 7とタスク通知手段 6 3と端 末リソース予測手段 4 8とによって、 受信端末 5 iで将来利用可能なメモリ容量 や C P Uの空きやディスク容量等のリソースを基に、 受信端末 5 iにとつてより 最適なメディアを配信することができる。
(実施例 2 5 ) 図 3 0は本発明の第 2 5の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 3 0において、 本発明の第 2 5の実施例によるメディア配信 システムは、 配信サーバ 1 Xにプレゼンス予測手段 4 9を追加した以外は、 図 2 7に示す本発明の第 2 2の実施例と同様の構成となっており、 同一要素には同一 符号を付してある。 尚、 本実施例は上記の本発明の第 2 3及び第 2 4の実施例に も適用可能である。
配信サーバ l xにおいて、 プレゼンス予測手段 4 9は、 プレゼンス取得手段 4 5から得られた受信端末 5 gの現在の位置や移動の具合から一定期間将来の位置 や移動の具合を予測して将来プレゼンスとする。 帯域変動予測手段 1 7は、 一定 期間将来の帯域変動を予測する際に、 プレゼンスに代わって将来プレゼンスを利 用する。
プレゼンスを予測する方法としては、 例えば、 これまでのプレゼンスを回帰分 析してモデルを構築し、そのモデルから帯域変動を関数として求める方法がある。 この方法では、 時間帯や季節等の環境や受信端末周囲の地理を勘案してもよい。 上記のプレゼンスを予測する方法では、 例えば、 鉄道の線路上にプレゼンスが あったならば、運行ダイャを参照して将来の位置を推測することができる。また、 上記のプレゼンスを予測する方法では、 例えば、 平日朝ならば通勤のためある程 度経路や時間が固定されており、 プレゼンスが容易に推測することができる。 さ らに、 上記のプレゼンスを予測する方法では、 過去のプレゼンスに単純に多項式 関数を外挿して求めてもよい。
これによつて、 本実施例では、 プレゼンス予測手段 4 9によって、 受信端末 5 gの将来の位置や移動の具合を予測することができ、 将来の帯域変動の予測精度 を高めることができる。
(実施例 2 6 )
図 3 1は本発明の第 2 6の実施例によるメディア配信システムの構成を示すブ ロック図である。 図 3 1において、 本発明の第 2 6の実施例によるメディア配信 システムは、 配信サーバ 1 yに受信環境予測手段 5 0を追加した以外は、 図 2 8 に示す本発明の第 2 3の実施例と同様の構成となっており、 同一要素には同一符 号を付してある。 尚、 本実施例は上記の本発明の第 2 2、 第 2 4、 第 2 5の実施 例にも適用可能である。
配信サーバ l yにおいて、 受信環境予測手段 5 0は、 受信環境取得手段 4 6か ら得られた受信端末 5 h周囲の現在の気象条件や電磁環境から一定期間将来の気 象条件や電磁環境を予測して将来受信環境とする。 帯域変動予測手段 1 7は、 一 定期間将来の帯域変動を予測する際に、 受信環境に代わって将来受信環境を利用 する。
気象条件や電磁環境を予測する方法としては、 これまで提案されている様々な 予報の手法を利用しても、 または単純に公表されている天気予報等を利用しても よい。
これによつて、 本実施例では、 受信環境予測手段 5 0によって、 受信端末 5 h 周囲の将来の気象条件や電磁環境を予測することができ、 将来の帯域変動の予測 精度を高めることができる。
以上、 実施の形態及び実施例を参照して本発明について説明したが、 本発明は これら実施の形態及び実施例に限定されるものではない。 上述の実施の形態及び 実施例に対して、 本発明の技術的範囲内において当業者は様々な変更を行うこと ができる。
すなわち、 本発明のメディア配信システムは、 通信の帯域変動にしたがって品 質を変化させることで高い効率を実現し、 かつ帯域変動を予測することで安定な 品質でメディアを閲覧することを可能としている。 これによつて、 本発明のメデ ィァ配信システムでは、 頻繁に帯域変動する環境であっても、 ユーザが違和感や 不自然さを抱かない範囲でメディァの品質を安定させて配信することが可能とな る。
さらに、 本発明のメディア配信システムでは、 多様な受信端末に対して受信端 末の性能や通信環境に変動があっても、 滞りなく最適なメディアを配信すること が可能となる。
本発明の第 1のメディア配信システムは、 映像や音楽といったメディアを配信 する配信サーバと、 ネットワークを介してメディアを受信して再生する受信端末 とから構成されるシステムにおいて、 配信サーバが、 受信端末の処理能力や対応 メディァ形式を判別する端末性能判別手段と、 受信端末から現在利用可能なメモ リ容量や C P U (中央処理装置) の空きやディスク容量等のリソースを取得する 端末リソース取得手段と、 受信端末が接続している環境種別と現在の帯域からシ ステムの管理者があらかじめ定めた一定期間将来の帯域変動を予測する帯域変動 予測手段と、 受信端末の性能や利用可能なリソースと予測した将来の帯域変動か ら受信端末でメディアの品質が急激に変動しないように受信端末へ配信する高品 質なメディアの最適なビットレートを決定するビットレート決定手段と、 最適な ビットレートを達成するために最適な符号化方法を選択してメディアを符号化す る符号化手段とを有している。
また、 本発明の第 1のメディア配信システムでは、 受信端末に、 現在利用可能 なメモリ容量や C P Uの空きやディスク容量等のリソースを配信サーバへ通知す る端末リソース通知手段を有している。
これによつて、 本発明の第 1のメディア配信システムでは、 帯域変動予測手段 によって将来の帯域変動を予測することが可能となり、 端末性能判別手段と端末 リソース取得手段とによって、 端末の現時点での性能を推測することが可能とな る。
また、 本発明の第 1のメディア配信システムでは、 ビットレート決定手段によ つて、 帯域変動に基づいて、 受信端末でメディアの品質が急激に変動しないよう に、 かつ受信端末の現時点の性能に最適なビットレートを決定することが可能と なり、 受信端末において、 急激な帯域変動があっても、 急激なビットレートの変 動がなく、 違和感や不自然さなく、 高品質なメディアを視聴することが可能とな る。
本発明の第 2のメディァ配信システムは、 映像や音楽といったメディアを配信 する配信サーバと、 ネットワークを介してメディアを受信して再生する受信端末 とから構成されるシステムにおいて、 配信サーバが、 受信端末の処理能力や対応 メディァ形式を判別する端末性能判別手段と、 受信端末から現在利用可能なメモ リ容量や C P Uの空き、 ディスク容量等のリソースを取得する端末リソース取得 手段と、 システムの管理者があらかじめ定めた時間間隔を複数通り保持する時間 間隔保持手段と、 受信端末が接続している環境種別と現在の帯域からシステムの 管理者があらかじめ定めた一定期間将来の帯域変動をその時間間隔で予測する帯 域変動予測手段と、 受信端末の性能や利用可能なリソースと予測した将来の帯域 変動から受信端末でメディアの品質が急激に変動しないように受信端末へ配信す る高品質なメディァの最適なビットレートを前記時間間隔で決定するビットレー ト決定手段と、 最適なビットレートを達成するために最適な符号化方法を選択し てメディアを符号化する符号化手段とを有している。
また、 本発明の第 2のメディア配信システムでは、 受信端末に、 現在利用可能 なメモリ容量や C P Uの空きやディスク容量等のリソースを配信サーバへ通知す る端末リソース通知手段を有している。
これによつて、 本発明の第 2のメディア配信システムでは、 帯域変動予測手段 によって将来の帯域変動をシステムの管理者があらかじめ定めた時間間隔で予測 することが可能となり、 端末性能判別手段と端末リソース取得手段とによって端 末の現時点での性能を推測することが可能となる。
また、 本発明の第 2のメディア配信システムでは、 ビットレート決定手段によ つて帯域変動に基づいて、 受信端末でメディアの品質が急激に変動しないように かつ受信端末の現時点の性能に最適なビットレートをシステムの管理者があらか じめ定めた時間間隔で決定することが可能となり、 受信端末において、 急激な帯 域変動があっても、 急激なビットレートの変動がなく、 違和感ゃ不自然さなく、 高品質なメディアを視聴することが可能となる。
本発明の第 3のメディァ配信システムは、 上記の本発明の第 1及び第 2のメデ ィァ配信システムのいずれかの構成の他に、 システムの管理者があらかじめ定め た将来において、 上記の帯域変動予測手段で得られた帯域が、 システムの管理者 があらかじめ定めた帯域のしきい値より小さくなるかどうかを監視し、 しきい値 より小さくなると予測した場合、 先送り手段へ警告メッセージを送る帯域変動監 視手段と、 警告メッセージを受けた場合、 システムの管理者があらかじめ定めた 範囲で、 帯域測定手段から得られる現在の帯域を越えない範囲で帯域がしきい値 より小さくなる将来期間のメディアデータを受信端末へ前もつて配信するように 配信手段に指示して受信端末に対してバッフアサイズを変更して前もつて配信し たメディアを保存するように指示する先送り手段とを有している。
また、 本発明の第 3のメディア配信システムでは、 受信端末に、 先送り手段か ら指示を受けた場合に、 バッファサイズを変更するようにバッファリング手段へ 指示するバッファサイズ変更手段を有している。
これによつて、 本発明の第 3のメディア配信システムでは、 帯域変動監視手段 によって、 帯域がしきい値より小さくなると予測した場合、 先送り手段へ警告メ ッセージを送ることが可能となる。
また、 本発明の第 3のメディア配信システムでは、 先送り手段によって、 警告 メッセージを受けた場合、 帯域がしきい値より小さくなる将来期間のメディアデ ータを受信端末へ前もって配信するように配信手段に指示し、受信端末に対して、 バッファサイズを変更して前もって配信したメディァを保存するように指示する ことが可能となる。
これに加え、 本発明の第 3のメディア配信システムでは、 バッファサイズ変更 手段によって、 先送り手段から指示を受けた場合に、 バッファサイズを変更する ことが可能となる。 本発明の第 3のメディア配信システムでは、 これらの手段に よって、 通信帯域が著しく小ざくなつてメディアが配信できない状態でも、 受信 端末で引き続きメディアの再生が可能となる。
本発明の第 4のメディア配信システムは、 上記の本発明の第 1から第 3のメデ ィァ配信システムのいずれかの構成の他に、 動画のフレームサイズや、 フレーム レート、 圧縮率、 色数、 階調数を変更することによって、 メディアのサイズを変 更するように符号化手段へ指示する動画符号化判別手段を有している。
これによつて、 本発明の第 4のメディア配信システムでは、 動画符号化判別手 段によって、 動画のフレームサイズや、 フレームレート、 圧縮率、 色数、 階調数 を変更することによって、 メディアのサイズを調整することが可能となる。
本発明の第 5のメディア配信システムは、 上記の本発明の第 1から第 4のメデ ィァ配信システムのいずれかの構成の他に、 動画のフレーム全体を一様な強度で 平滑化するか、 フレームの部分部分で平滑化の強度を変更したり、 動きの激しさ によつて平滑化の強度を変更することによって、 ブロックノイズのように際立つ た画質の低下を抑えたまま、 メディアサイズであるビットレートを変更するよう に符号化手段へ指示する画像処理手段を有している。
これによつて、 本発明の第 5のメディア配信システムでは、 画像処理手段によ つて、 動画のフレーム全体を一様な強度で平滑化するか、 フレームの部分部分で 平滑化の強度を変更したり、 動きの激しさによって平滑化の強度を変更すること によって、 プロックノイズのように際立った画質の低下を抑えたままメディアサ ィズを調整することが可能となる。
本発明の第 6のメディァ配信システムは、 上記の本発明の第 1から第 5のメデ ィァ配信システムのいずれかの構成の他に、 音声のサンプリングレートゃサンプ ルあたりのビット数、 周波数帯域、 ステレオ等のチャンネル数を変更することに よって、 メディァのサイズを変更するように符号化手段へ指示する音声符号化判 別手段を有している。
これによつて、 本発明の第 6のメディア配信システムでは、 音声符号化判別手 段によって、 音声のサンプリングレートやサンプルあたりのビット数、 周波数帯 域、 ステレオ等のチャンネル数を変更することによって、 メディアのサイズを調 整することが可能となる。
本発明の第 7のメディァ配信システムは、 上記の本発明の第 1から第 6のメデ ィァ配信システムのいずれかの構成の他に、 メディアのコーデック自体を変更し てメディァのサイズを変更するように符号化手段へ指示する符号化選択手段を有 している。
これによつて、 本発明の第 7のメディア配信システムでは、 符号化選択手段に よって、 メディアのコーデック自体を変更してメディアのサイズを調整すること が可能となる。
本発明の第 8のメディア配信システムは、 上記の本発明の第 1から第 7のメデ ィァ配信システムのいずれかの構成の他に、 動画のフレームサイズや、 フレーム レート、 圧縮率、 色数、 階調数、 平滑化の強度、 平滑化の強度のフレーム上の分 布、 音声のサンプリングレートやサンプルあたりのビット数、 周波数帯域、 チヤ ンネル数、 及びメディアのコーデックについて組み合わせ毎に達成されるビット レートを記載したマトリックスを保持するマトリックス保持手段と、 端末性能と 帯域変動とに基づいて、 マトリックスから受信端末へ配信するメディアの最適な 符号化方法を選択する組み合わせ選択手段とを有している。
これによつて、 本発明の第 8のメディア配信システムでは、 マトリ ックス保持 手段によって、 動画のフレームサイズや、 フレームレート、 圧縮率、 色数、 階調 数、 平滑化の強度、 平滑化の ¾度のフレーム上の分布、 音声のサンプリングレ一 トゃサンプルあたりのビット数、 周波数帯域、 チャンネル数、 及びメディアのコ 一デックについて組み合わせ毎に達成されるビットレートを記載したマトリック スを保持することが可能となる。
また、 本発明の第 8のメディア配信システムでは、 組み合わせ選択手段によつ て、 端末性能と帯域変動とに基づいて、 マトリックスから受信端末へ配信するメ ディアの最適な符号化方法を選択することが可能となる。
本発明の第 9のメディァ配信システムは、 上記の本発明の第 8のメディァ配信 システムの構成の他に、 圧縮効率に影響のあるシーン内の人物や動きの激しさや フレーム内の画像の複雑度や、スポーツ番組といったコンテンツ種別に基づいて、 マトリックスから受信端末へ配信するメディアの最適な符号化方法を選択するシ —ン判別手段を有している。
これによつて、 本発明の第 9のメディア配信システムでは、 シーン判別手段に よって、 圧縮効率に影響のあるシーン内の人物や物体の動きの激しさゃフレーム 內の画像の複雑度や、 スポーツ番組といったコンテンツ種別に基づいて、 マトリ ッタスから受信端末へ配信するメディァの最適な符号化方法を選択することが可 能となる。 本発明の第 9のメディア配信システムでは、 この手段によって、 数多 い符号化パラメータの組み合わせから最適な組み合わせを自動的に選択すること が可能となる。
本発明の第 1 0のメディア配信システムは、 上記の本発明の第 8のメディア配 信システムの構成の他に、 スポーツ番組といったコンテンツ種別や、 シーン内の 人物や物体の動きに基づいて、 マトリックスから受信端末へ配信するメディアの 最適な符号化方法から複数の方法を符号化方式候補として選択し、 サーバ管理者 があらかじめ定めた個数分用意し、 そのリス トを受信端末へ配信し、 受信端末か ら指示された符号化方式にしたがって符号化方法を符号化手段へと指示する組み 合わせ推薦手段を有している。
また、 本発明の第 1 0のメディア配信システムでは、 受信端末に、 符号化方式 候補を表示し、 ユーザに選択させ、 ユーザが選択した符号化方式で符号化された メディアを配信サーバへ送付する符号化候補選択手段を有している。
これによつて、 本発明の第 1 0のメディア配信システムでは、 組み合わせ推薦 手段によって、 スポーツ番組といったコンテンツ種別や、 シーン内の人物や物体 の動きに基づいて、 マトリックスから受信端末へ配信するメディアの最適な符号 化方法から複数の方法を符号化方式候補として選択し、 サーバ管理者があらかじ め定めた個数分用意し、 そのリストを受信端末へ配信することが可能となる。 また、 本発明の第 1 0のメディア配信システムでは、 組み合わせ推薦手段によ つて、 受信端末から指示された符号化方式にしたがって符号化方法を符号化手段 へと指示することが可能となる。
それに加え、 本発明の第 1 0のメディア配信システムでは、 符号化候補選択手 段によって、受信端末において、符号化方式の候補を表示し、ユーザに選択させ、 ユーザが選択した符号化方式を、 配信サーバへ送付することが可能となる。 これ らの手段によって、 本発明の第 1 0のメディア配信システムでは、 符号化のパラ メータの組み合わせをユーザが選択することが可能となる。
本発明の第 1 1のメディア配信システムは、 上記の本発明の第 1から第 1 0の メディァ配信システムのいずれかの構成の他に、 配信サーバから受信端末へ配信 する際、 符号化手段に対し、 メディアへ誤り訂正信号を付加するよう指示し、 誤 り訂正信号の強度を変更することによって、 メディァのサイズを変更する誤り訂 正符号化判別手段を有している。
これによつて、 本発明の第 1 1のメディア配信システムでは、 誤り訂正符号化 判別手段によって、 配信サーバから受信端末へ配信する際、 符号化手段に対し、 メディァへ誤り訂正信号を付加するよう指示し、 誤り訂正信号の強度を変更する ことによって、 メディアのサイズを調整することが可能となる。
本発明の第 1 2のメディア配信システムは、 上記の本発明の第 1から第 1 1の メディァ配信システムのいずれかの構成の他に、 配信サーバから受信端末へ配信 する際、 符号化手段に対し、 メディアを暗号化するよう指示し、 暗号化の強度や 暗号化のアルゴリズム自体を変更することによって、 メディアのサイズを変更す る暗号化判別手段を有している。
これによつて、 本発明の第 1 2のメディア配信システムでは、 暗号化判別手段 によって、 配信サーバから受信端末へ配信する際、 符号化手段に対し、 メディア を暗号化するよう指示し、 暗号化の強度や暗号化のァルゴリズム自体を変更する ことによって、 メディァのサイズを調整することが可能となる。
本発明の第 1 3のメディア配信システムは、 上記の本発明の第 1から第 1 2の メディア配信システムのいずれかの構成の他に、 受信端末の性能を調べるために テスト用のメディアを保持し、 受信端末に対して該テスト用メディアを配信し、 受信端末からのエラーメッセージを受信し、 端末データベースに端末毎に再生不 可のメディアと記述して保存する端末性能評価手段を有している。
また、 本発明の第 1 3のメディア配信システムでは、 受信端末において、 バッ ファリング手段を介して取得した該テスト用メディアを再生し、 正常に再生でき なかった場合にエラーメッセージを配信サーバへ送付するテスト用メディア再生 手段を有している。
これによつて、 本発明の第 1 3のメディア配信システムでは、 端末性能評価手 段によって、 受信端末の性能を調べるためにテスト用のメディアを保持し、 受信 端末に対して該テスト用メディアを配信し、 受信端末からのエラーメッセージを 端末データベースに端末毎に再生不可のメディアと記述して保存することが可能 となる。
また、 本発明の第 1 3のメディア配信システムでは、 テスト用メディア再生手 段によって、 受信端末において、 バッファリング手段を介して取得した該テスト 用メディアを再生し、 正常に再生できなかった場合にエラーメッセージを配信サ ーバへ送付することが可能となる。本発明の第 1 3のメディァ配信システムでは、 これらの手段によって、 視聴可能なメディアの型が不明な新しい機種の受信端末 においても、 最適なメディアを配信することが可能となる。
本発明の第 1 4のメディア配信システムは、 上記の本発明の第 1から第 1 3の メディア配信システムのいずれかの構成の他に、 システム管理者があらかじめ定 めたルールでメディアを区切るための分割点を求めてメディアを時間軸で区切る メディア分割手段と、 システムの管理者があらかじめ定めた一定期間将来の帯域 変動を分割点毎に予測する帯域変動予測手段とを有している。
これによつて、 本発明の第 1 4のメディア配信システムでは、 メディア分割手 段によって、 特定のルールでメディアを区切ることが可能となる。 また、 本発明 の第 1 4のメディア配信システムでは、 帯域変動予測手段によって、 メディアの 区切りである分割点毎に予測することが可能となる。
本発明の第 1 5のメディア配信システムは、 上記の本発明の第 1 4のメディア 配信システムの構成の他に、 音声の無音領域や話者切り替わり、 音楽切り替わり 等のタイミングで音声を区切る音声分割手段を有している。
これによつて、 本発明の第 1 5のメディア配信システムでは、 音声分割手段に よって、 音声の無音領域や話者切り替わり、 音楽切り替わり等のタイミングで音 声を区切ることが可能となる。 本発明の第 1 5のメディア配信システムでは、 こ の手段によって、 音声の品質を変化させても、 品質が変化した瞬間のユーザの違 和感を最小限に抑えることが可能となる。
本発明の第 1 6のメディア配信システムは、 上記の本発明の第 1 4または第 1 5のメディア配信システムの構成の他に、 動画のカツトゃシーン切り替わり等の タイミングで動画を区切る動画分割手段を有している。
これによつて、 本発明の第 1 6のメディア配信システムでは、 動画分割手段に よって、 動画のカツトゃシーン切り替わり等のタイミングで動画を区切ることが 可能となる。 本発明の第 1 6のメディア配信システムでは、 この手段によって、 動画の品質を変化させても、 品質が変化した瞬間のユーザの違和感を最小限に抑 えることが可能となる。
本発明の第 1 7のメディア配信システムは、 上記の本発明の第 1 4から第 1 6 のメディア配信システムのいずれかの構成の他に、 音声の無音領域や話者切り替 わり、 音楽切り替わり等のタイミングと、 動画のカットやシーン切り替わり等の タイミングを照らし合わせ、 メディアの分割点としてどちらかのタイミングを採 用するか、 または両方のいずれのタイミングも採用するか、 または音声と動画を 異なったタイミングで分割するかをあらかじめサーバ管理者が定めたルールにし たがって決定し、 ユーザに違和感のないタイミングでメディアを区切る動画音声 分割手段を有している。
これによつて、 本発明の第 1 7のメディア配信システムでは、 動画音声分割手 段によって、 音声の無音領域や話者切り替わり、 音楽切り替わり等のタイミング と、 動画のカットやシーン切り替わり等のタイミングを照らし合わせ、 メディア の分割点としてどちらかのタイミングを採用する力、 または両方のいずれのタイ ミングも採用するか、 または音声と動画を異なったタイミングで分割するかを、 あらかじめサーバ管理者が定めたルールに従い決定し、 ユーザに違和感のないタ イミングでメディアを区切ることが可能となる。
本発明の第 1 7のメディア配信システムでは、 この手段によって、 メディアの 品質を変化させても、 品質が変化した瞬間のユーザの違和感を最小限に抑えるこ とが可能となる。
本発明の第 1 8のメディア配信システムは、 上記の本発明の第 1から第 1 7の メディア配信システムのいずれかの構成の他に、 受信端末から再生中のメディア の再生箇所を受け取り、 該再生箇所とメディアのタイ トルや内容を識別する I D とを保存し、 ユーザが受信端末で停止を指定した場合や、 通信障害で受信端末へ メディアを正常に配信できなかった場合、 正常に配信した最後の箇所を中断箇所 として保存する再生状況保存手段と、 ユーザが受信端末側で再度再生を指示した 段階で、 メディアの前記中断箇所から受信端末へと配信を始めるか、 ユーザが受 信端末で指定した任意の箇所から再生できるべく、 ユーザが指定した箇所から受 信端末へと配信を始めるように配信手段へと指示する再送制御手段とを有してい る。
また、 本発明の第 1 8のメディア配信システムでは、 受信端末に、 メディア再 生箇所を再生手段から取得して配信サーバに対して通知する再生箇所通知手段を 有している。
これによつて、 本発明の第 1 8のメディア配信システムでは、 再生状況保存手 段によって、 受信端末から再生中のメディアの再生箇所を受取り、 該再生箇所と メディアのタイ トルと内容を識別する I Dとを保存し、 ユーザが受信端末で停止 を指定した場合や、 通信障害で受信端末へメディアを正常に配信できなかった場 合等において、 正常に配信した最後の箇所を中断箇所として保存することが可能 となる。
また、 本発明の第 1 8のメディア配信システムでは、 受信端末における再生箇 所通知手段によって、 受信端末でどこまで正常にメディァを再生できたかを配信 サーバで把握することが可能となる。
さらに、本発明の第 1 8のメディァ配信システムでは、再送制御手段によって、 ユーザが受信端末側で再度再生を指示した段階で、 メディァの前記中断箇所から 受信端末へと配信を始めるか、 ユーザが受信端末で指定した任意の箇所から再生 するように、 ユーザが指定した箇所から受信端末へと配信を始めることが可能と なる。
本発明の第 1 8のメディア配信システムでは、 これらの手段によって、 通信障 害等で配信を受けられない場合でも、 通信障害が回復後、 正常に視聴できた時点 から再開することが可能となり、 ユーザが指定した任意の箇所からの再生が可能 となる。
本発明の第 1 9のメディア配信システムは、 上記の本発明の第 1 8のメディア 配信システムの構成の他に、 システムの管理者があらかじめ受信を許可する複数 の受信端末を登録しておく端末登録手段と、 受信端末で再生を中断した後、 これ まで再生していた受信端末とは異なる受信端末で再度の再生を指示した段階で、 その受信端末が端末登録手段に登録されている受信端末かどうかを調べ、 登録済 みの場合、 メディアの中断箇所から受信端末への配信を再開するように配信手段 に対して指示し、 未登録の場合、 要求した受信端末に対して不許可等のメッセ一 ジを表示させる端末識別手段とを有している。
これによつて、 本発明の第 1 9のメディア配信システムでは、 端末登録手段に よって、あらかじめ受信を許可する複数の受信端末を登録することが可能となる。 また、 本発明の第 1 9のメディア配信システムでは、 端末識別手段によって、 受 信端末で再生を中断した後、 これまで再生していた受信端末とは異なる受信端末 で再度の再生を指示した段階で、 その受信端末が端末登録手段に登録されている 受信端末かどうかを調べ、 登録済みの場合、 メディアの中断箇所かまたはユーザ が指定した任意の箇所から受信端末への配信を再開し、 未登録の場合、 要求した 受信端末に対して不許可等のメッセージを表示させることが可能となる。
本発明の第 1 9のメディア配信システムでは、 これらの手段によって、 ユーザ が表示デバイスを、 例えば携帯電話から P C (パーソナルコンピュータ) 等へ変 更した場合であっても、 同じコンテンツを引き続き視聴することが可能となる。 さらに、 本発明の第 1 9のメディア配信システムでは、 あらかじめ登録してある 端末情報から、端末毎に最¾なメディアをあらかじめ生成しておくことによって、 ユーザから要求があつた場合に即座に提供することが可能となる。
本発明の第 2 0のメディア配信システムは、 上記の本発明の第 1かち第 1 9の メディァ配信システムのいずれかの構成の他に、 通信障害等でメディアを配信で きなかった場合に備え、 配信できない場合に受信端末で何を表示するか、 サーバ 管理者があらかじめ定めたルールを障害対応ルールとして保存し、 この障害対応 ルールを受信端末へと送信し、 障害発生時に配信を停止するように配信手段に対 して指示する障害対応ルール保存手段を有している。
また、 本発明の第 2 0のメディア配信システムは、 受信端末に、 障害対応ルー ルにしたがって、 障害時にこれまで受信したメディァゃ障害時専用のメディアを 再生するように再生手段に対して指示する障害対応再生手段を有している。
これによつて、 本発明の第 2 0のメディア配信システムでは、 障害対応ルール 保存手段によって、 通信障害等でメディアを配信できなかった場合に備え、 配信 できない場合に受信端末で何を表示するか、 サーバ管理者があらかじめ定めたル ールを障害対応ルールとし、 この障害対応ルールを受信端末へと送信し、 障害発 生時に配信を停止するように配信手段に対して指示することが可能となる。
また、 本発明の第 2 0のメディア配信システムでは、 障害対応再生手段によつ て、 障害対応ルールにしたがって、 障害時にこれまで受信したメディアや障害時 専用のメディアを再生することが可能となる。
本発明の第 2 1のメディア配信システムは、 上記の本発明の第 1から第 2 0の メディァ配信システムのいずれかの構成の他に、 通信障害等でメディアを配信で きなかった場合に備え、 配信できない場合に受信端末で表示するメディアを予備 メディアとして準備し、 受信端末へと配信する予備メディア配信手段を有してい る。
また、 本発明の第 2 1のメディア配信システムは、 受信端末に、 予備メディア を受信し、 専用のバッファに保存する予備メディア保存手段と、 障害時に障害対 応ルールにしたがって予備メディアを表示する障害対応再生手段とを有している。 これによつて、 本発明の第 2 1のメディア配信システムでは、 予備メディア配 信手段によって、 通信障害等でメディアを配信できなかった場合に備え、 配信で きない場合に受信端末で表示するメディアを予備メディアとして準備し、 受信端 末へと配信することが可能となる。
また、 本発明の第 2 1のメディア配信システムでは、 予備メディア保存手段に よって、 受信端末において予備メディアを受信し、 専用のバッファに保存するこ とが可能となる。 それに加え、 本発明の第 2 1のメディア配信システムでは、 障 害対応再生手段によって、 障害時に障害対応ルールにしたがって予備メディアを 表示することが可能となる。
本発明の第 2 1のメディア配信システムでは、 これらの手段によって、 通信障 害で配信サーバからのメディァの配信が途絶え、 受信端末のバッファのメディア を全て再生済みの場合でも、 例えば予備メディアとして予告編やプレミア映像や 広告を表示することによって、ユーザに対して継続視聴を促すことが可能となる。 本発明の第 2 2のメディア配信システムは、 上記の本発明の第 1から第 2 1の メディア配信システムのいずれかの構成の他に、 配信サーバ内に、 受信端末の位 置や移動の具合を受信端末からプレゼンスとして取得するプレゼンス取得手段と、 一定期間将来の帯域変動を予測する際にプレゼンスも利用する帯域変動予測手段 とを有している。 また、 本発明の第 2 2のメディア配信システムは、 受信端末内 に、位置や移動の具合を配信サーバへ通知するプレゼンス通知手段を有している。 これによつて、 本発明の第 2 2のメディア配信システムでは、 プレゼンス取得 手段とプレゼンス通知手段とによって、 受信端末の位置や移動の具合から、 将来 の帯域変動の予測精度を高めることが可能となる。
本発明の第 2 3のメディア配信システムは、 上記の本発明の第 1から第 2 3の メディア配信システムのいずれかの構成の他に、 配信サーバ内に、 受信端末周囲 の気象条件や電磁環境等の物理環境を受信端末から受信環境として取得する受信 環境取得手段と、 一定期間将来の帯域変動を予測する際に、 受信環境も利用する 帯域変動予測手段とを有している。
また、 本発明の第 2 3のメディア配信システムは、 受信端末内に、 周囲の気象 条件や電磁環境等の物理環境を測定するセンサと、 前記物理環境を受信環境とし て配信サーバに通知する受信環境通知手段とを有している。 これによつて、 本発明の第 2 3のメディア配信システムでは、 受信環境取得手 段と受信環境通知手段とによって、 受信端末周囲の気象条件や電磁環境から、 将 来の帯域変動の予測精度を高めることが可能となる。
本発明の第 2 4のメディア配信システムは、 上記の本発明の第 1から第 2 3の メディア配信システムのいずれかの構成の他に、 配信サーバ内に、 受信端末から 現在実行中のプログラム種別と実行履歴を取得するタスク取得手段と、 あらかじ めシステムの管理者が指定したプロダラム種別の平均実行時間及び実行中のプロ グラム種別と、 実行履歴と、 端末リソース取得手段から得られた利用可能リソー スとを用いて一定期間将来に利用可能となるリソースを予測して将来リソースと する端末リソース予測手段と、 ビットレートを決定する際に、 利用可能リソース の代わりに将来リソースを利用するビットレート決定手段とを有している。また、 本発明の第 2 4のメディア配信システムは、 受信端末内に、 現在実行中のプログ ラム種別と実行履歴とを配信サーバへ通知するタスク通知手段を有している。 これによつて、 本発明の第 2 4のメディア配信システムでは、 タスク取得手段 とタスク通知手段と端末リソース予測手段とによって、 受信端末で将来利用可能 なメモリ容量や C P Uの空きやディスク容量等のリソースを元に、 受信端末にと つてより最適なメディアを配信することが可能となる。
本発明の第 2 5のメディア配信システムは、 上記の本発明の第 2 2から第 2 3 のメディア配信システムのいずれかの構成の他に、 配信サーバ内に、 受信端末の 現在の位置や移動の具合から一定期間将来の位置や移動の具合を予測して将来プ レゼンスとするプレゼンス予測手段と、一定期間将来の帯域変動を予測する際に、 プレゼンスに代わって将来プレゼンスを利用する帯域変動予測手段とを有してい る。
これによつて、 本発明の第 2 5のメディア配信システムでは、 プレゼンス予測 手段によって、受信端末の将来の位置や移動の具合を予測することが可能となり、 将来の帯域変動の予測精度を高めることが可能となる。
本発明の第 2 6のメディア配信システムは、 上記の本発明の第 2 3から第 2 5 のメディア配信システムのいずれかの構成の他に、 配信サーバ内に、 受信端末周 囲の現在の気象条件や電磁環境から一定期間将来の気象条件や電磁環境を予測し て将来受信環境とする受信環境予測手段と、 一定期間将来の帯域変動を予測する 際に受信環境に代わって将来受信環境を利用する帯域変動予測手段とを有してい る。
これによつて、 本発明の第 26のメディア配信システムでは、 受信環境予測手 段によって、 受信端末周囲の将来の気象条件や電磁環境を予測することが可能と なり、 将来の帯域変動の予測精度を高めることが可能となる。
本願は、 2007年 2月 28日出願の日本国特許出願 2007— 048271 を基礎とするものであり、 同特許出願の開示内容は全て本願に組み込まれる。

Claims

1 . 少なくとも映像及び音楽を含むメディアを配信する配信サーバと、 前記配信 サーバからネットワークを介して前記メディアを受信して再生する受信端末とか らなるメディァ配信システムであって、
前記配信サーバは、 前記受信端末の機種を示す端末情報を取得する端末情報取 得手段と、 前記端末情報をあらー一 Pかじめ保存する端末データベースと、 前記端末情 青
報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して 前記受信端末の処理能力及び対応メディァ形式を端末性能として判別する端末性 能判別手段と、 fir記受信端末から現在利用可能なメモリ容量と中央処理装置の空 き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取 囲
得する端末リソース取得手段と、 前記受信端末が接続している環境種別を接続環 境として判別する接続環境判別手段と、 現在の帯域を測定する帯域測定手段と、 接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間 将来の帯域変動を予測して将来帯域変動とする帯域変動予測手段と、 前記端末性 能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前 記受信端末でメディァが途切れずかつ前記メディァの品質が高品質を維持しつつ 将来に渡って急激に変動しないような最適なメディアのビットレートを決定する. ビットレート決定手段と、 前記最適なビットレートを達成するために最適な符号 化方法を選択して前記メディアを符号化する符号化手段と、 その符号化されたメ ディアを前記受信端末へ配信する配信手段とを有し、
前記受信端末は、 前記メディアをあらかじめ指定された時間分バッファに保存 するバッファリング手段と、 保存したメディアを再生する再生手段と、 前記バッ ファリング手段と前記再生手段とから現在利用可能なリソースを利用可能リソー スとして取得して前記配信サーバへ通知する端末リソース通知手段とを有するこ とを特徴とするメディァ配信システム。
2 . 前記配信サーバは、 あらかじめ定められた時間間隔を複数通り保持する時間 間隔保持手段を含み、 前記端末情報取得手段が、 前記時間間隔保持手段からの時間間隔で前記端末情 報を取得し、
前記端末性能判別手段が、 前記時間間隔保持手段からの時間間隔で前記端末性 能を判別し、
前記端末リソース取得手段が、 前記時間間隔保持手段からの時間間隔で前記利 用可能リソースを取得し、
前記接続環境判別手段が、 前記時間間隔保持手段からの時間間隔で前記接続環 境を判別し、
前記帯域変動予測手段が、 前記時間間隔保持手段からの時間間隔で前記将来帯 域変動を予測し、
前記ビットレート決定手段が、 前記時間間隔保持手段からの時間間隔で前記最 適なメディアのビットレートを決定することを特徴とする請求項 1記載のメディ ァ配信システム。
3 . 前記配信サーバは、 前記帯域変動予測手段で得られた帯域があらかじめ定め られた帯域のしきい値より小さくなるかどうかを監視しかつ当該しきい値より小 さくなると予測した場合に警告メッセージを送る帯域変動監視手段と、 前記警告 メッセージを受けた場合にあらかじめ定められた範囲において前記帯域測定手段 から得られる現在の帯域を越えない範囲で帯域が前記しきい値より小さくなる将 来期間のメディアデータを前記受信端末へ前もって配信するように前記配信手段 に指示しかつ前記受信端末に対してバッフアサイズを変更して前もつて配信した メディアを保存するように指示する先送り手段とを含み、
前記受信端末は、 前記先送り手段から指示を受けた場合にバッフアサイズを変 更するように前記バッファリング手段へ指示するバッファサイズ変更手段を含む ことを特徴とする請求項 1または請求項 2記載のメディア配信システム。
4 . 前記配信サーバは、 前記ビットレート決定手段が決定した最適なビットレー トを目標として動画のフレームサイズ、 フレームレート、 圧縮率、 色数、 階調数 を変更することで前記ビッ トレートを変更するように前記符号化手段へ指示する 動画符号化判別手段を含むことを特徴とする請求項 1から請求項 3のうちのいず れか記載のメディァ配信システム。
5 . 前記配信サーバは、 前記ビッ トレート決定手段が決定した最適なビッ トレー トを目標として動画のフレーム全体を一様な強度での平滑化、 前記フレームの部 分部分での平滑化の強度変更、 動きの激しさによる平滑化の強度変更のいずれか を行うことで前記メディアにおける際立った画質の低下を抑えたまま前記ビット レートを変更するように前記符号化手段へ指示する画像処理手段を含むことを特 徴とする請求項 1から請求項 4のうちのいずれ力記載のメディア配信システム。
6 . 前記配信サーバは、 前記ビットレート決定手段が決定した最適なビットレー トを目標として音声のサンプリングレート、 サンプルあたりのビット数、 周波数 帯域、 ステレオのチャンネル数を変更することで前記ビッ トレートを変更するよ うに前記符号化手段へ指示する音声符号化判別手段を含むことを特徴とする請求 項 1から請求項 5のうちのいずれか記載のメディァ配信システム。
7 . 前記配信サーバは、 前記ビッ トレート決定手段が決定した最適なビッ トレー トを目標として前記メディアのコーデック自体を変更して前記ビットレートを変 更するように前記符号化手段へ指示する符号化選択手段を含むことを特徴とする 請求項 1から請求項 6のうちのいずれか記載のメディァ配信システム。
8 . 前記配信サーバは、動画のフレームサイズ、 フレームレート、圧縮率、色数、 階調数、 平滑化の強度、 平滑化の強度のフレーム上の分布と、 音声のサンプリン グレート、 サンプルあたりのビット数、 周波数帯域、 チャンネル数と、 前記メデ ィァのコーデックについて組み合わせ毎に達成されるビットレートを記載したマ トリックスを保持するマトリックス保持手段と、 前記ビットレート決定手段が決 定した最適なビットレートと前記端末性能と前記帯域変動とに基づいて前記マト リックス保持手段から前記受信端末へ配信するメディァの最適な符号化方法を選 択して前記符号化手段へ指示する組み合わせ選択手段とを含むことを特徴とする 請求項 1から請求項 7のうちのいずれか記載のメディア配信システム。
9 . 前記配信サーバは、 前記ビッ トレート決定手段が決定した最適なビッ トレー トを目標として圧縮効率に影響のあるシーン内の人物及び物体の動きの激しさと 前記フレーム内の画像の複雑度と少なくともスポーツ番組を含む番組の内容を示 すコンテンツ種別とに基づいて前記マトリックス保持手段から前記受信端末へ配 信するメディアの最適な符号化方法を選択して前記符号化手段へ指示するシーン 判別手段を含むことを特徴とする請求項 8記載のメディア配信システム。
1 0 . 前記配信サーバは、 前記ビットレート決定手段が決定した最適なビットレ —トを目標として少なくともスポーツ番組を含む番組の内容を示すコンテンツ種 別とシーン内の人物及び物体の動きとに基づいて前記マトリックス保持手段から 前記受信端末へ配信するメディアの最適な符号化方法から複数の方法を符号化方 式候補として選択しかつあらかじめ定められた個数分の符号化方式候補のリスト を前記受信端末へ配信するとともに、 前記受信端末から指示された符号化方式に したがって符号ィヒ方法を前記符号化手段へと指示する組み合わせ推薦手段を含み、 前記受信端末は、 前記符号化方式候補を表示しかつユーザが選択した符号化方 式で符号化されたメディアを前記配信サーバへ送付する符号化候補選択手段を含 むことを特徴とする請求項 8記載のメディァ配信システム。
1 1 . 前記配信サーバは、 前記受信端末へ前記メディアを配信する際に前記符号 化手段に对して前記メディァへ誤り訂正信号を付加するよう指示しかつ誤り訂正 信号の強度を変更することで前記ビットレート決定手段が決定した最適なビット レートを目標として前記メディァのサイズを変更する誤り訂正符号化判別手段を 含むことを特徴とする請求項 1から請求項 1 0のうちのいずれか記載のメディァ 配信システム。
1 2 . 前記配信サーバは、 前記受信端末へ前記メディアを配信する際に前記符号 化手段に対して前記メディァを喑号化するよう指示しかつ前記暗号化の強度及び 前記暗号化のアルゴリズム自体のいずれかを変更することで前記ビットレート決 定手段が決定した最適なビットレートを目標として前記メディアのサイズを変更 する暗号化判別手段を含むことを特徴とする請求項 1から請求項 1 1のうちのい ずれか記載のメディァ配信システム。
1 3 .前記配信サーバは、前記受信端末の性能を調べるために複数のコーデック、 複数のフレームサイズ、 複数のフレームレートのテスト用のメディァを保持しか つ前記受信端末に対して当該テスト用メディアを配信するとともに、 前記受信端 末からのエラーメッセージを受信して端末毎に再生不可のメディア形式と記述し て前記端末データベースに保存する端末性能評価手段を含み、
前記受信端末は、 前記バッファリング手段を介して取得した前記テスト用メデ ィァを再生しかつ当該テスト用メディアが正常に再生できなかった場合にエラー メッセージを前記配信サーバへ送付するテスト用メディア再生手段を含むことを 特徴とする請求項 1から請求項 1 2のうちのいずれか記載のメディァ配信システ ム。
1 4 . 前記配信サーバは、 あらかじめ定められたルールで前記メディアを区切る ための分割点を求めて前記メディアを時間軸で区切るメディァ分割手段を含み、 前記帯域変動予測手段が、 あらかじめ定められた一定期間将来の帯域変動を前 記接続環境判別手段で得られた接続環境と前記帯域測定手段で得られた現在の帯 域とに基づいて前記分割点毎に予測して前記ビッ トレート決定手段へ通知するこ とを特徴とする請求項 1から請求項 1 3のうちのいずれか記載のメディァ配信シ ステム。
1 5 . 前記配信サーバは、 音声の無音領域と話者切替わりと音楽切替わりとを少 なくとも含むタイミングで音声を区切って前記帯域変動予測手段へ通知する音声 分割手段を含むことを特徴とする請求項 1 4記載のメディァ配信システム。
1 6 . 前記配信サーバは、 動画の力ットとシーン切替わりとを少なくとも含むタ ィミングで前記動画を区切って前記帯域変動予測手段へ通知する動画分割手段を 含むことを特徴とする請求項 1 4または請求項 1 5記載のメディア配信システム。
1 7 . 前記配信サーバは、 音声の無音領域と話者切替わりと音楽切替わりとを少 なくとも含む第 1のタイミングと、 動画のカツトとシーン切替わりとを少なくと も含む第 2のタイミングとを照合して前記メディァの分割点として前記第 1及び 第 2のタイミングのうちの少なくとも一方をあらかじめ定められたルールにした がって決定しかつユーザに品質的に違和感のないタイミングでビットレートを変 更するように前記メディアを区切って前記帯域変動予測手段へ通知する動画音声 分割手段を含むことを特徴とする請求項 1 4から請求項 1 6のうちのいずれか記 載のメディァ配信システム。
1 8 . 前記配信サーバは、 前記受信端末から再生中のメディアの再生箇所を受取 つて当該再生箇所と前記メディアのタイ トル及びその内容を識別する識別情報と を保存しかつ前記受信端末に対して正常に配信した最後の箇所を中断箇所として 保存する再生状況保存手段と、 前記受信端末側で再度再生が指示された段階でュ 一ザが指定した箇所から前記受信端末へと配信を始めるように前記配信手段へと 指示する再送制御手段とを含み、
前記受信端末は、 前記メディアの再生箇所を前記再生手段から取得して前記配 信サーバに対して通知する再生箇所通知手段を含むことを特徴とする請求項 1か ら請求項 1 7のうちのいずれか記載のメディア配信システム。
1 9 . 前記配信サーバは、 あらかじめ受信を許可する複数の受信端末を登録して おく端末登録手段と、 前記受信端末で前記メディアの再生を中断した後にこれま で再生していた第 1の受信端末とは異なる第 2の受信端末で再度の再生を指示し た段階で前記第 2の受信端末が前記端末登録手段に登録されている受信端末かど うかを調べかつ前記端末登録手段に登録済みの場合に前記メディァの中断箇所か ら前期第 2の受信端末への配信を再開するように前記配信手段に対して指示する とともに、 前記端末登録手段に未登録の場合に前記メディアの再生を要求した受 信端末に対して少なくとも不許可のメッセージを送信する端末識別手段とを含む ことを特徴とする請求項 1 8記載のメディア配信システム。
2 0 . 前記配信サーバは、 前記メディアを配信できなかった場合に前記受信端末 に所定のメディアを表示させるかがあらかじめ定められたルールを障害対応ルー ルとして保存しかっこの障害対応ルールを前記受信端末へと送信しておいて障害 発生時に前記メディアの配信を停止するように前記配信手段に対して指示する障 害对応ルール保存手段を含み、
前記受信端末は、 前記障害発生時に前記障害対応ルールにしたがって前記所定 のメディアを再生するように前記再生手段に対して指示する障害対応再生手段を 含むことを特徴とする請求項 1から請求項 1 9のうちのいずれか記載のメディア 配信システム。
2 1 . 前記配信サーバは、 前記メディアを配信できなかった場合に前記受信端末 に表示させるためのメディアを予備メディアとして、 前記帯域予測手段によって 推測された帯域が不十分となる前にあらかじめ前記受信端末に配信する予備メデ ィァ配信手段を含み、
前記受信端末は、 前記予備メディアを受信して専用のバッファに保存する予備 メディア保存手段と、 障害発生時に前記予備メディアを表示するように前記再生 手段に指示する障害対応再生手段とを含むことを特徴とする請求項 1から請求項 2 0のうちのいずれか記載のメディァ配信システム。
2 2 . 前記配信サーバは、 前記受信端末の位置及び移動の具合を前記受信端末か らプレゼンスとして取得するプレゼンス取得手段を含み、
前記受信端末は、 前記位置及び移動の具合を前記配信サーバへ通知するプレゼ ンス通知手段を含み、
前記帯域変動予測手段が、 一定期間将来の帯域変動を予測する際に前記プレゼ ンスを利用することを特徴とする請求項 1から請求項 2 1のうちのいずれか記載 のメディア配信システム。
2 3 . 前記配信サーバは、 前記受信端末周囲の気象条件及び電磁環境を少なくと も含む物理環境を前記受信端末から受信環境として取得する受信環境取得手段を 含み、
前記受信端末は、 前記物理環境を測定するセンサと、 前記物理環境を前記受信 環境として前記配信サーバに通知する受信環境通知手段とを含み、
前記帯域変動予測手段が、 一定期間将来の帯域変動を予測する際に、 前記受信 環境を利用することを特徴とする請求項 1から請求項 2 2のうちのいずれか記載 のメディア配信システム。
2 4 . 前記配信サーバは、 前記受信端末から現在実行中のプログラム種別と実行 履歴とを取得するタスク取得手段と、 あらかじめ指定されたプロダラム種別の平 均実行時間と前記現在実行中のプログラム種別と前記実行履歴と前記端末リソー ス取得手段にて得られた利用可能リソースとを用いて一定期間将来に利用可能と なるリソースを予測して将来リソースとする端末リソース予測手段を含み、 前記受信端末は、 前記現在実行中のプログラム種別と前記実行履歴とを前記配 信サーバへ通知するタスク通知手段を含み、
前記ビットレート決定手段が、 前記ビットレートを決定する際に前記利用可能 リソースの代わりに前記将来リソースを利用することを特徴とする請求項 1から 請求項 2 3のうちのいずれか記載のメディア配信システム。
2 5 . 前記配信サーバは、 前記受信端末の現在の位置及び移動の具合から一定期 間将来の位置及び移動の具合を予測して将来プレゼンスとするプレゼンス予測手 段を含み、
前記帯域変動予測手段が、 一定期間将来の帯域変動を予測する際に、 前記プレ ゼンスに代わって前記将来プレゼンスを利用することを特徴とする請求項 2 2か ら請求項 2 4のうちのいずれか記載のメディア配信システム。
2 6 . 前記配信サーバは、 前記物理環境から一定期間将来の物理環境を予測して 将来受信環境とする受信環境予測手段を含み、
前記帯域変動予測手段が、 一定期間将来の帯域変動を予測する際に、 前記受信 環境に代わって前記将来受信環境を利用することを特徴とする請求項 2 3から請 求項 2 5のうちのいずれか記載のメディア配信システム。
2 7 . 少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末 に配信する配信サーバ装置であって、
前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、 前記端末 情報をあらかじめ保存する端末データベースと、 前記端末情報取得手段で取得し た端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理 能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、 前記 受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容 量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース 取得手段と、 前記受信端末が接続している環境種別を接続環境として判別する接 続環境判別手段と、 現在の帯域を測定する帯域測定手段と、 接続している環境種 別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予 測して将来帯域変動とする帯域変動予測手段と、 前記端末性能と前記利用可能リ ソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディ ァが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に 変動しないような最適なメディアのビットレートを決定するビットレート決定手 段と、 前記最適なビットレートを達成するために最適な符号化方法を選択して前 記メディアを符号化する符号化手段と、 その符号化されたメディアを前記受信端 末へ配信する配信手段とを有することを特徴とする配信サーバ装置。
2 8 . 少なくとも映像及び音楽を含むメディァを配信する配信サーバと、 前記配 信サーバからネットワークを介して前記メディアを受信して再生する受信端末と からなるシステムに用いるメディア配信方法であって、
前記配信サーバが、 前記受信端末の機種を示す端末情報を取得する端末情報取 得処理と、 前記端末情報をあらかじめ保存する端末データベースと、 前記端末情 報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して 前記受信端末の処理能力及び対応メディァ形式を端末性能として判別する端末性 能判別処理と、 前記受信端末から現在利用可能なメモリ容量と中央処理装置の空 き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取 得する端末リソース取得処理と、 前記受信端末が接続している環境種別を接続環 境として判別する接続環境判別処理と、 現在の帯域を測定する帯域測定処理と、 接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間 将来の帯域変動を予測して将来帯域変動とする帯域変動予測処理と、 前記端末性 能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前 記受信端末でメディァが途切れずかつ前記メディァの品質が高品質を維持しつつ 将来に渡って急激に変動しないような最適なメディアのビットレートを決定する ビットレート決定処理と、
前記最適なビットレートを達成するために最適な符号ィヒ方法を選択して前記メデ ィァを符号化する符号化処理と、 その符号化されたメディァを前記受信端末へ配 信する配信処理とを実行し、
前記受信端末が、 前記メディアをあらかじめ指定された時間分バッファに保存 するバッファリング処理と、 保存したメディアを再生する再生処理と、 前記バッ ファリング処理と前記再生処理とから現在利用可能なリソースを利用可能リソー スとして取得して前記配信サーバへ通知する端末リソース通知処理とを実行する ことを特徴とするメディァ配信方法。
2 9 . 少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末 に配信する配信サーバ装置においてコンピュータに実行されるプログラムであつ て、
前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、 前記端末 情報をあらかじめ保存する端末データベースと、 前記端末情報取得処理で取得し た端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理 能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、 前記 受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容 量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース 取得処理と、 前記受信端末が接続している環境種別を接続環境として判別する接 続環境判別処理と、 現在の帯域を測定する帯域測定処理と、 接続している環境種 別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予 測して将来帯域変動とする帯域変動予測処理と、 前記端末性能と前記利用可能リ ソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディ ァが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に 変動しないような最適なメディアのビットレートを決定するビットレート決定処 理と、 前記最適なビットレートを達成するために最適な符号化方法を選択して前 記メディアを符号化する符号化処理と、 その符号化されたメディアを前記受信端 末へ配信する配信処理とを含むことを特徴とするプログラム。
PCT/JP2008/053888 2007-02-28 2008-02-27 メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム WO2008108379A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009502592A JPWO2008108379A1 (ja) 2007-02-28 2008-02-27 メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-048271 2007-02-28
JP2007048271 2007-02-28

Publications (1)

Publication Number Publication Date
WO2008108379A1 true WO2008108379A1 (ja) 2008-09-12

Family

ID=39738254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/053888 WO2008108379A1 (ja) 2007-02-28 2008-02-27 メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム

Country Status (2)

Country Link
JP (1) JPWO2008108379A1 (ja)
WO (1) WO2008108379A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087113A1 (ja) * 2009-01-27 2010-08-05 日本電気株式会社 配信システム、配信方法、サーバ装置、プログラム及びクライアント装置
JP2010199820A (ja) * 2009-02-24 2010-09-09 Kenwood Corp ネットワーク動画配信システム及び動画受信装置
WO2011030811A1 (ja) * 2009-09-14 2011-03-17 日本電気株式会社 配信システム、ゲートウェイ、配信方法及びプログラム
WO2011142311A1 (ja) * 2010-05-10 2011-11-17 日本電気株式会社 リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法
JP2012249005A (ja) * 2011-05-26 2012-12-13 Nippon Hoso Kyokai <Nhk> 映像伝送装置
JP2013520867A (ja) * 2010-02-19 2013-06-06 トムソン ライセンシング 移動体通信技術を使ってコンテンツ表示システムをプロビジョニングする方法およびシステム
JP2013207324A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 複数の画像圧縮方式が存在する環境における映像選択方法
JP5708494B2 (ja) * 2009-12-10 2015-04-30 日本電気株式会社 ゲートウェイ装置、中継方法、プログラム、フェムトシステム
KR20150121641A (ko) * 2014-04-21 2015-10-29 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
WO2015163750A3 (ko) * 2014-04-21 2015-12-23 삼성전자 주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
JP2016005264A (ja) * 2014-06-20 2016-01-12 船井電機株式会社 映像送信装置及び映像送信方法
JP2016506644A (ja) * 2012-11-30 2016-03-03 アルカテル−ルーセント Httpアダプティブストリーミング動画を受信するための方法およびクライアント装置
WO2016080482A1 (ja) * 2014-11-19 2016-05-26 日本電気株式会社 データ伝送装置およびデータ伝送方法
JP2016516323A (ja) * 2013-04-23 2016-06-02 ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. ストリーミングメディアデータを取得するための方法、デバイス、およびシステム
JP2017028705A (ja) * 2016-08-24 2017-02-02 ソニー株式会社 通信装置、通信方法およびプログラム
JP2017195582A (ja) * 2016-04-22 2017-10-26 株式会社リコー 通信装置、通信システム、及びプログラム
US10009646B2 (en) 2010-12-10 2018-06-26 Sony Corporation Image processing device, image reproduction device, and image reproduction system
WO2019059134A1 (ja) * 2017-09-22 2019-03-28 株式会社Nttドコモ 通信品質調整システム
WO2020158093A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 制御装置及び通信装置
JP2020161986A (ja) * 2019-03-26 2020-10-01 ミハル通信株式会社 伝送装置、伝送装置の制御方法、クロック生成装置、および、データ補間装置
US10848770B2 (en) 2017-12-22 2020-11-24 Fujitsu Limited Moving picture coding apparatus, moving picture coding method and recording medium on which program for moving picture coding is recorded
CN115379221A (zh) * 2022-10-25 2022-11-22 中诚华隆计算机技术有限公司 一种流媒体数据传输方法和系统
JP7565401B2 (ja) 2022-04-25 2024-10-10 アクシス アーベー 1つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するためのシステムおよび方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019546A1 (ja) * 2013-08-09 2015-02-12 パナソニックIpマネジメント株式会社 無線カメラシステム、センタ装置、画像表示方法、画像表示プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107539A (ja) * 1995-10-13 1997-04-22 Matsushita Electric Ind Co Ltd ビデオ選択再生システム
JP2003244695A (ja) * 2002-02-14 2003-08-29 Kddi Corp 映像情報伝送方式、それに用いられる装置およびプログラム
JP2004172830A (ja) * 2002-11-19 2004-06-17 Kddi Corp 動画像符号化ビットレート選択方式
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
JP2006060709A (ja) * 2004-08-23 2006-03-02 Mobile Hoso Kk 受信装置及び受信方法
JP2007043508A (ja) * 2005-08-03 2007-02-15 Sharp Corp コンテンツ再生装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107539A (ja) * 1995-10-13 1997-04-22 Matsushita Electric Ind Co Ltd ビデオ選択再生システム
JP2003244695A (ja) * 2002-02-14 2003-08-29 Kddi Corp 映像情報伝送方式、それに用いられる装置およびプログラム
JP2004172830A (ja) * 2002-11-19 2004-06-17 Kddi Corp 動画像符号化ビットレート選択方式
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
JP2006060709A (ja) * 2004-08-23 2006-03-02 Mobile Hoso Kk 受信装置及び受信方法
JP2007043508A (ja) * 2005-08-03 2007-02-15 Sharp Corp コンテンツ再生装置

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319739B2 (en) 2009-01-27 2016-04-19 Nec Corporation Delivery system, delivery method, server device, program, and client device
US8909809B2 (en) 2009-01-27 2014-12-09 Nec Corporation Delivery system, delivery method, server device, program, and client device
JP5494495B2 (ja) * 2009-01-27 2014-05-14 日本電気株式会社 配信システム、配信方法、サーバ装置、プログラム及びクライアント装置
WO2010087113A1 (ja) * 2009-01-27 2010-08-05 日本電気株式会社 配信システム、配信方法、サーバ装置、プログラム及びクライアント装置
JP2010199820A (ja) * 2009-02-24 2010-09-09 Kenwood Corp ネットワーク動画配信システム及び動画受信装置
JPWO2011030811A1 (ja) * 2009-09-14 2013-02-07 日本電気株式会社 配信システム、ゲートウェイ、配信方法及びプログラム
WO2011030811A1 (ja) * 2009-09-14 2011-03-17 日本電気株式会社 配信システム、ゲートウェイ、配信方法及びプログラム
US9178724B2 (en) 2009-12-10 2015-11-03 Nec Corporation Gateway apparatus, relay method, program, femto system
JP5708494B2 (ja) * 2009-12-10 2015-04-30 日本電気株式会社 ゲートウェイ装置、中継方法、プログラム、フェムトシステム
JP2013520867A (ja) * 2010-02-19 2013-06-06 トムソン ライセンシング 移動体通信技術を使ってコンテンツ表示システムをプロビジョニングする方法およびシステム
JPWO2011142311A1 (ja) * 2010-05-10 2013-07-22 日本電気株式会社 リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法
CN102893658A (zh) * 2010-05-10 2013-01-23 日本电气株式会社 远程移动通信系统、服务器设备和远程移动通信系统的控制方法
WO2011142311A1 (ja) * 2010-05-10 2011-11-17 日本電気株式会社 リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法
US10009646B2 (en) 2010-12-10 2018-06-26 Sony Corporation Image processing device, image reproduction device, and image reproduction system
US10869081B2 (en) 2010-12-10 2020-12-15 Sony Corporation Image processing device, image reproduction device, and image reproduction system
JP2012249005A (ja) * 2011-05-26 2012-12-13 Nippon Hoso Kyokai <Nhk> 映像伝送装置
JP2013207324A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 複数の画像圧縮方式が存在する環境における映像選択方法
JP2016506644A (ja) * 2012-11-30 2016-03-03 アルカテル−ルーセント Httpアダプティブストリーミング動画を受信するための方法およびクライアント装置
JP2016516323A (ja) * 2013-04-23 2016-06-02 ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. ストリーミングメディアデータを取得するための方法、デバイス、およびシステム
US10116572B2 (en) 2013-04-23 2018-10-30 Huawei Technologies Co., Ltd. Method, device, and system for acquiring streaming media data
KR102322036B1 (ko) 2014-04-21 2021-11-08 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
WO2015163750A3 (ko) * 2014-04-21 2015-12-23 삼성전자 주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
CN107210968A (zh) * 2014-04-21 2017-09-26 三星电子株式会社 用于在无线通信系统中发射和接收语音数据的装置和方法
US11887614B2 (en) 2014-04-21 2024-01-30 Samsung Electronics Co., Ltd. Device and method for transmitting and receiving voice data in wireless communication system
KR102420569B1 (ko) * 2014-04-21 2022-07-14 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
KR20210134282A (ko) * 2014-04-21 2021-11-09 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
KR20150121641A (ko) * 2014-04-21 2015-10-29 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
US10431234B2 (en) 2014-04-21 2019-10-01 Samsung Electronics Co., Ltd. Device and method for transmitting and receiving voice data in wireless communication system
CN113259058A (zh) * 2014-04-21 2021-08-13 三星电子株式会社 用于在无线通信系统中发射和接收语音数据的装置和方法
US11056126B2 (en) 2014-04-21 2021-07-06 Samsung Electronics Co., Ltd. Device and method for transmitting and receiving voice data in wireless communication system
KR20210048460A (ko) * 2014-04-21 2021-05-03 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
KR102244612B1 (ko) * 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
JP2016005264A (ja) * 2014-06-20 2016-01-12 船井電機株式会社 映像送信装置及び映像送信方法
WO2016080482A1 (ja) * 2014-11-19 2016-05-26 日本電気株式会社 データ伝送装置およびデータ伝送方法
US10623464B2 (en) 2014-11-19 2020-04-14 Nec Corporation Data transmission device and data transmission method
JP2017195582A (ja) * 2016-04-22 2017-10-26 株式会社リコー 通信装置、通信システム、及びプログラム
JP2017028705A (ja) * 2016-08-24 2017-02-02 ソニー株式会社 通信装置、通信方法およびプログラム
JPWO2019059134A1 (ja) * 2017-09-22 2020-12-03 株式会社Nttドコモ 通信品質調整システム
WO2019059134A1 (ja) * 2017-09-22 2019-03-28 株式会社Nttドコモ 通信品質調整システム
US11190839B2 (en) 2017-09-22 2021-11-30 Ntt Docomo, Inc. Communication quality adjusting system
JP6998020B2 (ja) 2017-09-22 2022-02-10 株式会社Nttドコモ 通信品質調整システム
US10848770B2 (en) 2017-12-22 2020-11-24 Fujitsu Limited Moving picture coding apparatus, moving picture coding method and recording medium on which program for moving picture coding is recorded
WO2020158093A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 制御装置及び通信装置
JP7311287B2 (ja) 2019-03-26 2023-07-19 ミハル通信株式会社 伝送装置および伝送装置の制御方法
JP2020161986A (ja) * 2019-03-26 2020-10-01 ミハル通信株式会社 伝送装置、伝送装置の制御方法、クロック生成装置、および、データ補間装置
JP7565401B2 (ja) 2022-04-25 2024-10-10 アクシス アーベー 1つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するためのシステムおよび方法
CN115379221A (zh) * 2022-10-25 2022-11-22 中诚华隆计算机技术有限公司 一种流媒体数据传输方法和系统
CN115379221B (zh) * 2022-10-25 2022-12-20 中诚华隆计算机技术有限公司 一种流媒体数据传输方法和系统

Also Published As

Publication number Publication date
JPWO2008108379A1 (ja) 2010-06-17

Similar Documents

Publication Publication Date Title
WO2008108379A1 (ja) メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム
US9338744B2 (en) Server initiated power mode switching in portable communication devices
US8949452B2 (en) System and method for progressive download with minimal play latency
EP2678988B1 (en) Media switching unit and method
US11206431B2 (en) Systems and methods for selecting an initial streaming bitrate
KR101982290B1 (ko) 적응적 스트리밍 서비스의 체감 품질 향상을 위한 콘텐츠 특성 기반 스트리밍 시스템 및 방법
CN102883152A (zh) 具有适应性的媒体流传输
KR20080074793A (ko) 미디어 서버 및 콘텐츠 스트리밍 방법
JP2004023732A (ja) データ送信装置、データ受信装置、データ送信方法及びデータ受信方法
US20080133744A1 (en) Multimedia data streaming server and method for dynamically changing amount of transmitting data in response to network bandwidth
JP5140952B2 (ja) コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ再生端末、プログラム、コンテンツ配信方法
JP5339007B1 (ja) コンテンツ配信システム
JP2011061533A (ja) コンテンツ配信システム、体感品質推定装置、方法、及び、プログラム
JP4222253B2 (ja) クライアント端末、ストリーミングサーバ及びストリーミング切り替え配信システム
JP2007318470A (ja) サーバ装置、送信順序決定方法およびコンテンツ配信システム
JP5792516B2 (ja) 情報再生端末、情報再生方法、およびプログラム
JP2017175597A (ja) 動画配信システム、配信サーバ、受信装置、及びプログラム
JP2004186793A (ja) ストリーミング配信装置、ストリーミング端末装置、ストリーミング配信システム、及びストリーミング配信方法
JP2004297117A (ja) 無線通信システム、無線通信システムにおける無線端末、動画像データ配信サーバ、および無線通信方法
KR100931344B1 (ko) Vod 스트리밍 서비스를 제공하는 방법과 그를 위한시스템, 서버 및 사용자 단말기
JP2008113226A (ja) 通信装置および通信方法
JP2008113225A (ja) 通信装置および通信方法
KR20140086801A (ko) 실시간 콘텐츠 트랜스코딩 방법, 장치 및 시스템, 및 실시간 콘텐츠 수신 장치 및 방법
CN115278308B (zh) 媒体流处理方法、装置、设备及存储介质
JP2005086401A (ja) データ送信方法、基地局および無線通信端末

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08721308

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2009502592

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08721308

Country of ref document: EP

Kind code of ref document: A1