JP4986243B2 - メディアストリームの階層数を制御する送信装置、方法及びプログラム - Google Patents

メディアストリームの階層数を制御する送信装置、方法及びプログラム Download PDF

Info

Publication number
JP4986243B2
JP4986243B2 JP2008175195A JP2008175195A JP4986243B2 JP 4986243 B2 JP4986243 B2 JP 4986243B2 JP 2008175195 A JP2008175195 A JP 2008175195A JP 2008175195 A JP2008175195 A JP 2008175195A JP 4986243 B2 JP4986243 B2 JP 4986243B2
Authority
JP
Japan
Prior art keywords
media stream
media
value
stream
quality event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008175195A
Other languages
English (en)
Other versions
JP2010016662A (ja
Inventor
秀昭 山田
中村　　元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008175195A priority Critical patent/JP4986243B2/ja
Priority to GB0911356A priority patent/GB2461391B/en
Priority to US12/496,877 priority patent/US8914532B2/en
Publication of JP2010016662A publication Critical patent/JP2010016662A/ja
Application granted granted Critical
Publication of JP4986243B2 publication Critical patent/JP4986243B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5087—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to voice services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H04L43/0835—One way packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0858—One way delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、階層符号化されたメディアストリームを配信する技術であって、そのメディアストリームの階層数を制御する送信装置、方法及びプログラムに関する。特に、端末におけるメディアストリームの品質維持を目的とし、ＲＴＰ／ＲＴＣＰパケットを用いた階層型ＩＰマルチキャストによるメディアストリーム配信システムに関する。
近年、端末がＩＰ(Internet Protocol)ネットワークに接続するためのアクセスネットワークについては、移動網又は固定網を問わず、データ転送速度が高速化されてきている。このようなアクセスネットワークの急速な普及に伴って、コアネットワークに「ＮＧＮ（New Generation Network、次世代ネットワーク）」を用いた、大規模なメディア配信サービスの構築が検討されている。ＮＧＮを用いることによって、メディアの種類や配信形態（ビジネスモデル）の多様化に即した、高品質且つ高安全性のメディア配信サービスが期待されている。
メディア配信サービスとは、ユーザによって所持される端末が、メディア配信サーバからメディアストリームを受信しつつ再生するサービスである。メディアストリームとは、リアルタイムに連続的に配信される音声又は映像のコンテンツデータである。従来、メディアストリームを受信しつつ再生する端末には、高性能なプロセッサ及び大容量のメモリを搭載する必要があった。
これに対し、端末の処理能力及びメモリ量に応じて、メディアストリームを再生することができるように、メディア配信サーバが、階層符号化されたメディアストリームを送信する技術がある。階層符号化とは、メディアストリームを複数の階層に分けて符号化し、異なる復号データを段階的に得る技術である。最初の層では、基本的な解像度のメディアデータを符号化し、次の層ではより高い解像度のメディアデータを符号化し、これら多層の符号化を実現する（例えばＭＰＥＧ２におけるプロファイルとレベルとの関係に基づく符号化がある）。例えば、音声／映像、可聴周波数帯域、解像度、色調等、メディア種別や各種品質尺度に応じて階層符号化される。
メディアストリームにおける全階層数Ｎは、音声メディア階層１＋映像メディア階層Ｍで表される。例えば、Ｎ＝２１本とすると、音声メディア階層１本＋映像メディア階層２０本で表される。
Ｎ ＝１ ＋ Ｍ
（２１本）＝１本＋（２０本）
メディア配信サービスにＮＧＮを用いた場合、送信装置と受信装置との間にあるネットワークのＩＰパケット転送状態が、常に計測される。メディアストリームの受信時に、品質劣化（例えば音声の途切れ又は画像の乱れ）が生じた際、ＩＰ網におけるメディアストリームの転送リソース又は転送レートが制御される。これによって、ＩＰパケットの品質劣化が防止される。
第１の従来技術として、メディア配信サーバが、複数の異なる転送レート毎のメディアストリームを蓄積し、端末が、その転送レートを選択する技術がある（例えば特許文献１参照）。
第２の従来技術として、端末又はネットワークシステムが、アクセスネットワークにおけるメディア・アクセス種別（ＭＡＣ(Media Access Control)レイヤの種別）に応じて、転送レートを制御する技術がある（例えば特許文献２参照）。
第３の従来技術として、端末が、受信したメディアデータの品質劣化状態をメディア配信サーバへ送信し、メディア配信サーバが、符号化レート又は送信レートを制御してそのメディアデータを送信する技術もある（例えば特許文献３参照）。この技術によれば、送信されるＩＰパケットのサイズと、そのパケットのロス率と、端末−メディア配信サーバ間の往復遅延時間とに基づいて、メディアデータを配信すべきＩＰパケットの転送レートを推定し且つ制御する。
第４の従来技術として、受信側となる端末で計測された品質劣化状態に応じて、階層符号化の階層数の増減を制御する技術もある（例えば非特許文献１参照）。この技術によれば、受信側となる端末自ら品質劣化度を確認し、そのメディアデータの受信を開始した端末から順に、その転送帯域のリソースを獲得する。
第５の従来技術として、逆に、送信側となる送信装置自らの判断で、階層符号化の階層数の増減を制御する技術もある（例えば非特許文献２参照）。
特開２００４−１３５０１７号公報 特開２０００−２９５２７６号公報 特開２００３−２９８６７７号公報 Xue Li, Sanjoy Paul, Mostafa H. Ammar,"Multi-session Rate Control for Layered Video Multicast, " in Proc.SPIE Multimedia Computing and Networking, vol. 3654, San Jose, CA, Jan. 1999,pp. 175-189. Kitae Nahm, Qing Li, C.-C. Jay Kuo,"Equation-based layered video multicast with explicit congestion notification,"in Proc. Global Telecommunications Conference, 2003. GLOBECOM '03. IEEE, vol.6,pp.3580- 3584.
第１の従来技術によれば、ネットワーク全体の混雑状態に関係なく、端末自らの判断のみにより、転送レートを選択する。そのために、ネットワーク全体として大幅な品質劣化が生じる可能性がある。また、各端末が、独立にＩ転送レートを選択することができるために、ネットワークの輻輳を、長期に増大させる可能性もある。
第２の従来技術によれば、１つの端末が複数のアクセスネットワークを選択的に用いる場合、アクセスネットワーク毎に制御スキームを備える必要がある。また、パケットロス補償などのアプリケーションレイヤの制御によって、ＭＡＣ(Media Access Control)レイヤ以下のレイヤに基づく制御結果と、ＩＰアプリケーションサービスの品質とが一致しない場合がある。
第３の従来技術によれば、端末が、メディア配信サーバへ送信する品質劣化状態情報のトラヒックの増加によって、メディア配信サーバの負荷増大と、ネットワークの輻輳増大とが生じる可能性がある。
第４の従来技術によれば、メディアデータの受信を開始した端末から順に、その転送帯域のリソースを獲得するので、端末間の公平性を維持することはできない。また、端末が階層数の増減制御を実行するために（特に階層数を減らす処理に時間を要する）、ネットワーク全体の輻輳に対する制御の追随性が悪くなる。
第５の従来技術によれば、送信装置は、全ての受信装置と通信する必要がある。また、送信装置が主体となったレート制御のために、送信装置が属するサブネットの中で、マルチキャストルータと送信ノードとの間のリンクが、ボトルネックリンクである場合、輻輳状態が悪化する。
更に、第４の従来技術と第５の従来技術とを組み合わせたとしても、個々のストリーム品質の把握と管理を行う必要がある。また、複数の優先転送処理を同時に実行する通信ノード装置について、フィルタリング処理のスケーラビリティ確保が困難となる。
従って、本発明は、通信品質に応じた、受信側端末で視聴するユーザの体感品質に基づいて、メディアストリームの階層数を制御する送信装置、方法及びプログラムを提供することを目的とする。
本発明によれば、階層符号化されたメディアストリームを送信するメディアストリーム送信装置において、
メディアストリームは、全本数Ｍに対するｍ（０〜Ｍ）本の映像メディア階層ストリームと、音声メディア階層ストリームとから構成されており、
宛先となる受信装置から、音声メディア階層ストリームにおける品質イベントを受信する品質イベント受信手段と、
品質イベントに基づいて主観評価値を算出する主観評価値算出手段と、
映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、主観評価値とに基づいて判定推定値を算出する判定推定値算出手段と、
判定推定値に基づいて、メディアストリームの階層数を制御する階層数制御手段と
を有することを特徴とする。
本発明のメディアストリーム送信装置における他の実施形態によれば、
品質イベントは、パケット損失率及び遅延時間／ジッタであり、
主観評価値は、パケット損失率及び遅延時間／ジッタに基づくＭＯＳ(Mean opinion score)値であり、
判定推定値は、割合値ｍ／ＭとＭＯＳ値との乗算値である
ことも好ましい。
本発明のメディアストリーム送信装置における他の実施形態によれば、
ＭＯＳ値は、パケット損失率及び遅延時間／ジッタを変数としたｎ次式によって算出され、ｎ次式の各項の係数は、品質評価対象とする符号化種別に応じて、主観評価値及び客観評価値に基づく基準ＭＯＳと、客観評価値群に対する非線形回帰モデルによって統計的に予め算出され推定ＭＯＳとの誤差が最小となるように決定されたものであることも好ましい。
本発明のメディアストリーム送信装置における他の実施形態によれば、
判定推定値、又は、該判定推定値に応じた判定フラグを、所定回数分だけ記録する判定推定値記録手段を更に有し、
階層数制御手段は、判定推定値記録手段に記録された過去の判定推定値又は判定フラグに応じて、メディアストリームの階層数を制御する
ことも好ましい。
本発明のメディアストリーム送信装置における他の実施形態によれば、
メディアストリームは、ＲＴＰ(Real-time Transport Protocol)を用いて送信されるものであり、
品質イベントは、音声メディアデータにおけるＲＴＰヘッダ情報及びＲＴＣＰ(RTP Control
Protocol)情報に基づいて計測され、且つ、ＲＴＣＰを用いて送信されるものであることも好ましい。
本発明によれば、前述したメディアストリーム送信装置は、通信ノード装置であって、メディア配信サーバから、メディアストリームを受信し且つ該メディアストリームをマルチキャストで端末へ送信する通信ノード装置であって、
端末から、音声メディア階層ストリームにおける品質イベントを受信し、
メディア配信サーバから、メディアストリームを受信し、
１つ以上の端末から受信した品質イベントに基づいて、メディア配信サーバから受信したメディアストリームの階層数を制御して、配下の端末全てへ送信する
ことを特徴とする。
本発明によれば、階層符号化されたメディアストリームを送信する送信装置におけるメディアストリーム送信方法において、
メディアストリームは、全本数Ｍに対するｍ（０〜Ｍ）本の映像メディア階層ストリームと、音声メディア階層ストリームとから構成されており、
宛先となる受信装置から、音声メディア階層ストリームにおける品質イベントを受信する第１のステップと、
品質イベントに基づいて主観評価値を算出する第２のステップと、
映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、主観評価値とに基づいて判定推定値を算出する第３のステップと、
判定推定値に基づいて、メディアストリームの階層数を制御する第４のステップと
を有することを特徴とする。
本発明によれば、階層符号化されたメディアストリームを送信する送信装置に搭載されたコンピュータを機能させるメディアストリーム送信プログラムにおいて、
メディアストリームは、全本数Ｍに対するｍ（０〜Ｍ）本の映像メディア階層ストリームと、音声メディア階層ストリームとから構成されており、
宛先となる受信装置から、音声メディア階層ストリームにおける品質イベントを受信する品質イベント受信手段と、
品質イベントに基づいて主観評価値を算出する主観評価値算出手段と、
映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、主観評価値とに基づいて判定推定値を算出する判定推定値算出手段と、
判定推定値に基づいて、メディアストリームの階層数を制御する階層数制御手段と
してコンピュータを機能させることを特徴とする。
本発明の送信装置、方法及びプログラムによれば、端末の通信品質に応じた、受信側端末で視聴するユーザの体感品質に基づいて、メディアストリームの階層数を制御することができる。
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
図１は、ネットワーク転送帯域に対する遅延時間／ジッタを表すグラフである。
図１（ａ）は、音声メディアデータ又は映像メディアデータ毎に、転送帯域（転送速度[bps]）に対する遅延時間／ジッタを表す。図１（ｂ）は、音声メディアデータについて、転送帯域が広い場合における遅延時間／ジッタを表す。図１（ｃ）は、音声メディアデータについて、転送帯域が狭い場合における遅延時間／ジッタを表す。尚、図１によれば、メディアデータについて、全階層数Ｎに対する映像メディア階層数Ｍは、一定であるとする。
図１によれば、転送帯域が広い（転送速度が速い）場合には、遅延時間／ジッタは小さいのに対し、転送帯域が狭くなるほど、遅延時間／ジッタが増加している。即ち、音声メディアデータにおける平均遅延時間／ジッタは、転送帯域が狭くなるほど、大きく変動することが理解できる。
映像メディア階層数Ｍが一定であるにも関わらず、音声メディアデータにおける遅延時間／ジッタの変動が大きくなってきた場合、そのネットワークの転送経路における輻輳度（混雑度）が増加していることを意味する。逆に、音声メディアデータにおける遅延時間／ジッタの変動が小さくなってきた場合、そのネットワークの転送経路における輻輳度が低下していることを意味する。本発明によれば、音声メディアデータにおける遅延時間／ジッタを観測することによって、そのネットワークの転送経路における輻輳度に応じて、映像メディア階層数を変化させることができる。これによって、メディアデータに対するユーザの体感品質を維持することができる。
図２は、本発明におけるメディアストリーム送信装置及び端末の機能構成図である。
メディアストリーム送信装置１は、メディア配信サーバの機能として、階層符号化されたメディアコンテンツを蓄積するメディアコンテンツ蓄積部１００と、パケット送受信部１０１と、マルチキャスト処理部１０２と、ＲＴＰ処理部１０３とを有する。パケット送受信部１０１は、トランスポートレイヤ以下の通信プロトコルを処理し、具体的には、トランスポートプロトコル処理部（ＵＤＰ／ＴＣＰ：User Datagram Protocol／Transmission Control Protocol）と、ＩＰ処理部と、網接続インタフェース部とから構成される。
ＲＴＰ処理部１０３は、メディアコンテンツ蓄積部３０から出力された階層符号化のメディアストリームを、ＲＴＰパケットに構成する。ＲＴＰパケットのメディアストリームは、マルチキャスト処理部１０２へ出力される。
マルチキャスト処理部１０２は、１つ以上の通信ノード装置及び端末に対して、ＲＴＰパケットをマルチキャストで送信する。マルチキャスト送信は、マルチキャストグループ識別子に基づいて実行される。尚、非マルチキャストのパケットについては、ユニキャストで送信される。
パケット送受信部１０１では、マルチキャスト処理部１０２から出力されたメディアストリームを、トランスポートプロトコル処理部によってＵＤＰパケットに構成する。また、ＩＰ処理部によって、ＩＰパケットに構成される。そして、そのＩＰパケットは、網接続インタフェース部から送信される。網接続インタフェース部は、無線又有線のアクセスネットワークに接続する物理レイヤ部である。
また、メディアストリーム送信装置１は、メディアストリーム制御サーバの機能として、ＲＴＣＰ処理（品質イベント受信）部１１３と、主観評価値算出部１１４と、判定推定値算出部１１５と、判定推定値記録部１１６と、階層数制御部１１７と、メディアストリーム制御部１１８とを更に有する。
ＲＴＣＰ処理部１１３は、その配下の端末２から、品質イベントを含むＲＴＣＰパケットを受信する。この品質イベントは、パケット損失率及び遅延時間／ジッタを含む。ＲＴＣＰ処理部１１３は、対応するストリームの情報（ＩＰアドレス、マルチキャストグループ識別子、サービス識別子）を識別した後、そのパケット損失率及び遅延時間／ジッタを、主観評価値算出部１１４へ通知する。
また、ＲＴＣＰ処理部１１３は、そのメディアストリーム送信装置１の配下に接続される全ての端末２から、品質イベントを収集し（積算処理）、最悪値となる品質イベントを選択する。この品質イベントを、制御対象ネットワークセグメントにおける代表値として、メディアストリームの階層数制御に用いる。
主観評価値算出部１１４は、品質イベントに基づいて主観評価値を算出する。ここで、主観評価値は、パケット損失率及び遅延時間／ジッタに基づくＭＯＳ(Mean opinion score)値である。ＭＯＳ値（ITU-T P.800参照）とは、電話の通話品質を評価する主観的方法であって、評価者が電話機によって聞いた音を５段階で評価した平均値である。ＭＯＳ値は、受話器から一方的に音声を聞いて判定する受聴ＭＯＳと、実際に会話して判定する会話ＭＯＳとがあるが、本発明によれば、受聴ＭＯＳであることが好ましい。
図３は、パケット損失率及び遅延ジッタに基づいてＭＯＳ値を算出するためのｎ次式を導出する概念図である。
ｎ次式は、例えば以下のような３次式であって、図３（ｂ）のようなグラフで表される。
ＭＯＳ値＝
ａ＋ｂｘ＋ｃｙ＋ｄｘ２＋ｅｙ２＋ｆｘｙ＋ｇｘ３＋ｈｙ３＋ｉｘｙ２＋ｊｘ２ｙ
ｘ：パケット損失率
ｙ：遅延ジッタ
ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ：係数
図３（ｂ）のグラフは、ｘ軸がパケット損失率であり、ｙ軸が遅延ジッタであり、ｚ軸がＭＯＳ値である。即ち、このグラフから、パケット損失率ｘ及び遅延ジッタｙを入力することによって、ＭＯＳ値を導出することができる。ここで問題となるのは、３次式の各項の係数を、どのように決定するかである。
図３（ａ）は、ｎ次式の各項の係数を導出するための概念図である。ｎ次式の各項の係数は、品質評価対象とする符号化種別に応じて、主観評価（ＭＯＳ）値及び客観評価（ＰＥＳＱ）値に基づく基準ＭＯＳと、客観評価値群に対する非線形回帰モデルによって統計的に予め算出され推定ＭＯＳとの誤差が最小となるように決定される。
ＰＥＳＱ値（ITU-T P.862参照）とは、音声品質を評価する客観評価値であり、符号化した音声品質の評価方法であるＰＳＱＭと、パケット損失率及び遅延時間／ジッタの影響を考慮したＰＡＭＳとを統合し、ＶｏＩＰ技術の音声品質の評価に最適化したものである。評価段階は、０〜４．５で評価される。ＭＯＳ値は、最も人間の感覚に近く評価できる方法であるが、評価者を必要とするために、ＭＯＳ値を数式から算出するための客観評価としてＰＥＳＱが考案された。
尚、前述の例では、非線形回帰モデルの次数を３次としているが、これに限定されるものではない。結局、精度追求と計算量とのトレードオフによって決定される。
判定推定値算出部１１５は、単にＭＯＳ値をそのまま判定推定値として用いることなく、映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、ＭＯＳ値とに基づいて判定推定値を算出する。具体的には、次式で表される。
判定推定値＝ ｍ／Ｍ × ＭＯＳ値
例えば、２９（ｍ）／３０（Ｍ）のときのＭＯＳ値と、１（ｍ）／３０（Ｍ）のときのＭＯＳ値とが同じであったとしても、判定推定値は大きく相違することとなる。即ち、２９／３０と１／３０とでは、その時のネットワーク経路における空きの転送帯域は、異なるものと判断できる。
判定推定値記録部１１６は、判定推定値、又は、その判定推定値に応じた判定フラグを、所定回数分だけ記録する。ここで、判定推定値と判定フラグとは、例えば以下の表１のような閾値判定の関係とする。
Figure 0004986243
以下の表２は、判定推定値記録部１１６に記録された、所定回数（ｋ回）分のテーブルを表す。
Figure 0004986243
表１によれば、現在のＴ回目から、過去にｋ回遡った（Ｔ−ｋ）判定フラグを保持している。ここで、過去ｋ回の判定フラグから（例えば○○×××や××○××のような履歴）、品質「↑」（向上）、「−」（変化無し）又は「↓」（劣化）を判定する。また、そのとき、階層数をどのように増減させたか「増加」、「−」又は「減少」も記録する。
階層数制御部１１７は、判定推定値に基づいて、メディアストリームの階層数を制御する。特に、判定推定値記録部１１６に記録された過去の判定推定値又は判定フラグに応じて、メディアストリームの階層数を制御する。その制御は、配下に接続される全ての端末２へ送信すべきメディアストリームの階層数に及ぶ。階層数の制御のために生成された制御イベントは、メディアストリーム制御部１１８へ通知される。尚、制御イベントは、配下の端末２の中で、マルチキャストグループ識別子及びサービス識別子毎に生成される。
尚、制御イベントは、階層数制御以外に、以下の制御情報を含むことも好ましい。
（１）メディアストリームにおけるＲＴＰパケット送信間隔、
（２）パケットロス補償部におけるパケットロス補償強度及び／又は補償アルゴリズム、
（３）符号化部における転送レート
（４）トランスポートパケット送受信部におけるＵＤＰ又はＴＣＰパケットに積載されるメディアフレーム数、
（５）同一コンテンツに対する同時接続ストリーム数
メディアストリーム制御部１１８は、制御イベントに基づいて、端末全てへ送信すべきメディアストリームの階層数を制御する。具体的には、メディアストリームの転送ポート番号の開閉制御である。本発明は、音声メディア階層ストリームの品質イベントに基づいて、メディアストリームの階層数が制御されることとなる。
前述したような、メディアストリーム送信装置に備えられるこれら機能構成部（パケット送受信部１０１における網接続インタフェースを除く）は、送信装置に搭載されたコンピュータを機能させるメディア配信用プログラムを実行させることによって実現される。
端末２は、メディア出力インタフェース部２０と、パケット送受信部２１（トランスポートプロトコル処理部、ＩＰ処理部、網接続インタフェース部）と、ＲＴＰ／ＲＴＣＰ処理部２３と、マルチキャスト処理部２２と、階層復号部２４と、メディアストリーム再生部２５と、品質イベント計測部２６と、サービス制御処理部２７と、品質イベント判定部２８とを有する。これら機能構成部（メディア出力インタフェース部２０と、パケット送受信部２１の網接続インタフェース部を除く）は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
パケット送受信部２１及びマルチキャスト処理部２２は、前述したメディアストリーム送信装置１のものと同様である。ＲＴＰ／ＲＴＣＰ処理部２３は、通信ノード装置１から送信された品質イベントを、ＲＴＣＰによって受信し、その品質イベントを品質イベント判定部２８へ出力する。また、ＲＴＰ／ＲＴＣＰ処理部２３は、通信ノード装置１から受信したメディアストリームを、ＲＴＰによって受信し、そのメディアストリームを階層復号部２４へ出力する。尚、ＲＴＰ／ＲＴＣＰ処理部２３は、ＲＴＰとＲＴＣＰとの間の同期を確認する。
階層復号部２４は、階層符号化されたメディアデータを復号して、統合されたメディアストリームを生成する。生成されたメディアストリームは、メディアストリーム再生部２５へ通知される。
メディアストリーム再生部２５は、サービス制御処理部２７の指示に応じて、メディアストリームを、メディア出力インタフェース部２０へ出力する。メディア出力インタフェース部２０は、例えばディスプレイ及びスピーカである。これによって、メディアストリームを受信しつつ再生することができる。
品質イベント計測部２６は、通信ノード装置１から受信しているメディアストリームにおける品質イベントを計測する。具体的には、ＲＴＰ／ＲＴＣＰ処理部２３におけるパケットの、例えばパケット損失率及び遅延時間／ジッタを計測する。品質イベント計測部２６は、音声メディアストリームに基づく品質イベントを計測する。計測された品質イベントは、ＲＴＰ／ＲＴＣＰ処理部２３へ出力される。
ＲＴＰ／ＲＴＣＰ処理部２３は、品質イベントをＲＴＣＰで構成する。そのＲＴＣＰパケットは、メディアストリーム送信装置１へ送信される。
サービス制御処理部２７は、品質イベント計測部２６から、品質イベントを受け取る。そして、サービス制御処理部２７は、その品質イベントに基づいて、メディアストリーム再生部２５を制御する。具体的には、メディアストリーム再生部２５におけるパケットロス補償処理又は再生速度制御処理などの制御が実行される。また、メディア出力インタフェース部２０における再生音量の調整、又は表示画面数の調整などの制御も実行される。
図３は、本発明における通信ノード装置の機能構成図である。
図３は、図２と比較して、メディア配信サーバの機能と、メディアストリーム制御の機能とを区分し、メディアストリーム制御の機能を通信ノード装置に搭載したものである。図３によれば、通信ノード装置１は、メディア配信サーバ３から、ＲＴＰに基づくメディアストリームを受信し且つそのメディアストリームをマルチキャストで端末２へ送信する。端末２から、音声メディア階層ストリームにおける品質イベントを受信し、メディア配信サーバ３から、メディアストリームを受信する。そして、通信ノード装置１は、１つ以上の端末から受信した品質イベントに基づいて、メディア配信サーバ３から受信したメディアストリームの階層数を制御して、配下の端末２全てへ送信する。
図４は、メディア配信サーバ及び通信ノード装置によってメディアデータを配信するシステムの構成図である。
図３の通信ノード装置１を用いることによって、図４のシステムを構成することができる。マルチキャストに対応したＩＰネットワークは、ツリー構造に配置された複数の通信ノード装置１によって構成される。これら通信ノード装置１は、通常、通信事業者によって運用される通信設備である。メディアストリームは、上位層の通信ノード装置から下位層の通信ノード装置へ向けて（階層型マルチキャスト）、送信される。
端末２は、アクセスネットワークを介して最下位層の通信ノード装置１に接続する。アクセスネットワークとしては、例えば携帯電話網、ＷｉＭＡＸ網、有線ブロードバンド網等がある。
通信ノード装置１は、配下の複数の端末２及び／又は通信ノード装置に対して、メディアストリームの階層数を制御して送信する。通信ノード装置１は、その階層数を制御するために、端末２における「品質イベント」を知る必要がある。本発明によれば、通信ノード装置１が、メディアストリームの階層数を制御するための要素となる「品質イベント」を即時に収集して特定することができる。
端末２におけるメディアストリームの通信品質を表す「品質イベント」は、パケット損失率及び遅延時間／ジッタである。尚、イベントとは、「事象」を意味するが、単に「情報」を意味するものとしてもよい。
図６は、本発明におけるメディアストリーム制御サーバ及びＩＰパケット転送装置の機能構成図である。
図６によれば、ＩＰパケット転送機能（パケット送受信部２０１、マルチキャスト処理部２０２、メディアストリーム制御部１０５）と、メディアストリーム制御機能（ＲＴＣＰ処理部１１３、主観評価値算出部１１４、判定推定値算出部１１５、判定推定値記録部１１６、階層数制御部１１７）とが、１つの通信ノード装置内に一体的に搭載されている。しかしながら、図６のように、ＩＰパケット転送装置（ＩＰパケット転送機能）１０と、メディアストリーム制御サーバ（メディアストリーム制御機能）１１とに、機能区分することもできる。これによって、既存のマルチキャストルータを、ＩＰパケット転送装置として用いることができる。即ち、メディア配信サーバ３からメディアストリームを受信したＩＰパケット転送装置２０に対し、メディアストリーム制御サーバ２１が、メディアの制御イベントを送信することにより、ＩＰパケット転送装置２０は、そのメディアストリームに対して階層制御を実行する。そして、ＩＰパケット転送装置２０は、制御に基づくメディアストリームを、端末２へ送信する。
他の実施形態として、上位層の通信ノード装置が、下位層の通信ノード装置に送信するメディアストリームの制御に用いることもできる。例えば、メディア配信サーバが７層のメディアストリームをメディア配信サーバにより近い上位層の通信ノード装置へ送信し、その上位層の通信ノード装置は、メディア配信サーバに対して自身より下位層の２つの通信ノード装置へ５層のメディアストリームを送信することもできる。また、第１の下位層の通信ノード装置は、その最下位層の通信ノード装置へ３層のメディアストリームを送信し、第２の下位層の通信ノード装置は、その最下位層の通信ノード装置へ５層のメディアストリームを送信することもできる。
また、端末２から送信される品質イベントは、最下位層から更に上位層の通信ノード装置１へ送信されるものであってもよい。これは、通信ノード装置１のＩＰパケット転送機能（ＩＰパケット転送装置）のパケットフィルタの設定によって、その転送範囲を制御することができる。上位層の通信ノード装置１へ送信されることによって、その上位層の通信ノード装置１が受信した最悪の品質イベントによってメディアストリームが制御されることとなる。
以上、詳細に説明したように、本発明の送信装置、方法及びプログラムによれば、端末の通信品質（パケット損失率及び遅延時間／ジッタ）に応じた、受信側端末で視聴するユーザの体感品質に基づいて、メディアストリームの階層数を制御することができる。
ユーザ体感品質に基づいてメディアストリームの階層数を制御することによって、ネットワーク転送品質の変動に即した品質のサービスを実現することができる。また、受信端末側の判断における階層制御では困難な、端末側メディア受信の公平性維持や、ネットワーク輻輳に対する制御の追随性向上を図ることもできる。更に、ネットワーク側に配置された通信ノード装置における制御によって、送信装置の判断における階層制御では困難な、端末増加に伴う送信側制御トラヒックの増加による輻輳の回避が容易となる。
更に、本発明によれば、メディアストリーム配信サービスを提供する際のネットワークトポロジに応じたメディアストリーム制御機能部（通信ノード装置）の配置によって、システムスケーラビリティの向上が期待できる。
前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
ネットワーク転送帯域に対する遅延時間／ジッタを表すグラフである。 本発明におけるメディアストリーム送信装置及び端末の機能構成図である。 パケット損失率及び遅延ジッタに基づいてＭＯＳ値を算出するためのｎ次式を導出する概念図である。 本発明における通信ノード装置の機能構成図である。 メディア配信サーバ及び通信ノード装置によってメディアデータを配信するシステムの構成図である。 本発明におけるメディアストリーム制御サーバ及びＩＰパケット転送装置の機能構成図である。
符号の説明
１ メディアストリーム送信装置、通信ノード装置
１０ ＩＰパケット転送装置
１００ メディアコンテンツ蓄積部
１０１ パケット送受信部
１０２ マルチキャスト処理部
１０３ ＲＴＰ処理部
１１ メディアストリーム制御サーバ
１１３ ＲＴＣＰ処理部、品質イベント受信部
１１４ 主観評価値算出部
１１５ 判定推定値算出部
１１６ 判定推定値記録部
１１７ 階層数制御部
１１８ メディアストリーム制御部
２ 端末
２０ メディア出力インタフェース部
２１ パケット送受信部
２２ マルチキャスト処理部
２３ ＲＴＰ／ＲＴＣＰ処理部
２４ 階層復号部
２５ メディアストリーム再生部
２６ 品質イベント計測部
２７ サービス制御処理部
３ メディア配信サーバ
３０ メディアコンテンツ蓄積部
３１ パケット送受信部
３２ マルチキャスト処理部
３３ ＲＴＰ処理部

Claims (8)

  1. 階層符号化されたメディアストリームを送信するメディアストリーム送信装置において、
    前記メディアストリームは、全本数Ｍに対するｍ（０〜Ｍ）本の映像メディア階層ストリームと、音声メディア階層ストリームとから構成されており、
    宛先となる受信装置から、前記音声メディア階層ストリームにおける品質イベントを受信する品質イベント受信手段と、
    前記品質イベントに基づいて主観評価値を算出する主観評価値算出手段と、
    前記映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、前記主観評価値とに基づいて判定推定値を算出する判定推定値算出手段と、
    前記判定推定値に基づいて、前記メディアストリームの階層数を制御する階層数制御手段と
    を有することを特徴とするメディアストリーム送信装置。
  2. 前記品質イベントは、パケット損失率及び遅延時間／ジッタであり、
    前記主観評価値は、前記パケット損失率及び遅延時間／ジッタに基づくＭＯＳ(Mean opinion score)値であり、
    前記判定推定値は、前記割合値ｍ／Ｍと前記ＭＯＳ値との乗算値である
    ことを特徴とする請求項１に記載のメディアストリーム送信装置。
  3. 前記ＭＯＳ値は、前記パケット損失率及び前記遅延時間／ジッタを変数としたｎ次式によって算出され、ｎ次式の各項の係数は、品質評価対象とする符号化種別に応じて、主観評価値及び客観評価値に基づく基準ＭＯＳと、客観評価値群に対する非線形回帰モデルによって統計的に予め算出され推定ＭＯＳとの誤差が最小となるように決定されたものであることを特徴とする請求項２に記載のメディアストリーム送信装置。
  4. 前記判定推定値、又は、該判定推定値に応じた判定フラグを、所定回数分だけ記録する判定推定値記録手段を更に有し、
    前記階層数制御手段は、前記判定推定値記録手段に記録された過去の判定推定値又は判定フラグに応じて、前記メディアストリームの階層数を制御する
    ことを特徴とする請求項１から３のいずれか１項に記載のメディアストリーム送信装置。
  5. 前記メディアストリームは、ＲＴＰ(Real-time Transport Protocol)及びＲＴＣＰ（RTP Control Protocol）を用いて送信されるものであり、
    前記品質イベントは、音声メディアデータにおけるＲＴＰヘッダ情報及びＲＴＣＰ情報に基づいて計測され、且つ、前記ＲＴＣＰを用いて送信されるものであることを特徴とする請求項１から４のいずれか１項に記載のメディアストリーム送信装置。
  6. 請求項１から５のいずれか１項に記載されたメディアストリーム送信装置は、通信ノード装置であって、メディア配信サーバからマルチキャストで送信された前記メディアストリームを受信し且つ該メディアストリームをマルチキャストで端末へ送信する通信ノード装置であって、
    前記端末から、前記音声メディア階層ストリームにおける品質イベントを受信し、
    前記メディア配信サーバから、前記メディアストリームを受信し、
    １つ以上の端末から受信した前記品質イベントに基づいて、前記メディア配信サーバから受信した前記メディアストリームの階層数を制御して、配下の前記端末全てへ送信する
    ことを特徴とする通信ノード装置。
  7. 階層符号化されたメディアストリームを送信する送信装置におけるメディアストリーム送信方法において、
    前記メディアストリームは、全本数Ｍに対するｍ（０〜Ｍ）本の映像メディア階層ストリームと、音声メディア階層ストリームとから構成されており、
    宛先となる受信装置から、前記音声メディア階層ストリームにおける品質イベントを受信する第１のステップと、
    前記品質イベントに基づいて主観評価値を算出する第２のステップと、
    前記映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、前記主観評価値とに基づいて判定推定値を算出する第３のステップと、
    前記判定推定値に基づいて、前記メディアストリームの階層数を制御する第４のステップと
    を有することを特徴とするメディアストリーム送信方法。
  8. 階層符号化されたメディアストリームを送信する送信装置に搭載されたコンピュータを機能させるメディアストリーム送信プログラムにおいて、
    前記メディアストリームは、全本数Ｍに対するｍ（０〜Ｍ）本の映像メディア階層ストリームと、音声メディア階層ストリームとから構成されており、
    宛先となる受信装置から、前記音声メディア階層ストリームにおける品質イベントを受信する品質イベント受信手段と、
    前記品質イベントに基づいて主観評価値を算出する主観評価値算出手段と、
    前記映像メディア階層ストリームにおける現在送信中の本数ｍの割合値ｍ／Ｍと、前記主観評価値とに基づいて判定推定値を算出する判定推定値算出手段と、
    前記判定推定値に基づいて、前記メディアストリームの階層数を制御する階層数制御手段と
    してコンピュータを機能させることを特徴とするメディアストリーム送信プログラム。
JP2008175195A 2008-07-04 2008-07-04 メディアストリームの階層数を制御する送信装置、方法及びプログラム Expired - Fee Related JP4986243B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008175195A JP4986243B2 (ja) 2008-07-04 2008-07-04 メディアストリームの階層数を制御する送信装置、方法及びプログラム
GB0911356A GB2461391B (en) 2008-07-04 2009-06-30 Adaptive control of layer count of layered media stream
US12/496,877 US8914532B2 (en) 2008-07-04 2009-07-02 Adaptive control of layer count of layered media stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008175195A JP4986243B2 (ja) 2008-07-04 2008-07-04 メディアストリームの階層数を制御する送信装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010016662A JP2010016662A (ja) 2010-01-21
JP4986243B2 true JP4986243B2 (ja) 2012-07-25

Family

ID=41008531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008175195A Expired - Fee Related JP4986243B2 (ja) 2008-07-04 2008-07-04 メディアストリームの階層数を制御する送信装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US8914532B2 (ja)
JP (1) JP4986243B2 (ja)
GB (1) GB2461391B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684786B2 (en) * 2003-08-26 2010-03-23 Nokia Corporation Method and system for establishing a connection between network elements
CN101180831A (zh) * 2005-05-24 2008-05-14 诺基亚公司 用于数字广播中分级传输/接收的方法和装置
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
WO2012021173A2 (en) 2010-08-12 2012-02-16 Net Power And Light Inc. System architecture and methods for experiential computing
US9172979B2 (en) 2010-08-12 2015-10-27 Net Power And Light, Inc. Experience or “sentio” codecs, and methods and systems for improving QoE and encoding based on QoE experiences
WO2012021174A2 (en) * 2010-08-12 2012-02-16 Net Power And Light Inc. EXPERIENCE OR "SENTIO" CODECS, AND METHODS AND SYSTEMS FOR IMPROVING QoE AND ENCODING BASED ON QoE EXPERIENCES
WO2012021902A2 (en) 2010-08-13 2012-02-16 Net Power And Light Inc. Methods and systems for interaction through gestures
CA2811419A1 (en) * 2010-09-20 2012-03-29 Vidyo, Inc. System and method for the control and management of multipoint conferences
US8429704B2 (en) 2010-10-21 2013-04-23 Net Power And Light, Inc. System architecture and method for composing and directing participant experiences
US8788867B2 (en) * 2011-01-07 2014-07-22 Anue Systems, Inc. Systems and methods for playback of detected timing events
US8850259B2 (en) 2011-01-07 2014-09-30 Anue Systems, Inc. Systems and methods for precise generation of phase variation in digital signals
JP5901175B2 (ja) * 2011-08-08 2016-04-06 アイキューブド研究所株式会社 コンテンツ処理装置、コンテンツ処理方法、およびプログラム
CN103379360B (zh) * 2012-04-23 2015-05-27 华为技术有限公司 一种视频质量评估方法和装置
US20140121794A1 (en) * 2012-10-31 2014-05-01 Nokia Corporation Method, Apparatus, And Computer Program Product For Providing A Personalized Audio File
US9035992B1 (en) 2013-04-08 2015-05-19 Google Inc. Bandwidth modulation system and method
JP6146127B2 (ja) * 2013-05-20 2017-06-14 日本電気株式会社 通信装置、通信方法および通信プログラム
RU2646391C2 (ru) * 2013-07-02 2018-03-02 Сони Корпорейшн Устройство поставки контента, способ поставки контента, программа, терминальное устройство и система поставки контента
JP5658809B2 (ja) * 2013-10-17 2015-01-28 日本電信電話株式会社 電話接続制御方法、及び電話接続制御システム
WO2016194478A1 (ja) * 2015-06-04 2016-12-08 日本電信電話株式会社 動画パラメータ選択装置、動画パラメータ選択方法、及びプログラム
GB2541733B (en) 2015-08-28 2019-02-13 Imagination Tech Ltd Bandwidth Management
US10097823B1 (en) * 2015-11-13 2018-10-09 Harmonic, Inc. Failure recovery for real-time audio and video encoding, decoding, and transcoding
CN105872594A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 实时码率调节方法、装置及服务端设备
CN107295286A (zh) * 2016-03-31 2017-10-24 掌赢信息科技（上海）有限公司 一种视频通话数据传输方法、系统、服务器和视频通话装置
JP6571623B2 (ja) * 2016-10-12 2019-09-04 日本電信電話株式会社 音響品質評価装置、音響品質評価方法、およびプログラム
CN107465947A (zh) * 2017-08-21 2017-12-12 广州多益网络股份有限公司 一种流媒体传输的动态码率的调节方法、装置及传输系统
US11277461B2 (en) * 2019-12-18 2022-03-15 The Nielsen Company (Us), Llc Methods and apparatus to monitor streaming media
EP4340243A1 (en) * 2021-05-26 2024-03-20 Samsung Electronics Co., Ltd. Electronic device for determining reception dimension, and operation method of electronic device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373855B1 (en) * 1998-03-05 2002-04-16 Intel Corporation System and method for using audio performance to control video bandwidth
JP2000295276A (ja) 1999-04-02 2000-10-20 Hitachi Ltd 通信制御システム
JP3796750B2 (ja) 2002-04-05 2006-07-12 ソニー株式会社 情報送信装置および方法、情報受信装置および方法、記録媒体、並びにプログラム
US20030236904A1 (en) * 2002-06-19 2003-12-25 Jonathan Walpole Priority progress multicast streaming for quality-adaptive transmission of data
JP2004135017A (ja) 2002-10-10 2004-04-30 Toshiba Corp 多数種ビデオ配信システム及び多数種ビデオ配信方法
GB0306296D0 (en) * 2003-03-19 2003-04-23 British Telecomm Data transmission
US8307284B2 (en) * 2004-03-26 2012-11-06 Ross Video Limited Method and system for automated control of audio and video sources and a final composite output thereof through a video switcher
JP2008513845A (ja) * 2004-09-23 2008-05-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声データを処理するシステム及び方法、プログラム要素並びにコンピュータ読み取り可能媒体
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
DE602006019762D1 (de) * 2005-11-04 2011-03-03 Univ Singapore Einrichtung und verfahren zum wiedergeben von audio-clips
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
CN101523916B (zh) * 2006-10-19 2013-01-16 艾利森电话股份有限公司 确定视频质量的方法
JP4698555B2 (ja) * 2006-11-17 2011-06-08 富士通株式会社 検出方法、検出装置及びコンピュータプログラム

Also Published As

Publication number Publication date
GB2461391A (en) 2010-01-06
GB2461391B (en) 2011-04-06
US8914532B2 (en) 2014-12-16
US20100005186A1 (en) 2010-01-07
JP2010016662A (ja) 2010-01-21
GB0911356D0 (en) 2009-08-12

Similar Documents

Publication Publication Date Title
JP4986243B2 (ja) メディアストリームの階層数を制御する送信装置、方法及びプログラム
US9998517B2 (en) System and method for end-to-end RTCP
US8295191B2 (en) Endpoint report aggregation in unified communication systems
US9178778B2 (en) System and method for end-to-end RTCP
Wan et al. Adaptive unequal protection for wireless video transmission over IEEE 802.11 e networks
US9282133B2 (en) Communicating control information within a real-time stream
US9600355B2 (en) Redundant encoding
US10616413B1 (en) System and method for distributing an agent interaction for evaluation based on the quality of service
Martinez-Yelmo et al. Fair quality of experience (qoe) measurements related with networking technologies
Li et al. Real‐Time QoE Monitoring System for Video Streaming Services with Adaptive Media Playout
Zhou et al. Availability-aware multimedia scheduling in heterogeneous wireless networks
Venkataraman et al. Quantifying video-QoE degradations of internet links
KR100619701B1 (ko) 무선 랜 상태 모니터링 방법
Strzęciwilk Performance analysis of VoIP data over IP networks
Farid et al. QoS analysis and evaluations: Improving cellular-based distance education
JP4973459B2 (ja) 通信システム、通信装置、制御パラメータ決定方法、及び、プログラム
Chhabra et al. Performance evaluation and delay modelling of VoIP traffic over 802.11 wireless mesh network
US20140348156A1 (en) Optimizing route selection based on transcoding
Sulovic et al. Dynamic codec selection algorithm for VoIP
JP4993310B2 (ja) メディアストリームの品質イベントを特定する方法、端末、通信ノード装置及びプログラム
JP2006080783A (ja) ユーザ体感品質監視装置および方法
Abar et al. How modeling QoE requirements using game theory
JP5122327B2 (ja) 移動端末へメディアストリームを配信するシステム
Bakhati et al. Modified quality video: transmission control protocol (TCP) friendly for controlling a congestion
OYAKHIRE Self-organizing remote broadcasting in rural areas using wireless ad-hoc networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120420

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120420

R150 Certificate of patent or registration of utility model

Ref document number: 4986243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees