JPWO2018180394A1 - 通信装置、メディア配信方法およびプログラム - Google Patents

通信装置、メディア配信方法およびプログラム Download PDF

Info

Publication number
JPWO2018180394A1
JPWO2018180394A1 JP2019509171A JP2019509171A JPWO2018180394A1 JP WO2018180394 A1 JPWO2018180394 A1 JP WO2018180394A1 JP 2019509171 A JP2019509171 A JP 2019509171A JP 2019509171 A JP2019509171 A JP 2019509171A JP WO2018180394 A1 JPWO2018180394 A1 JP WO2018180394A1
Authority
JP
Japan
Prior art keywords
line
data
bit rate
communication
media data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019509171A
Other languages
English (en)
Other versions
JP7136084B2 (ja
Inventor
浩一 二瓶
浩一 二瓶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018180394A1 publication Critical patent/JPWO2018180394A1/ja
Application granted granted Critical
Publication of JP7136084B2 publication Critical patent/JP7136084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385Channel allocation; Bandwidth allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5638Services, e.g. multimedia, GOS, QOS
    • H04L2012/564Connection-oriented
    • H04L2012/5642Multicast/broadcast/point-multipoint, e.g. VOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

ユーザ体感品質の高いメディア配信が可能な、通信装置、メディア配信システムおよびメディア配信方法を提供することを目的とする。通信装置(1)は、他の通信装置に複数の回線(3_1〜3_n)を介してメディアデータを配信する通信装置(1)であって、各回線(3)の通信品質を推定する通信品質推定部(11)と、各回線(3)の推定された通信品質から各回線(3)を使用した場合のユーザ体感品質を示す指標値を算出し、算出された指標値に基づいて、メディアデータのビットレートを決定するビットレート決定部(12)と、各回線(3)の推定された通信品質と決定されたビットレートとに基づいて、メディアデータのデータ量を各回線(3)に振り分けるデータ振り分け部(13)と、を備える。

Description

本発明は、通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体に関する。
近年、映像等のメディアデータを、ネットワークを介してリアルタイムに遠隔地へ配信する機会が増加している。多くの場合、例えば、インターネットや無線ネットワークなどの通信品質が保証されないネットワークが使用される。そのため、通信速度が低下すると、メディア品質劣化(例えば、映像の乱れや途切れなど)が発生する。そこで、通信速度に応じてメディアの品質を切り換えながら配信する技術が提案されている(例えば、非特許文献1および2)。
しかしながら、通信回線の速度が低い場合には、非特許文献1および2に開示されている技術を用いても高品質なメディア配信は実現できない。そのため、複数の通信回線を使用して、通信速度の合計値を向上させ、メディア品質向上を図る技術が提案されている(例えば、特許文献1)。
特許文献1では、クライアント装置が複数の通信インタフェースを含み、各インタフェースがダウンロードするコンテンツは相補的である(重複がない)。クライアント装置は、各通信インタフェースの利用可能なビットレート(通信速度)に基づいて要求ビットレートを決定し、複数のインタフェースを使用してコンテンツをダウンロードする。
特開2016−165134号公報
IETF Internet-Draft: HTTP Live Streaming draft-pantos-http-live-streaming-20 ISO/IEC 23009-1:2014 Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats
しかしながら、特許文献1に開示される技術では、各通信インタフェースの通信速度から要求ビットレートを決定しているが、ユーザ体感品質(QoE:Quality of Experience)を考慮していない。そのため、特許文献1に開示された技術では、ユーザ体感品質(QoE)が低下する可能性がある。
本発明はこのような問題を解決するためになされたものであり、ユーザ体感品質の高いメディア配信が可能な、通信装置、メディア配信システムおよびメディア配信方法を提供することを目的とする。
本発明の第1の態様にかかる通信装置は、他の通信装置に複数の回線を介してメディアデータを配信する通信装置であって、各回線の通信品質を推定する通信品質推定部と、前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、を備える。
本発明の第2の態様にかかるメディア配信システムは、送信装置と受信装置とを備え、前記送信装置から前記受信装置に複数の回線を介してメディアデータを配信するメディア配信システムであって、前記送信装置は、各回線の通信品質を推定する通信品質推定部と、前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、を備える。
本発明の第3の態様にかかるメディア配信方法は、他の通信装置に複数の回線を介してメディアデータを配信するメディア配信方法であって、各回線の通信品質を推定し、前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける。
本発明によれば、ユーザ体感品質の高いメディア配信を行うことが可能となる。
実施の形態の概要にかかる通信装置の構成例を示す構成図である。 実施の形態1にかかるメディア配信システムの一例を示す概略図である。 実施の形態1にかかる送信装置の一例を示す構成図である。 ビットレートとMOSの関係を示す図である。 メディアデータを振り分ける方法の一例を説明するための図である。 メディアデータを振り分ける方法の一例を説明するための図である。 実施の形態1にかかる送信装置の全体動作の一例を示すフローチャートである。 実施の形態1にかかるビットレート決定動作の一例を示すフローチャートである。 実施の形態1にかかる主回線と副回線の分類動作の一例を示すフローチャートである。 実施の形態1の変形例にかかるメディア配信システムの概略図である。 実施の形態1の変形例にかかるデータ振り分けの一例を説明する図である。 実施の形態2にかかるメディアデータの送信動作の一例を説明する図である。 実施の形態2の変形例にかかるメディアデータの送信動作の一例を説明する図である。 各回線に対する可用帯域の確率分布の一例を示す図である。 可用帯域と伝送遅延との関係を示す図である。 主回線に分類された各回線に割り当てるメディアデータのデータ量を決定するフローチャートである。 実施の形態4のビットレート決定動作を説明するための図である。 本開示の各実施の形態に係る通信装置または送信装置を実現可能な、コンピュータ(情報処理装置)のハードウェア構成を例示するブロック図である。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一の要素には、同一の符号を付し、重複する説明は省略される。
(実施の形態の概要)
実施の形態の説明に先立って、本実施の形態の概要を説明する。図1は、実施の形態の概要にかかる通信装置1の構成例を示す構成図である。通信装置1は、複数の回線(回線3_1〜3_n、nは2以上の任意の整数)を介して、図示しない他の通信装置に対して、メディアデータを配信する通信装置である。通信装置1は、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ等であってもよい。複数の回線3_1〜3_nは、有線であってもよく、無線であってもよく、有線と無線とが混在していてもよい。メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であってもよい。なお、以降の説明では、複数の回線(回線3_1〜3_n)を称して回線3と記載し、複数の回線(回線3_1〜3_n)のそれぞれを各回線3と記載することがある。
通信装置1は、通信品質推定部11と、ビットレート決定部12と、データ振り分け部13と、を備える。
通信品質推定部11は、通信装置1と他の通信装置との間の各回線3の通信品質を推定する。通信品質は、例えば、可用帯域、通信スループット等の通信速度、メディアデータの送信または受信に要する時間から算出された通信速度、配信するメディアデータの送信または受信に要する時間等であってもよい。
ビットレート決定部12は、通信品質推定部11が推定した各回線3の通信品質から、各回線3を使用した場合のユーザ体感品質を示す指標値を算出し、算出したユーザ体感品質を示す指標値に基づいて、配信するメディアデータのビットレートを決定する。ビットレート決定部12は、算出したユーザ体感品質を示す指標値が高くなるように、配信するメディアデータのビットレートを決定する。ユーザ体感品質を示す指標値は、例えば、ユーザ体感品質を表すQoE(Quality of Experience)、QoEの平均値であるMOS(Mean Opinion Score)等であってもよい。
データ振り分け部13は、通信品質推定部11が推定した各回線3の通信品質の推定結果と、ビットレート決定部12が決定したメディアデータのビットレートと、に基づいて、各回線3に振り分ける配信するメディアデータのデータ量を決定し、決定したデータ量を各回線3に振り分ける。
実施の形態にかかる通信装置1では、ビットレート決定部12は、通信品質推定部11が推定した各回線3の通信品質から、各回線3を使用した場合のユーザ体感品質を示す指標値を算出し、算出したユーザ体感品質を示す指標値に基づいて、配信するメディアデータのビットレートを決定する。そのため、実施の形態にかかる通信装置1によれば、ユーザ体感品質を考慮したメディア配信を行うことが可能となる。つまり、ユーザ体感品質が高いメディア配信を行うことが可能となる。
そして、データ振り分け部13が、通信品質推定部11が推定した各回線3の通信品質の推定結果と、ビットレート決定部12が決定したビットレートと、に基づいて、各回線3に配信するメディアデータのデータ量を決定する。また、上述したように、ビットレート決定部12は、算出した各回線3を使用した場合のユーザ体感品質を示す指標値が高くなるように、配信するメディアデータのビットレートを決定している。したがって、実施の形態にかかる通信装置1によれば、ユーザ体感品質の高いメディア配信を行うことが可能となる。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。図2を参照して、実施の形態1にかかるメディア配信システム100について説明する。図2は、実施の形態1にかかるメディア配信システム100の一例を示す概略図である。
メディア配信システム100は、送信装置2から複数の回線(回線3_1〜回線3_n)を介して、受信装置4に対してメディアデータを配信するシステムである。メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であってもよい。メディア配信システム100は、例えば、撮影した映像や音声を遠隔地へ配信するライブ映像配信システム、遠隔地間でコミュニケーションを取るためのテレビ会議システム、テレプレゼンスシステム、触覚や力覚情報を使用した遠隔作業システム等であってもよい。
メディア配信システム100は、メディアデータを配信する送信装置2と、回線3_1〜回線3_nと、送信装置2から配信されたメディアデータを受信する受信装置4と、を備える。
送信装置2および受信装置4は、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ等であってもよい。送信装置2は、実施の形態の概要における通信装置1に相当する。受信装置4は、実施の形態の概要における他の通信装置に相当する。回線3は、有線であってもよく、無線であってもよく、有線と無線とが混在していてもよい。回線3は、例えば、同一オペレータが提供する有線回線、異なるオペレータが提供する有線回線とモバイル回線との組み合わせ、同一オペレータの提供する複数のモバイル回線、異なるオペレータの提供するモバイル回線の組み合わせ、モバイル回線と公衆無線LAN(Local Area Network)との組み合わせ、2.4GHzと5GHzとの無線LANの組み合わせ等、いかなる組み合わせであってもよい。
次に、図3を参照して、送信装置2の構成例を説明する。図3は、実施の形態1にかかる送信装置2の一例を示す構成図である。送信装置2は、通信品質推定部11、ビットレート決定部12、データ振り分け部13、データ入力部14、符号化部15、および通信部16_1〜通信部16_nを備える。ここで、nは、2以上であり、回線3の数と等しい整数である。なお、以降、通信部16_1〜通信部16_nを称して通信部16と記載し、通信部16_1〜通信部16_nのそれぞれを各通信部16と称して記載することがある。
通信品質推定部11は、実施の形態の概要における通信品質推定部11に相当する。通信品質推定部11は、後述する通信部16_1〜16_nが取得する情報を基に、複数の回線3_1〜3_nの各々の通信品質を推定する。通信品質推定部11は、回線3_1〜3_nの各々の通信品質を推定すると、推定した回線3_1〜3_nの各々の通信品質を、後述するビットレート決定部12およびデータ振り分け部13に通知する。
ここで、通信品質の一例について説明する。通信品質は、例えば、単位時間当たりに通信可能なデータ量(bps:bit per second)であってもよく、この場合、具体的には可用帯域や通信スループット等の通信速度であってもよい。通信品質は、メディアデータの送信または受信に要する時間から算出された通信速度であってもよく、例えば、メディアデータが映像を含む場合には、受信装置4において算出した各映像フレームに対する「フレームサイズ÷当該フレームを構成するデータの受信に要した時間」であってもよい。または、受信装置4から送信される、送信装置2からのメディアデータを送信するメディアデータパケットを正常に受信したことを示す確認応答パケット(ackパケット)の受信時刻を用いて、「フレームサイズ÷当該フレームを構成するデータの受信に要した時間」を送信装置2で実施し、通信品質として用いてもよい。または、通信品質は、フレーム毎に算出した値はばらつきが大きい場合には、送信装置2または受信装置4において、指数平滑等のフィルタリング処理を行ってもよく、過大推定を防止するため、前記処理によって算出した値に係数(例えば、0.9など)を乗じた値を用いてもよい。または、通信品質は、メディアデータの送信または受信に要する時間等であってもよい。なお、本明細書においては、説明をする上で便宜的に、通信品質は、可用帯域として説明を行う。しかしながら、これに限定されるものではない。
ビットレート決定部12は、実施の形態の概要におけるビットレート決定部12に相当する。ビットレート決定部12は、通信品質推定部11が推定した各回線3の通信品質から、各回線3を使用した場合のユーザ体感品質を示す指標値を算出し、算出した指標値に基づいて、配信するメディアデータのビットレートを決定する。ビットレート決定部12は、算出したユーザ体感品質に関する指標値が高くなるように配信するメディアデータのビットレートを決定する。ユーザ体感品質を示す指標値は、例えば、ユーザ体感品質を表すQoE、QoEの平均値であるMOS等であってもよい。ビットレート決定部12は、配信するメディアデータのビットレートを決定すると、後述するデータ振り分け部13および符号化部15に決定したビットレートを通知する。
ここで、ビットレート決定部12が、配信するメディアデータのビットレートの決定の仕方について説明する。ビットレート決定部12は、MOSを基にメディアデータのビットレートを決定する。なお、ビットレートは、単位時間あたりのデータ量である。
例えば、メディア配信が映像配信である場合、ビットレートが上昇するほどQoEも上昇するが、ビットレートの上昇量とQoEの上昇量は非線形の関係であることが知られている。ビデオ会議のQoEを算出(推定)する手法として、ITU−T G.1070で規定されている手法が知られている。ITU−T G.1070で規定された手法では、映像のビットレート等の物理的に観測可能な情報から、QoEの平均値であるMOSを推定する。MOSは1から5までの数値であり、大きい値ほどQoEが高いことを表す。
図4は、ビットレートとMOSの関係を示す図であり、ITU−T G.1070のパラメータの中でビットレートのみを変化させた場合のMOSを示す図である。図4の横軸は、映像ビットレート[kbps]を表し、図の右に行くほどビットレートが高いことを意味する。図4の縦軸は、ITU−T G.1070で算出したMOS推定値であり、上に行くほどMOSが高い、つまり、QoEが高いことを意味する。図4において、曲線L1は、映像ビットレートとMOSの関係を表す曲線である。図4において、映像ビットレートが低い領域では、曲線L1の傾きが大きいことから、ビットレートを少し上昇させた場合でも、MOSが大きく向上する。すなわち、QoEが大きく向上する。一方、映像ビットレートが高い領域では、曲線L1の傾きは、ビットレートが低い領域と比較して小さく、ビットレートを上昇させたとしても、MOSはそれほど変化しない。
次に、送信装置2からメディアデータを送信する回線を複数使用した場合のQoEの向上量について説明する。例えば、送信装置2が2本の回線を介してメディアデータを受信装置4に配信するものとし、どちらの回線も可用帯域が100kbpsであるとする。この場合、図4に示すように、送信装置2が1本の回線を使用して100kbpsの映像を送信する場合、MOSは1.50となる。一方、送信装置2が2本の回線を使用して200kbpsの映像を送信する場合、MOSは2.01となり、2回線を使用する場合の方が1回線を使用する場合と比較してMOSが0.51向上する。
次に、送信装置2が2本の回線を介してメディアデータを受信装置4に配信するものとし、2本の回線の可用帯域がどちらも2000kbpsであると仮定する。送信装置2が1回線を使用して2000kbpsの映像を送信した場合、MOSは4.35となる。一方、送信装置2が2回線を使用して4000kbpsの映像を送信した場合、MOSは4.49となる。MOSの向上量は、2回線使用する場合の方が1回線を使用する場合と比較して0.14となる。そのため、MOSの向上量は、100kbpsの回線を2本使用した場合と比較して小さい。
また、送信装置2が2本の回線を介してメディアデータを受信装置4に配信するものとし、回線を2本使用して映像データを振り分けた場合、両方の回線で送信した映像データが全て受信されることにより映像データを再生することができる。換言すると、一方の回線で送信したデータが受信されたとしても、他方の回線で送信したデータが受信されないと映像データを再生することが出来ない。そのため、いずれか一方の回線で可用帯域が急激に低下すると、受信装置4において、送信装置2から送信した映像が再生までの遅延が増加することになる。
ここで、送信装置2に接続された回線3のうち、2つの回線、例えば、回線3_1および回線3_2を用いてメディアデータを配信するとする。この場合、回線3_1および回線3_2に対して、可用帯域が急激に低下する確率をそれぞれp1、p2とすると、少なくとも一方の可用帯域が急激に低下する確率は、p1+(1−p1)p2となる。p1およびp2は共に0以上1以下の範囲の数値であることから、回線3_1のみを使用して可用帯域が急激に低下する確率p1よりも大きくなる。つまり、回線を複数使用してメディアデータを配信する場合、可用帯域の低下によるメディア品質劣化の可能性が上昇する。したがって、複数回線を使用してビットレートを上昇させてもQoEがそれほど上昇しないのであれば、複数回線を使用しない方が好ましい可能性がある。上記説明は、メディアデータが例えば、映像データに限らず、音声データ等の他のメディアデータでも同様である。
そこで、本実施の形態におけるビットレート決定部12は、回線3_1〜3_nの各々に対して、当該回線をメディアデータの配信に使用した場合、当該回線を使用しなかった場合のMOSと比較してどれくらい向上するか(つまり、MOSの向上値)を算出する。つまり、ビットレート決定部12は、当該回線を使用した場合、どれくらいQoEが向上するかを算出する。そして、ビットレート決定部12は、当該回線を使用した場合のMOSの向上値を算出し、算出したMOSの向上値が、予め定められた閾値以上である場合には、当該回線をメディアデータの送信を主に行う主回線とし、MOSの向上量が予め定められた閾値未満の場合には当該回線を主回線の補助的な回線である副回線として分類する。
さらに、ビットレート決定部12は、全回線を主回線と副回線に分類した後、主回線に分類された全ての回線の可用帯域の合計値を、メディアデータのビットレートとして決定する。または、ビットレート決定部12は、主回線に分類された全ての回線の可用帯域の合計値に、例えば、0.9などの予め定められた係数を乗じた値を、メディアデータのビットレートとして決定してもよい。なお、より具体的なビットレートの決定動作については後述する。
図3に戻り、送信装置2の構成例について説明を続ける。データ振り分け部13は、実施の形態の概要におけるデータ振り分け部13に相当する。データ振り分け部13は、通信品質推定部11が推定した回線3_1〜3_nの各々の通信品質と、ビットレート決定部12が決定したビットレートと、に基づいて、後述する符号化部15により符号化されたメディアデータを回線3_1〜3_nにどのように振り分けるかを決定する。具体的には、データ振り分け部13は、配信するメディアデータのデータ量を回線3_1〜3_nに振り分ける。データ振り分け部13は、回線3_1〜3_nに振り分けるデータ量を決定すると、回線3_1〜3_nに対応した通信部16_1〜16_nに決定したデータ量分、配信するメディアデータを送信する。
ここで、データ振り分け部13が回線3_1〜3_nに送信するメディアデータの振り分けについて説明する。映像等のメディアデータの配信では、QoEはビットレートだけでなく、再生遅延にも依存する。再生遅延は、送信装置2の後述するデータ入力部14からメディアデータが入力され、受信装置4の図示しないデータ出力部から出力されるまでに要する時間である。QoEは再生遅延が短いほど高く、再生遅延が長くなるほど低下する。そのため、QoEを向上させるためには、再生遅延を最小化することが望ましい。例えば、配信するメディアデータが映像データであり、1フレームの映像データを回線3_1〜3_nに分割して送信した場合、受信装置4は当該フレームの全データの受信が完了するまで当該映像データの出力ができない。したがって、再生遅延を低減し、QoEを向上させるためには、回線3_1〜3_nの再生遅延の最大値を最小化することが望ましい。なお、再生遅延には、後述するデータ入力部14に入力されたメディアデータを送信装置2の内部で処理する処理遅延と、送信装置2から回線3_1〜3_nを介して受信装置4に送信するまでの伝送遅延と、を含む。本実施の形態では、伝送遅延を最小化することにより再生遅延を最小化する。
そこで、本実施の形態では伝送遅延を最小化するために、データ振り分け部13は、ビットレート決定部12が分類した主回線を用いて、受信装置4に送信するメディアデータを送信する。つまり、データ振り分け部13が主回線に分類された全ての回線を用いることで、伝送遅延、つまり、再生遅延を最小化し、MOSが高いメディア配信を可能とする。そのため、データ振り分け部13は、ビットレート決定部12が主回線に分類した回線を用いる。
そして、伝送遅延を最小化するために、データ振り分け部13は、主回線に分類された各回線3の可用帯域の比率と、主回線に分類された各回線3に振り分けるデータ量の比率とが一致するようにメディアデータのデータ量を振り分ける。
図5および図6は、データ振り分け部13がメディアデータを振り分ける方法の一例を説明するための図である。図5は、左から回線番号、各回線の可用帯域、回線3_1〜回線3_(回線番号)の合計可用帯域、回線3_1〜回線3_(回線番号)の合計可用帯域に対応するMOS、各回線の主回線または副回線の分類を表している。図6は左から、回線番号、各回線の可用帯域、各回線への割り当てデータ量を表している。図6の一番下には、送信装置2が受信装置4に送信するメディアデータの総データ量が記載されている。
図5に示すように、送信装置2から3つの回線、例えば、回線3_1〜回線3_3を介して、受信装置4にメディアデータを配信するものとし、ビットレート決定部12が、回線3_1および回線3_2を主回線とし、回線3_3を副回線として決定したとする。回線3_1の可用帯域は1000kbpsであり、回線3_2の可用帯域は600kbpsであるとすると、回線3_1と回線3_2との可用帯域の比率は1000:600=5:3の比率となる。データ振り分け部13は、配信するメディアデータ、例えば、映像フレームデータが、回線3_1と回線3_2とで5:3の比率になるように振り分ける。
次に、図6に示すように、例えば、送信装置2から受信装置4へ32000byteのメディアデータを配信すると仮定すると、データ振り分け部13は、回線3_1と回線3_2とを介して配信するメディアデータのデータ量が5:3となるように、つまり、回線3_1には20000byte、回線3_2には12000byteを割り当てる。
図3に戻り、送信装置2の構成例について説明を続ける。データ入力部14は、送信装置2が配信するメディアデータが入力される。メディアデータは、送信装置2の外部から入力されたメディアデータであってもよく、送信装置2で取得したメディアデータであってもよい。また、メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であり、これらを組み合わせたものでもよい。
メディアデータが映像を含む場合、送信装置2に内蔵されたカメラ等により取得された映像であってもよく、またはUSBやHDMI(登録商標)等のインタフェースで接続されたカメラから入力される映像であってもよい。当該映像は、例えば、数十ミリ秒から数百ミリ秒周期で1フレームごとに入力されてもよい。
メディアデータが音声を含む場合、送信装置2に内蔵されたマイク等から取得された音声であってもよく、またはUSB等のインタフェースで接続されたマイク等から入力される音声であってもよい。当該音声は、例えば、数キロヘルツから数十キロヘルツでサンプリングされた音声サンプルが、数ミリ秒から数百ミリ秒単位で入力されてもよい。
メディアデータがセンサ等の情報の場合には、送信装置2に内蔵されたセンサ等から取得されるセンサ情報であってもよく、またはUSB等のインタフェースで接続されたセンサ等から入力されるセンサ情報であってもよい。当該センサ情報は、例えば、数ミリ秒から数秒周期で入力されてもよい。
符号化部15は、データ入力部14から入力されたメディアデータを、ビットレート決定部12から通知されたビットレート(単位時間あたりのデータ量)になるように符号化(圧縮)する。
符号化部15は、データ入力部14に入力されるメディアデータが映像である場合、例えば、H.264やH.265等の符号化方式を用いてもよい。符号化部15は、データ入力部14に入力されるメディアデータが音声である場合、G.711、G.729、AMR(Adaptive Multi-Rate)−NB(Narrow Band)/WB(Wide Band)、AAC(Advanced Audio Coding)等の符号化方式を用いてもよい。符号化部15は、データ入力部14に入力されるメディアデータがセンサ情報である場合、情報の送信間隔や送信する情報の分解能等を制御する、または、直前に送信した値との差分のみを送信する等によって圧縮してもよい。これらの処理は、送信装置2の上で動作するソフトウェアで実行する他、専用のハードウェアが利用可能な場合には、ハードウェアを利用してもよい。
通信部16_1〜16_nは、それぞれ回線3_1〜3_nを介して受信装置4と通信を行う通信インタフェースである。通信部16_1〜16_nは、例えば、送信装置2に内蔵された通信インタフェースであってもよく、USB等により接続されることにより通信を可能とする通信インタフェースであってもよい。通信部16_1〜16_nは、例えば、有線LAN、無線LAN、LTE(Long Term Evolution)等の通信事業者が提供するモバイル回線等の通信インタフェースである。通信部16_1〜16_nは、同種の通信インタフェースであってもよく、異なる通信インタフェースの組み合わせであってもよい。
通信部16_1〜16_nは、通信品質推定部11が回線3_1〜3_nの通信品質を推定するための情報を取得し、通信品質推定部11に取得した情報を送信する。通信品質が、通信速度であり、例えば、可用帯域である場合、回線3_1〜3_nの可用帯域の情報を取得してもよい。また、通信品質が、通信速度であり、例えば、通信スループットである場合、回線3_1〜3_nに送信するデータ量から通信スループットを算出してもよい。または、通信品質が、通信速度であり、例えば、「フレームサイズ÷当該フレームを構成するデータの受信に要した時間」である場合、フレームサイズと時間を取得してもよく、受信装置4から上記算出結果を受信してもよく、確認応答パケットを受信する受信時刻を取得してもよい。または、通信品質が、メディアデータの送信または受信に要する時間等である場合、送信装置2が送信した時刻と、受信装置4から受信時刻とから算出してもよく、送信装置2が送信した時刻と、確認応答パケットを受信する受信時刻とから算出してもよい。
また、通信部16_1〜16_nは、データ振り分け部13から送信されたメディアデータを接続する各回線3を介して受信装置4に送信する。
続いて、図7〜図9を用いて、本実施の形態にかかる送信装置2の動作例を説明する。図7は、本実施の形態にかかる送信装置2の全体動作の一例を示すフローチャートである。図8は、本実施の形態にかかるビットレート決定動作の一例を示すフローチャートである。図9は、本実施の形態にかかる主回線と副回線の分類動作の一例を示すフローチャートである。
まず、図7を用いて、本実施の形態にかかる送信装置2の全体動作の一例を説明する。図7に示すように、データ入力部14は、メディアデータの入力を受け付ける(ステップS1101)。メディアデータが映像の場合には、送信装置2に内蔵されたカメラ等、またはUSBやHDMI(登録商標)等のインタフェースによって接続されたカメラ等から、例えば、1フレームごとに入力される。例えば、フレームレートが10の場合には、入力されるメディアデータは、100ミリ秒周期で入力されてもよく、フレームレートが33の場合には33.33...ミリ秒周期で入力されてもよい。また、メディアデータが音声や操作情報、センサ情報等の場合には、入力されるメディアデータは、送信装置2に内蔵されたマイクまたはセンサ等、または接続されたマイクまたはセンサ等から、例えば、20ミリ秒等の一定周期で入力されてもよい。
次に、符号化部15は、データ入力部14から入力されたメディアデータを符号化する(ステップS1102)。このとき、符号化部15は、ビットレート決定部12から指示されたビットレートになるようにパラメータ等を設定する。ビットレート決定部12が、例えば、ビットレートを1Mbpsと決定したとすると、1秒間に配信するデータ量の合計が1Mbitになるように符号化する。なお、ビットレート決定部12は、後述する図8に示すビットレート決定動作において、ビットレートを決定する。
次に、データ振り分け部13は、ビットレート決定部12から受け取ったメディアデータのビットレートと、通信品質推定部11から受け取った各回線3の通信品質を基に、符号化部15で符号化されたメディアデータを回線3_1〜3_nに対して、どのように振り分けるかを決定し、各回線3_1〜3_nに対応する通信部16_1〜16_nに送信する(ステップS1103)。
具体的には、データ振り分け部13は、ビットレート決定部12から受け取ったメディアデータのビットレートと、通信品質推定部11から受け取った各回線3の可用帯域を基に、各回線へ配信するデータ量を決定する。より具体的には、上述したように、データ振り分け部13は、ビットレート決定部12が分類した主回線を用いて、受信装置4に送信するメディアデータを送信する。さらに、データ振り分け部13は、主回線に分類された各回線3の可用帯域の比率と、主回線に分類された各回線3に振り分けるデータ量の比率とが一致するようにメディアデータのデータ量を振り分ける。
例えば、送信装置2が接続する回線数が2(例えば、回線3_1および回線3_2)であり、回線3_1と回線3_2とに振り分けるデータ量が400kbpsと600kbpsとして決定された場合、データ振り分け部13は、配信するメディアデータを回線3_1と回線3_2とに振り分けるメディアデータの比率が4対6となるようにデータを振り分ける。なお、データ振り分け部13は、各回線へ振り分けるデータ量を、後述する図8に示すビットレート決定動作において決定する。
通信部16_1〜16_nは、データ振り分け部13から受信したメディアデータを、回線3_1〜3_nを介して受信装置4に送信する(ステップS1104)。
送信装置2は、上記のステップS1101からステップS1104までの処理を行った後、メディアデータの送信が全て終了しているかを判定する(ステップS1105)。
メディアデータの送信が全て終了している場合(ステップS1105のYESの場合)、送信装置2は全ての処理を終了する。一方、メディアデータの送信が全て終了していない場合(ステップS1105のNOの場合)、送信装置2は、ステップS1101に戻り、ステップS1101〜ステップS1104までの処理を再度行う。例えば、配信するメディアデータが映像であり、30フレーム入力された場合、送信装置2が、30フレーム分の映像データの配信処理が完了していなければ(ステップS1105のNOの場合)、ステップS1101〜ステップS1104の処理を繰り返し実行する。一方、送信装置2が、30フレーム分の映像データの配信処理が完了している場合(ステップS1105のYES)、配信処理を終了する。
続いて、図8を参照して、本実施の形態にかかるビットレート決定動作の一例を説明する。ビットレート決定動作は、図7を用いて説明した動作とは独立して行う。ビットレート決定動作は、例えば、送信装置2の起動時に実行されてもよく、一定周期(例えば、1秒周期)で実行されてもよい。または、通信部16_1〜16_nが、回線3_1〜回線3_nのいずれかの通信品質が大きく変化したことを検知した際に、実行してもよい。または、起動時に実行され、一定周期で実行され、さらに、通信部16_1〜16_nが、回線3_1〜回線3_nのいずれかの通信品質が大きく変化したことを検知した際に、追加的に実行してもよい。
通信部16_1〜16_nは、接続する回線3_1〜3_nの情報を取得し、通信品質推定部11は、通信部16_1〜16_nからの情報を基に、回線3_1〜3_nの通信品質を推定する(ステップS1201)。
ビットレート決定部12は、通信品質推定部11で推定した通信品質を基に、最適なメディアデータのビットレートを決定する(ステップS1202)。具体的には、ビットレート決定部12は、後述する図9において説明する主回線と副回線との分類動作を実施することにより、回線3_1〜3_nを主回線と副回線とに分類する。そして、ビットレート決定部12は、回線3_1〜3_nのうち、主回線に分類された全ての回線の可用帯域の合計値を、メディアデータのビットレートとして決定する。または、ビットレート決定部12は、主回線に分類された全ての回線の可用帯域の合計値に、例えば、0.9などの予め定められた係数を乗じた値を、メディアデータのビットレートとして決定してもよい。
データ振り分け部13は、ビットレート決定部12から通知されたメディアデータのビットレートと、通信品質推定部11から通知された回線3_1〜3_nの通信品質と、に基づいて、各回線3_1〜3_nに振り分けるメディアデータのデータ量を決定する(ステップS1203)。具体的には、通信品質推定部11から通知された各回線3の通信品質が、例えば、各回線3の可用帯域である場合、データ振り分け部13は、ビットレート決定部12が分類した主回線に含まれる各回線3に対して、可用帯域の比率と、送信するメディアデータのデータ量の比率とが一致するように、配信するメディアデータのデータ量を決定する。
続いて、図9を参照して、本実施の形態にかかる主回線と副回線との分類動作の一例を説明する。図9に示す動作は、図8に示す動作のステップS1202およびステップS1203の詳細動作とも言える。図9に示す主回線と副回線との分類動作は、ビットレート決定部12が行う。図9を説明する上で、回線3_i(i=1,...,n)の可用帯域をbiとする。また、図9に示す動作例を説明する上で、便宜的に、b1≧b2≧・・・≧bnであるものとして説明を行う。つまり、各回線3の可用帯域が、回線3_1≧回線3_2≧・・・≧回線3_nであるものとして説明を行う。
まず、回線3_1〜3_nの各々を可用帯域の大きい順に並べる(ステップS1301)。具体的には、図9に示すように、回線3_1〜3_nの可用帯域b1〜bnを大きい順に並べ、b1≧b2≧・・・≧bnとする。
次に、可用帯域が最も大きい回線を主回線として分類する(ステップS1302)。図9に示す一例では、回線3_1の可用帯域b1が最も大きいことから、回線3_1は主回線に分類される。
次に、回線x(xはx≧2である整数)について、順に以下の処理を行う(ステップS1303〜ステップS1309)。具体的には、xを決定し(ステップS1303)、回線3_1〜回線3_x−1にメディアデータを振り分けた場合(映像ビットレートをb1+b2+・・・+bx−1とした場合)のQoEであるQ(x−1)を算出する(ステップS1304)。次に、回線3_1〜回線3_xにメディアデータを振り分けた(すなわち、ステップS1304で求めたQ(x−1)に回線3_xを加えた)場合のQoE(x)を算出する(ステップS1305)。
次に、回線3_xを加えることによるQoEの向上値を算出し、算出したQoEの向上値が予め定められた閾値Qth以上であるかを判定する(ステップS1306)。具体的には、QoEの向上値は、Q(x)−Q(x−1)をすることにより算出し、算出した値と所定の閾値Qthと比較して、閾値Qth以上であるかを判定する。
QoEの向上値が所定の閾値Qth以上である場合(ステップS1306のYESの場合)、回線3_xを主回線に分類する(ステップS1307)。そして、xをインクリメントして、つまり、xをx+1にして(ステップS1309)、ステップS1303に戻る。以降、回線3_1〜3_nの全てに対して同様の処理を行うか、ステップS1306のNOの場合に該当するか、のいずれかとなるまで上記処理を行う。
一方、QoEの向上値が、所定の閾値Qth未満である場合(ステップS1306のNOの場合)、回線3_xを副回線に分類し(ステップS1308)、ステップS1303〜ステップS1309の処理ループを抜ける。そして、回線3_x+1以降(つまり、回線3_x+1〜回線3_n)を副回線に分類し(ステップS1310)、本動作を終了する。
なお、上記動作のステップS1301において、回線3を可用帯域が大きい順に並び替える動作を行っている。これは、可用帯域が大きい回線を主回線とすることによりQoEの向上値が高いからである。そのため、上記動作は好適な動作といえる。しかしながら、これには限られず、上記動作のステップS1301において、可用帯域が大きい順に並び替えず、全ての回線3に対して、主回線および副回線の分類を行ってもよい。
ここで、図5を用いて、上記動作の具体例を説明する。前提として、送信装置2に接続されている回線は3つ(回線3_1〜回線3_3)であり、回線3_1の可用帯域を1000kbps、回線3_2の可用帯域を600kbps、回線3_3の可用帯域を300kbpsとする。また、ステップS1306の判定で用いる所定の閾値Qthを0.1とする。
まず、可用帯域の大きい順に並べる(ステップS1301)。その結果、回線3_1、回線3_2、回線3_3の順となる。次に、可用帯域が最も大きい回線を主回線に分類する(ステップS1302)。具体的には、回線3_1の可用帯域が最も大きいため、回線3_1を主回線に分類する。
次に、回線3_1の次に可用帯域が大きい回線である回線3_2に対して、つまり、x=2として(ステップS1303)、ステップS1304〜ステップS1309までの動作を行う。Q(1)を算出すると(ステップS1304)、図5に示すようにQ(1)=3.93となる。次に、Q(2)を算出すると(ステップS1304)、図5に示すようにQ(2)=4.27となる。
続いて、Q(2)−Q(1)を算出し、所定の閾値Qth以上であるかを判定する(ステップS1305)。Q(2)−Q(1)=0.34であり、所定の閾値Qthである0.1以上の値となることから(ステップS1306のYES)、回線3_2も主回線に分類される(ステップS1307)。
次に、x=3として(ステップS1309)、回線3_3に対しても同様の動作を行う。そうすると、図5に示すように、回線3_3のQ(3)は4.34であり、Q(2)は4.27であることから、Q(3)−Q(2)=0.07となりとなり、所定の閾値Qthである0.1未満となる(ステップS1306のNO)。そのため、回線3_3は副回線に分類される(ステップS1308)。全ての回線3_1〜3_3に対して、主回線と副回線との分類が終了すると、ビットレート決定部12は、ビットレートを主回線である回線3_1と回線3_2との可用帯域の合計値である1600kbpsと決定する。
以上、説明したように、本実施の形態では、送信装置2から受信装置4へ複数の回線3を介してメディアデータを送信する場合、通信品質推定部11が、各回線3の通信品質を推定する。ビットレート決定部12は、各回線3の通信品質からQoEを用いて、各回線3をメディアデータの送信を主に行う主回線と、補助的に行う副回線と、に分類する。そして、ビットレート決定部12が、主回線に分類された回線の通信品質(可用帯域)に基づいて、配信するメディアデータのビットレートを決定する。データ振り分け部13は、伝送遅延が最小となるように、つまり、QoEが高くなるように主回線に分類された各回線に振り分けるメディアデータのデータ量を決定する。そのため、本実施の形態にかかる送信装置2によれば、QoEを考慮して、メディアデータの送信を主に行う主回線を決定することが可能となる。さらに、データ振り分け部13は、主回線に分類された各回線に対して、可用帯域を考慮してメディアデータの振り分けを行う。つまり、可用帯域が大きい回線に対して、配信するメディアデータのデータ量を多くして、可用帯域が小さい回線にはデータ量を少なくする。そのため、本実施の形態にかかる送信装置2では、高いQoEを満たしつつ、通信品質の急激な低下時のメディア品質劣化を抑制することが可能となる。換言すると、ユーザ体感品質の高いメディア配信を行うことが可能となる。
また、本実施の形態にかかるメディア配信システムでは、上記の通り、ユーザ体感品質の高いメディア配信を行う送信装置2を含むシステムである。したがって、本実施の形態にかかるメディア配信システムについても同様にユーザ体感品質の高いメディア配信を行うことが可能となる。
(変形例)
第1実施形態にかかるメディア配信システム100に対して、以下のような変形を施してもよい。
<1>以上の説明では、送信装置2と受信装置4とは、それぞれ複数の回線3_1〜3_nと接続される形態であった。しかし、これに限定されるものではなく、図10に示すように、回線3の形態が異なってもよい。
図10は、実施の形態1の変形例にかかるメディア配信システム100の概略図である。図10に示すように、送信装置2が複数の回線3と接続され、複数の回線3が送信装置2と受信装置4との中途で集約され、受信装置4が単一回線32と接続されている構成であってもよい。また、送信装置2が単一回線に接続され、受信装置4が複数の回線に接続される構成でもよい。このように、実施の形態1にかかるメディア配信システム100は、送信装置2に接続される回線3は、複数存在する形態であってもよい。すなわち、送信装置2と受信装置4との論理的な回線が複数であればよい。なお、送信装置2が単一回線に接続される場合、通信部16は単一の通信部であってもよく、複数の論理的な回線に対応する複数の通信部であってもよい。なお、通信部16が、単一の通信部である場合、複数の回線の通信品質に関連する情報を取得する。
<2>また、送信装置2のデータ振り分け部13は、再生遅延を最小化する方法として、各回線3_1〜3_nの可用帯域の比率と同じになるように、映像データのフレームデータを振り分けることで説明した。しかしながら、これに限られず、各回線3の送信バッファに溜まっている未送信データ量を考慮して、メディアデータの振り分けを行ってもよい。具体的には、一般的に、通信部16は、データ振り分け部13から受け取ったデータを即時に送信することが出来ない場合があり、回線3に送出前のデータを一時的に格納する送信バッファを持っている。また、同様に、各回線3内に存在する図示しないルータ等の通信装置でもバッファリングされているデータが存在する。つまり、各回線3内のバッファリングされているデータ量と通信部16にバッファリングされているデータ量が存在する。
そこで、データ振り分け部13は、主回線に分類された各回線の可用帯域の比率と、主回線に分類された各回線に振り分けた場合のメディアデータの割り当てデータ量と当該回線内および当該回線に接続された通信部にバッファリングされているデータ量との合計値の比率と、が一致するように、メディアデータのデータ量を主回線に分類された各回線に振り分けてもよい。なお、割り当てデータ量とは、主回線に分類された各回線に割り当てた場合に予測されるデータ量である。
図11を参照して、実施の形態1の変形例にかかるデータ振り分けの一例を説明する。図11は、実施の形態1の変形例にかかるデータ振り分けの一例を説明する図である。図11は、左から回線番号、各回線の可用帯域、各回線のバッファリングデータ量、各回線に割り当てた場合の割り当てデータ量、送信データ量を表している。ここで、バッファリングデータ量は、各回線内および当該回線に接続された通信部にバッファリングされているデータ量の合計値である。また、割り当てデータ量は、主回線に分類された各回線に割り当てた場合に予測されるデータ量であり、送信データ量は、バッファリングデータ量と割り当てデータ量との合計データ量である。
図11に示すように、例えば、送信装置2は回線3_1〜回線3_3と接続され、回線3_1および回線3_2は主回線に分類されているものとする。回線3_1の可用帯域は1000kbpsであり、回線3_2の可用帯域は600kbpsであるものとし、回線3_2および通信部16_2にバッファリングされているバッファリングデータ量が2000バイトであり、送信装置2が送信する映像フレームは32000バイトであるものとする。図11に示す例では、回線3_1に21250バイト、回線3_2に10750バイトを割り当てると、各回線3の送信データ量の比率が5:3となる。つまり、回線3_1と回線3_2との可用帯域の比率と同じになることから、データ振り分け部13は、割り当てデータ量を各回線3に追加的に割り振ることになる。このようにすることにより、回線3_1および回線3_2からの送信は、バッファリングデータ量も含めて送信が同時に完了することになり、伝送遅延が最小となる。つまり、再生遅延が最小になり、実施の形態1と同様の効果が得られる。
(実施の形態2)
続いて、実施の形態2について説明する。実施の形態2は、実施の形態1の改良例である。実施の形態2は、送信装置2のデータ振り分け部13の構成が実施の形態1と異なる。なお、データ振り分け部13以外の構成については、実施の形態1と同様であることから、各構成の説明は割愛する。
データ振り分け部13は、実施の形態1では、副回線にはメディアデータを送信しない構成であった。一方、本実施の形態では、データ振り分け部13は、主回線を介して送信するデータのうちの一部のメディアデータを重複して副回線に分類された1つ以上の回線を介して送信する。換言すると、データ振り分け部13は、主回線のみならず、副回線に分類された1つ以上の回線にもメディアデータを振り分ける構成である。また、データ振り分け部13は、主回線に分類された各回線から送信するメディアデータのうちの一部のメディアデータを、主回線を介して送信するメディアデータの順序と異なる順序で副回線を介して送信する。
図12を参照して、データ振り分け部13が行う、メディアデータの振り分けの具体例について説明する。図12は、実施の形態2にかかるメディアデータの送信動作の一例を説明する図である。図12に示す一例では、送信装置2と受信装置4との間の回線は回線3_1〜回線3_3の3回線であり、回線3_1および回線3_2は主回線に分類され、回線3_3は副回線に分類されている。また、送信装置2から送信されるメディアデータは、映像データとし、1つの映像フレームはシーケンス番号1から8までの8個のパケットで構成されているとする。
図12に示すように、データ振り分け部13は、シーケンス番号1から5を回線3_1で送信し、シーケンス番号6から8を回線3_2で送信するようにメディアデータを振り分けているとする。本実施の形態では、データ振り分け部13は、これに加えて、回線3_1および回線3_2で送信したパケットの末尾から順に、つまり、主回線を介して送信したパケットと異なる順序で、副回線である回線3_3からも送信するように振り分けを行う。すなわち、データ振り分け部13は、回線3_1を介して送信された最後のパケットであるシーケンス番号8のパケットと、回線3_2を介して送信された最後のパケットであるシーケンス番号8のパケットと、を副回線である回線3_3から送信するようにメディアデータを振り分ける。
なお、図12に示す一例では、各主回線である回線3_1および回線3_2を介して送信した最後の1パケットのみを副回線である回線3_3から送信しているが、これに限定するものではなく、例えば、回線3_1を介して送信された最後から2番目のパケットであるシーケンス番号4のパケットも回線3_3から送信してもよい。この場合、回線3_3ではシーケンス番号8、5、4の順番で送信してもよい。
さらに、副回線が2つ以上存在する構成の場合、副回線に分類された全ての回線を用いて主回線を介して送信したパケットの一部を送信してもよく、副回線に分類された一部の回線を用いて主回線を介して送信したパケットの一部を送信してもよい。
このような構成により、例えば、主回線の可用帯域が、ある時間帯に急激に低下して、送信したパケットの一部が受信装置4に遅延して到着する場合でも、副回線で送信したパケットが受信装置4に到着することで受信装置4では、当該映像フレームを遅延が少ない状態で再生することが出来る。すなわち、データ振り分け部13は、主回線を介して送信されたパケットの一部を副回線から重複して送信することにより、映像が表示されるまでの遅延が低減される。したがって、本実施の形態にかかる送信装置2によれば、実施の形態1と比較して、さらにユーザ体感品質の高いメディア配信を行うことが可能となる。さらに、本実施の形態にかかるメディア配信システムについても同様に、実施の形態1と比較して、さらにユーザ体感品質の高いメディア配信を行うことが可能となる。
(変形例)
実施の形態2の送信装置2に対して、以下のような変形をしてもよい。
以上の説明では、送信装置2のデータ振り分け部13は、副回線を介して送信されるメディアデータを、主回線を介して送信されるメディアデータの冗長データとしてもよい。ここで、冗長データとは、送信装置2から送信されたメディアデータのうち、送信装置2から送信したが、受信装置4に到達せずにロスしたメディアデータを言う。
図13は、実施の形態2の変形例にかかるメディアデータの送信動作の一例を説明する図である。図13に示す一例では、回線3_3で送信しているパケットaとbは冗長パケットである。つまり、回線3_1および回線3_2を介して送信されたシーケンス番号1から8のパケットのうち、受信装置4には到達せずにロスが発生したパケットである。
このように、データ振り分け部13は、冗長パケットを送信することにより、受信装置4では既に受信したパケットと副回線を介して送信される冗長パケットとを組み合わせることにより、ロスしたパケットを復元することが可能となる。すなわち、このような構成とすることで、例えば、主回線の伝送エラー等によって、送信したパケットがロスした場合でも、副回線で送信した冗長パケットを受信し、ロスしたパケットを回復することが可能であるため、メディア品質劣化を抑制することが出来る。
さらに、データ振り分け部13が、副回線を介して冗長データを送信することにより、副回線の可用帯域を推定することが可能となる。そのため、副回線の可用帯域がある時間帯に上昇し、ビットレート決定部12が、当該副回線を主回線に切り替えることによりQoEが向上すると判断した場合、即座に副回線から主回線に切り換えることが出来る。したがって、このような構成によれば、実施の形態2と同様の効果が得られる。
(実施の形態3)
続いて、実施の形態3について説明する。実施の形態3は、実施の形態1の改良例である。本実施の形態では、送信装置2の通信品質推定部11およびデータ振り分け部13の構成が実施の形態1と異なる。なお、通信品質推定部11およびデータ振り分け部13以外の構成については、実施の形態1と同様であることから、各構成の説明は割愛する。
本実施の形態にかかる送信装置2の構成について説明する。
通信品質推定部11は、各回線3の可用帯域の確率分布を推定(予測)する。実施の形態1では、通信品質推定部11は、通信部16からの情報を基に、各回線3の可用帯域を推定していた。なお、実施の形態1では、通信部16が取得する情報は、確定した値となっていることから、通信品質推定部11は、確定値を用いて各回線3の通信品質を推定していた。一方、本実施の形態では、通信品質推定部11は、各回線3の可用帯域の確率分布を推定(予測)する構成となっている。
ここで、図14を用いて、通信品質推定部11が推定する、各回線3の可用帯域の確率分布について説明する。図14は、各回線3に対する可用帯域の確率分布の一例を示す図である。図14の横軸は回線3のうちの1つに対する可用帯域を表し、縦軸は確率密度を表している。各回線3の通信回線の速度の未来の確率分布は、曲線L2のように、ある可用帯域を平均値とする、正規分布になることが知られている。そこで、通信品質推定部11は、通信部16からの情報を基に、各回線3の可用帯域の確率分布、つまり、図14における曲線L2を推定する。
データ振り分け部13は、通信品質推定部11が推定した各回線3の可用帯域の確率分布に基づいて、送信するメディアデータのデータ量の振り分けを決定する。実施の形態1では、データ振り分け部13は、送信するメディアデータのデータ量を主回線に分類された各回線のデータ量の比率に応じて振り分けしている。一方、本実施の形態では、通信品質推定部11が推定した各回線3の可用帯域の確率分布に基づいて、送信するメディアデータのデータ量を主回線に割り振る構成となっている。
上述したように、送信装置2から送信したメディアデータの伝送遅延が小さい程、つまり、再生遅延が小さい程、QoEは高くなる。そこで、本実施の形態では、データ振り分け部13は、通信品質推定部11が推定した各回線3の可用帯域の確率分布に基づいて、伝送遅延の期待値が最小になるように、主回線として分類された各回線にメディアデータを振り分ける。
次に、図14〜図16を用いて、データ振り分け部13のメディアデータの振り分け方法について説明する。図15は、可用帯域と伝送遅延との関係を示す図である。図16は、主回線に分類された各回線に割り当てるメディアデータのデータ量を決定するフローチャートである。
図15は、メディアデータ、例えば、映像フレームのサイズが12.5KByteとした場合の通信回線の速度と当該回線の遅延時間との関係を表す図である。図15において、横軸は可用帯域を表し、縦軸は映像フレームの伝送に要する遅延時間を表している。各回線3の可用帯域と遅延時間との関係は、図15における曲線L3のように反比例する関係となっている。なお、図14と図15では、同一回線となっている。つまり、図14および図15を用いることで、可用帯域と確率密度と遅延時間との関係が求まる。ここで、遅延時間は、送信装置2から受信装置4までの間の回線3の伝送に要する伝送遅延と、送信装置2または回線3内に存在するルータ等の通信装置のキューで送信待ちをしている時間であるキューイング遅延の和となる。図15に示す例では、伝送遅延を0.02秒とし、キューイング遅延を送信するメディアデータのフレームサイズ÷可用帯域から算出している。
例えば、主回線に分類された回線が回線3_1〜3_nであり、回線3_p(p=1〜nの任意の整数、nは2以上の任意の整数)に対して、図14において可用帯域がcになる確率をf(c)とし、図15において可用帯域がcの場合の遅延時間をd(c)とすると、この回線3_pの遅延時間の期待値dE(p)は、関係式(1)のようになる。
Figure 2018180394
データ振り分け部13は、回線3_pに割り当てるデータ量をapとしたときの映像フレームサイズが関係式(2)を満たし、関係式(3)が最小となるa1〜anまでの組み合わせを求めることで、遅延時間の期待値が最小となるメディアデータのデータ量の振り分けを行うことが出来る。
Figure 2018180394
Figure 2018180394
上記問題の最適解を求める方法として、a1〜anのすべての組み合わせに対して遅延時間の期待値を算出し最小になるものを選択する全探索法により算出してもよく、近似解法を用いて遅延の期待値が最小になるa1〜anを求めてもよい。
本実施の形態では、演算量を考慮し、少ない演算量で最適解に近い組み合わせを求める近似解法を用いることで説明を行う。図16は、上記問題の最適解を求めるための近似解法の一例を説明するフローチャートである。この近似解法では、遅延時間の期待値が主回線である回線3_1〜3_nで可能な限り均等になるように、メディアデータのデータ量を徐々に増やしていくことにより決定する。
まず、データ振り分け部13は、回線3_1〜3_nの各々に割り当てるデータ量を0に初期化する(ステップS1401)。次に、データ振り分け部13は、回線3_1〜3_nに割り当てるデータ割り当て単位uを決定する(ステップS1402)。データ割り当て単位uは、送信装置2から送信されるフレームサイズをm等分することにより求まる値である。当該mを大きくするほど遅延時間の期待値が回線3_1〜3_nで均等に近づく。一方、当該mを大きくするほど、回線3_1〜3_nに割り当てる最適なデータ割当量を算出するための演算量が増加する。そのため、データ割り当て単位uおよびmの値は、送信装置2の処理能力により適宜選択される。なお、mは、例えば、10〜100の範囲の任意の値を設定してもよい。
データ振り分け部13は、送信装置2から送信されるメディアデータのデータ量であるフレームサイズをm等分し、m回のループ処理により、回線3_1〜3_nに割り当てるデータ量を決定する(ステップS1403〜ステップS1406)。具体的には、まず、データ振り分け部13は、1回目のループ処理を行うためにj=1とする(ステップS1403)。なお、jは1〜mまでの整数である。
次に、回線3_1〜3_nの割り当て量を、現在の値からデータ割り当て単位u分、増加させた場合の遅延時間の期待値を算出する(ステップS1404)。次に、回線3_1〜3_nのうち、ステップS1404において遅延時間の期待値が最小となる回線に、現在の値から割り当て単位u分、データ量を振り分ける(当該回線に割り当て量u増加させる)(ステップS1405)。次に、次のループ処理を行うために、jを1増加させる(ステップS1406)。以降、ステップS1406において、j=m+1となるまでステップS1403〜ステップS1406の動作を実行する。
ステップS1406において、j=m+1となった場合、ステップS1407に移行して、データ振り分け部13は、最終的に回線3_1〜3_nの割り当て量を出力する(ステップS1407)。そして、データ振り分け部13は、決定した割り当て量、つまり、メディアデータのデータ量を回線3_1〜3_nに割り当てる。
本実施の形態の効果を説明する。本実施の形態では、データ振り分け部13は、可用帯域予測値の確率分布に基づいて、遅延時間の期待値が最小になるように、メディアデータのデータ量の振り分けを行う。図15に示すように、遅延時間は可用帯域に反比例するため、可用帯域が低下すると遅延が急激に増加することになる。そのため、図14に示す確率分布において、確率密度関数の幅が広い回線、つまり、可用帯域の変動の大きな回線では、遅延時間の期待値が増加することになる。すなわち、このような回線では可用帯域の変動が大きく、可用帯域が低下することによりQoEの低下も大きくなってしまう。
そこで、本実施の形態では、データ振り分け部13は、遅延時間の期待値に基づいて、主回線に分類された各回線に振り分けるデータ量を決定することから、可用帯域の変動の大きな回線に振り分けられるデータ量は少なくなる。したがって、可用帯域の急激な低下時にも遅延の増加を抑えることができ、結果としてQoEが向上する。すなわち、本実施の形態にかかる送信装置2によれば、ユーザ体感品質の高いメディア配信を行うことが可能となる。さらに、本実施の形態にかかるメディア配信システムについても同様にユーザ体感品質の高いメディア配信を行うことが可能となる。
(変形例)
実施の形態3の送信装置2に対して、以下のような変形をしてもよい。
以上の説明では、データ振り分け部13は、主回線に分類された回線に割り振ることで説明をした。しかし、データ振り分け部13は、送信装置2に接続する全ての回線に対して、上記方法により配信するメディアデータのデータ量を振り分けることとしてもよい。このような構成としても、実施の形態3と同様の効果が得られる。
(実施の形態4)
続いて、実施の形態4について説明する。実施の形態4は、ビットレート決定部12の構成が実施の形態1〜3の構成と異なる。具体的には、本実施の形態では、ビットレート決定部12が行うビットレートの決定動作が、実施の形態1〜3と異なり、図8におけるステップS1202の動作が異なる。
そのため、本実施の形態では、ビットレート決定部12の構成について説明をし、ビットレート決定部12以外の構成については説明を割愛する。なお、データ振り分け部13が各回線へメディアデータの振り分けの仕方は、実施の形態1〜3のいずれの構成でもよい。
ビットレート決定部12は、実施の形態1〜3では、送信装置2から受信装置4までの間の回線3_1〜3_nを主回線と副回線に分類し、主回線に分類された全ての回線の可用帯域の合計値または当該合計値に予め定められる係数を乗じた値をビットレートとして決定することで説明を行った。一方、本実施の形態では、ビットレート決定部12は、回線3_1〜3_nの全てを主回線として分類する。そして、ビットレート決定部12は、回線3_1〜3_nの全ての可用帯域の合計値に対応するMOSから、予め定められる規定値分、MOSが低下するビットレートをビットレートとして決定する。
ビットレート決定部12がビットレート決定動作の具体例について、図17を参照して説明する。図17は、本実施の形態のビットレート決定動作を説明するための図である。図17は、左から順に、全回線の可用帯域の合計値、全回線の可用帯域の合計値に対するMOS、ビットレート決定部12が選択(決定)するビットレート、ビットレート決定部12が選択(決定)するビットレートに対するMOS、可用帯域の合計値と決定したビットレートとの差、を表している。
また、図17の上から順に、各項目の説明、およびビットレート決定動作の4つの例を示している。つまり、図17の上から2行目以降が、全ての回線の可用帯域の合計値が200kbps、1000kbps、5000kbps、20000kbpsの場合の例を示している。各ビットレートに対応するMOSは、図6の関係図より決定されるMOSである。
図17に示すように、ビットレート決定部12は、全ての回線3_1〜3_nの可用帯域の合計値に対応するMOSから、予め定められる規定値分低下するMOSに対応するビットレートを決定する。例えば、全ての回線の可用帯域の合計値が200kbpsであり、予め定められる規定値が0.1とする。この場合、対応するMOSは、図6より2.01となる。MOSが2.01より予め定められる規定値である0.1低下する1.91となるビットレートは、図6より180kbpsとなることから、ビットレート決定部12は、メディアデータのビットレートを180kbpsと決定する。
また、全ての回線の可用帯域の合計値が1000kbps、5000kbps、20000kbpsである場合も同様に、対応するMOSよりも予め定められる規定値0.1低下するビットレート、つまり、それぞれ、910kbps、2700kbps、4600kbpsをメディアデータのビットレートとして決定する。
図17において、一番右の列は、可用帯域の合計値と決定したビットレートとの差である。図17の下段ほど、可用帯域の合計値と決定したビットレートとの差は大きくなる。全ての回線の可用帯域(ビットレート)の合計値が小さい場合には、ビットレート決定部12が決定したビットレートを小さくするとMOSが大きく低下してしまうことから、全ての回線の可用帯域の合計値に近いビットレートが選択される。一方で、全ての回線の可用帯域(ビットレート)の合計値が大きい場合には、ビットレート決定部12が決定するビットレートを小さくしてもMOSの値はあまり低下しない。したがって、ビットレート決定部12は、決定するビットレートを低くして、可用帯域が低下しても影響を受けにくくする。すなわち、ビットレート決定部12は、ビットレート低下によるMOSの低下と可用帯域の低下によるMOSの低下の両方を考慮して、メディアデータのビットレートを決定することが可能となる。
続いて、本実施形態の効果を説明する。本実施の形態では、ビットレート決定部12は、上述したように、ビットレート低下によるMOSの低下と、可用帯域低下によるMOSの低下との両方を考慮して送信するメディアデータのビットレートを決定している。したがって、本実施の形態にかかる送信装置2によれば、結果としてQoEを向上させることができ、ユーザ体感品質の高いメディア配信を行うことが可能となる。さらに、本実施の形態にかかるメディア配信システムについても同様にユーザ体感品質の高いメディア配信を行うことが可能となる。
(他の実施の形態)
上述した実施の形態の概要における通信装置1および実施の形態1から実施の形態4における送信装置2は次のようなハードウェア構成を有していてもよい。図18は、本開示の各実施の形態に係る通信装置1または送信装置2を実現可能な、コンピュータ(情報処理装置)のハードウェア構成を例示するブロック図である。
図18に示すように、通信装置1および送信装置2は、通信回路101と、プロセッサ102と、メモリ103とを有する。
実施の形態の概要で説明した通信装置1の通信品質推定部11、ビットレート決定部12およびデータ振り分け部13は、プロセッサ102がメモリ103に記憶されたプログラムを読み込んで実行することにより実現される。なお、通信品質推定部11は、通信回路101によって実現されてもよい。
また、実施の形態1から実施の形態4で説明した送信装置2の通信部16_1〜16_nは、通信回路101によって実現される。また、実施の形態1から実施の形態4で説明した送信装置2の通信品質推定部11、ビットレート決定部12、データ振り分け部13、データ入力部14および符号化部15は、プロセッサ102がメモリ103に記憶されたプログラムを読み込んで実行することにより実現される。なお、通信品質推定部11は、通信回路101によって実現されてもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
また、上述した通信装置1および送信装置2の任意の処理は、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
他の通信装置に複数の回線を介してメディアデータを配信する通信装置であって、
各回線の通信品質を推定する通信品質推定部と、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、
を備える通信装置。
(付記2)
前記通信品質は、通信速度であり、
前記ビットレート決定部は、前記算出された指標値に基づいて、前記各回線を前記メディアデータの送信を主に行う主回線と前記メディアデータの送信を補助的に行う副回線とに分類し、前記主回線に分類された全回線の通信速度の合計値または前記合計値に予め定められた係数を乗じた値を前記メディアデータのビットレートとして決定する、
付記1に記載の通信装置。
(付記3)
前記ビットレート決定部は、前記各回線に対して、該回線を使用する場合の前記指標値の向上値を算出し、前記算出された前記指標値の向上値が、所定の閾値以上である場合、該回線を主回線に分類し、所定の閾値未満である場合、該回線を副回線に分類する、
付記2に記載の通信装置。
(付記4)
前記データ振り分け部は、前記主回線に分類された各回線の前記通信速度の比率に応じて、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
付記2または3に記載の通信装置。
(付記5)
前記各回線に対応する少なくとも1つ以上の通信部をさらに備え、
前記データ振り分け部は、前記主回線に分類された各回線の前記通信速度の比率と、前記主回線に分類された各回線に振り分けた場合の前記メディアデータのデータ量と当該回線内および当該回線に接続された通信部にバッファリングされているデータ量との合計値の比率と、が一致するように、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
付記2〜4のいずれか1項に記載の通信装置。
(付記6)
前記データ振り分け部は、前記主回線から送信する前記メディアデータの一部のデータを、前記副回線に分類された少なくとも1つ以上の回線を介して重複して送信する、
付記2〜5のいずれか1項に記載の通信装置。
(付記7)
前記通信品質推定部は、前記各回線の通信速度の確率分布を推定し、
前記データ振り分け部は、前記各回線の前記通信速度の確率分布から算出される遅延時間の期待値が最小となるように前記メディアデータのデータ量を各回線に振り分ける、
付記1〜3および6のいずれか1項に記載の通信装置。
(付記8)
前記通信品質推定部は、前記各回線の通信速度を推定し、
前記ビットレート決定部は、前記各回線を主回線に分類し、前記各回線の通信速度の合計値から前記指標値を算出し、前記算出された指標値から予め設定される規定値低下する指標値に対応するビットレートを、前記メディアデータのビットレートとして決定する、
付記1、4および5のいずれか1項に記載の通信装置。
(付記9)
送信装置と受信装置とを備え、前記送信装置から前記受信装置に複数の回線を介してメディアデータを配信するメディア配信システムであって、
前記送信装置は、
各回線の通信品質を推定する通信品質推定部と、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、
を備える、メディア配信システム。
(付記10)
他の通信装置に複数の回線を介してメディアデータを配信するメディア配信方法であって、
各回線の通信品質を推定し、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける、
メディア配信方法。
(付記11)
前記データ振り分け部は、前記副回線に分類された少なくとも1つの回線に対して、前記主回線から送信される前記メディアデータのデータ送信順と異なる順序で前記メディアデータの一部のデータを送信する、
付記6に記載の通信装置。
(付記12)
他の通信装置に複数の回線を介してメディアデータを配信するメディア配信プログラムであって、
各回線の通信品質を推定するステップと、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するステップと、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるステップと、
をコンピュータに実行させるメディア配信プログラム。
この出願は、2017年3月28日に出願された日本出願特願2017−063328を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 通信装置
2 送信装置
3_1〜3_n、32 回線
4 受信装置
11 通信品質推定部
12 ビットレート決定部
13 データ振り分け部
14 データ入力部
15 符号化部
16_1〜16_n 通信部
100 メディア配信システム

Claims (12)

  1. 他の通信装置にメディアデータを配信する複数の回線の各々の通信品質を推定する通信品質推定手段と、
    各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定手段と、
    前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け手段と、
    を備える通信装置。
  2. 前記通信品質は、通信速度であり、
    前記ビットレート決定手段は、前記算出された指標値に基づいて、前記各回線を前記メディアデータの送信を主に行う主回線と前記メディアデータの送信を補助的に行う副回線とに分類し、前記主回線に分類された全回線の通信速度の合計値または前記合計値に予め定められた係数を乗じた値を前記メディアデータのビットレートとして決定する、
    請求項1に記載の通信装置。
  3. 前記ビットレート決定手段は、前記各回線に対して、該回線を使用する場合の前記指標値の向上値を算出し、前記算出された前記指標値の向上値が、所定の閾値以上である場合、該回線を主回線に分類し、所定の閾値未満である場合、該回線を副回線に分類する、
    請求項2に記載の通信装置。
  4. 前記データ振り分け手段は、前記主回線に分類された各回線の前記通信速度の比率に応じて、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
    請求項2または3に記載の通信装置。
  5. 前記各回線に対応する少なくとも1つ以上の通信手段をさらに備え、
    前記データ振り分け手段は、前記主回線に分類された各回線の前記通信速度の比率と、前記主回線に分類された各回線に振り分けた場合の前記メディアデータのデータ量と当該回線内および当該回線に接続された通信手段にバッファリングされているデータ量との合計値の比率と、が一致するように、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
    請求項2〜4のいずれか1項に記載の通信装置。
  6. 前記データ振り分け手段は、前記主回線から送信する前記メディアデータの一部のデータを、前記副回線に分類された少なくとも1つ以上の回線を介して重複して送信する、
    請求項2〜5のいずれか1項に記載の通信装置。
  7. 前記通信品質推定手段は、前記各回線の通信速度の確率分布を推定し、
    前記データ振り分け手段は、前記各回線の前記通信速度の確率分布から算出される遅延時間の期待値が最小となるように前記メディアデータのデータ量を各回線に振り分ける、
    請求項1〜3および6のいずれか1項に記載の通信装置。
  8. 前記通信品質推定手段は、前記各回線の通信速度を推定し、
    前記ビットレート決定手段は、前記各回線を主回線に分類し、前記各回線の通信速度の合計値から前記指標値を算出し、前記算出された指標値から予め設定される規定値低下する指標値に対応するビットレートを、前記メディアデータのビットレートとして決定する、
    請求項1、4および5のいずれか1項に記載の通信装置。
  9. 前記データ振り分け手段は、前記副回線に分類された少なくとも1つの回線に、前記主回線から送信される前記メディアデータのデータ送信順と異なる順序で前記メディアデータの一部のデータを送信する、
    請求項6に記載の通信装置。
  10. 送信装置と受信装置とを備え、
    前記送信装置は、
    前記受信装置にメディアデータを配信する複数の回線の各々の通信品質を推定する通信品質推定手段と、
    各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定手段と、
    前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け手段と、
    を備える、メディア配信システム。
  11. 他の通信装置にメディアデータを配信する複数の回線の各々の通信品質を推定し、
    各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、
    前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける、
    メディア配信方法。
  12. 他の通信装置にメディアデータを配信する複数の回線の各々の通信品質を推定することと、
    各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定することと、
    前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けることと、
    をコンピュータに実行させるためのプログラムを格納した非一時的なコンピュータ可読媒体。
JP2019509171A 2017-03-28 2018-03-12 通信装置、メディア配信システム、メディア配信方法およびプログラム Active JP7136084B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017063328 2017-03-28
JP2017063328 2017-03-28
PCT/JP2018/009380 WO2018180394A1 (ja) 2017-03-28 2018-03-12 通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2018180394A1 true JPWO2018180394A1 (ja) 2020-02-13
JP7136084B2 JP7136084B2 (ja) 2022-09-13

Family

ID=63675404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509171A Active JP7136084B2 (ja) 2017-03-28 2018-03-12 通信装置、メディア配信システム、メディア配信方法およびプログラム

Country Status (3)

Country Link
US (1) US11197044B2 (ja)
JP (1) JP7136084B2 (ja)
WO (1) WO2018180394A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158094A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 情報処理装置、サーバ装置及び情報処理システム
JP7513101B2 (ja) 2020-08-26 2024-07-09 日本電気株式会社 動画品質推定装置、動画品質推定方法、及び動画品質推定システム
WO2024047876A1 (ja) * 2022-09-02 2024-03-07 日本電信電話株式会社 映像伝送システム、映像伝送制御方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049645A (ja) * 2009-08-25 2011-03-10 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2011082637A (ja) * 2009-10-03 2011-04-21 Kddi Corp 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法
JP2011199727A (ja) * 2010-03-23 2011-10-06 Mitsubishi Electric Corp 複数公衆回線を用いた高帯域動画伝送システムおよび方法
JP2012070198A (ja) * 2010-09-23 2012-04-05 Nec Engineering Ltd 映像伝送システム
JP2016082438A (ja) * 2014-10-17 2016-05-16 日本電気株式会社 通信制御装置、無線通信システム、通信制御方法及び無線基地局

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151779A (en) * 1990-05-30 1992-09-29 Nippon Hoso Kyokai Signal transmission system for high definition television
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
EP2362651A1 (en) 2010-02-19 2011-08-31 Thomson Licensing Multipath delivery for adaptive streaming
US10389780B2 (en) * 2012-02-08 2019-08-20 Arris Enterprises Llc Managed adaptive streaming
CA2962040C (en) * 2014-09-22 2020-07-21 Arris Enterprises Llc Video quality of experience based on video quality estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049645A (ja) * 2009-08-25 2011-03-10 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2011082637A (ja) * 2009-10-03 2011-04-21 Kddi Corp 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法
JP2011199727A (ja) * 2010-03-23 2011-10-06 Mitsubishi Electric Corp 複数公衆回線を用いた高帯域動画伝送システムおよび方法
JP2012070198A (ja) * 2010-09-23 2012-04-05 Nec Engineering Ltd 映像伝送システム
JP2016082438A (ja) * 2014-10-17 2016-05-16 日本電気株式会社 通信制御装置、無線通信システム、通信制御方法及び無線基地局

Also Published As

Publication number Publication date
WO2018180394A1 (ja) 2018-10-04
US20210105513A1 (en) 2021-04-08
US11197044B2 (en) 2021-12-07
JP7136084B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
KR101557504B1 (ko) 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
Sun et al. A two-tier system for on-demand streaming of 360 degree video over dynamic networks
EP2908547B1 (en) Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method adapting the frame rate of moving image data based on frame similarity
US20170111426A1 (en) Using quality information for adaptive streaming of media content
US10424307B2 (en) Adapting a distributed audio recording for end user free viewpoint monitoring
CN106688239B (zh) 视频下载方法、装置及系统
EP2785068B1 (en) Video image data delivery device, method and system
JP7136084B2 (ja) 通信装置、メディア配信システム、メディア配信方法およびプログラム
US9626364B2 (en) Streaming media
CN102984495A (zh) 一种视频图像的处理方法及装置
JP2012253765A (ja) データの並列受信のためのストリーム制御方法及び装置
WO2017185951A1 (zh) 一种视频传输方法、基站及系统
US9942553B2 (en) Communication system, method and program
WO2012011490A1 (ja) コンテンツ取得装置、コンテンツ送信装置、コンテンツ送受信システム、データ構造、制御方法、制御プログラム、及び記録媒体
US20150131716A1 (en) Apparatus and method for processing image
EP3528500B1 (en) Method and apparatus for allocating differential bandwidth for each screen region by using image complexity information
WO2024108950A1 (zh) 一种码流控制方法、装置及电子设备
US11330471B2 (en) Simultaneous multi-path uplink transmissions to a telecommunications network
CN113316005A (zh) 一种调整视频码率的方法和通信系统
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
JP6793526B2 (ja) 動画配信システム、配信サーバ、及びプログラム
US20230247069A1 (en) Systems and Methods for Adaptive Video Conferencing
CN108282669A (zh) 信息处理设备和信息处理系统
JP6903964B2 (ja) 端末、プログラム、データ送信方法
US8791981B2 (en) Bit rate control apparatus and method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7136084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151