JP6911922B2 - データ配信装置、システム、方法およびプログラム - Google Patents

データ配信装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP6911922B2
JP6911922B2 JP2019531014A JP2019531014A JP6911922B2 JP 6911922 B2 JP6911922 B2 JP 6911922B2 JP 2019531014 A JP2019531014 A JP 2019531014A JP 2019531014 A JP2019531014 A JP 2019531014A JP 6911922 B2 JP6911922 B2 JP 6911922B2
Authority
JP
Japan
Prior art keywords
data
distribution
layer
hierarchical
communication quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019531014A
Other languages
English (en)
Other versions
JPWO2019017298A1 (ja
Inventor
浩一 二瓶
浩一 二瓶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019017298A1 publication Critical patent/JPWO2019017298A1/ja
Application granted granted Critical
Publication of JP6911922B2 publication Critical patent/JP6911922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • H04N21/23655Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、データ受信装置へ配信データを配信する、データ配信装置、システム、方法および記録媒体に関する。
近年、ネットワークを介してリアルタイムに遠隔地へ映像等のメディアデータを配信する機会が増加している。多くの場合、データ配信には、通信品質が保証されないネットワーク、たとえばインターネットや無線ネットワークなどが使用される。そのため、通信速度が低下した場合、メディア品質劣化(たとえば映像の乱れや途切れなど)が発生する。
これに対して、非特許文献1などでは、メディアの品質を通信速度に応じて切り替えながら配信する技術が提案されている。また、この技術は、ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) 23009−1:2014でも規格化されている。
また、配信するメディアの品質の切り替え方法としては、特許文献1に、階層符号化された映像ファイルを配信サーバが保持し、配信サーバと端末との間の通信スループットに基づいて、映像ファイルの中の一部の階層のデータを配信する方法が記載されている。
これにより、通信速度が低下した場合でも、メディア品質劣化を低減することができる。
特開2009−27598号公報 国際公開第2014/007166号
しかし、特許文献1に記載の方法では、ネットワーク環境によっては適切なビットレートの映像を配信できない場合がある。
特許文献1に記載の方法では、最適な階層をあらかじめ階層符号化された映像から選択して配信する。そのため、最低ビットレートの階層のビットレートより通信スループットが低い場合には、映像をリアルタイムに配信できない。また、全階層を用いた場合のビットレートを通信スループットが大幅に上回る場合には、より高画質な映像を配信できる環境であるにもかかわらず、低画質な映像を配信することになる。
上記の課題は、低ビットレートから高ビットレートまで幅広い階層の映像ファイルを配送サーバが保持しておけば解決できる。しかし、階層数が多くなると、符号化効率が低下するのに加えて、符号化の処理量が大幅に増加する。そのため、特に映像を符号化しながら配信するライブ配信では、一般的な処理能力の配信サーバでは映像ファイルを多くの階層へ符号化することができない。
本発明の目的は、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することを可能にする、データ配信装置、システム、方法および記録媒体を提供することにある。
上述の問題を解決するために、本発明のデータ配信装置は、データ受信装置との間の伝送路の通信品質を計測する通信品質計測手段と、前記通信品質の計測結果に基づいて階層データの階層構造を決定する階層構造決定手段と、入力データを階層符号化することによって前記階層構造の前記階層データを生成する階層符号化手段と、前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する通信手段と、を備えることを特徴とする。
また、本発明のデータ配信方法は、データ受信装置との間の伝送路の通信品質を計測し、前記通信品質の計測結果に基づいて階層データの階層構造を決定し、入力データを階層符号化することによって前記階層構造の前記階層データを生成し、前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信することを特徴とする。
また、本発明のコンピュータ読み取り可能な記録媒体に記憶されたデータ配信プログラムは、コンピュータに、データ受信装置との間の伝送路の通信品質を計測する通信品質計測機能と、前記通信品質の計測結果に基づいて階層データの階層構造を決定する階層構造決定機能と、入力データを階層符号化することによって前記階層構造の前記階層データを生成する階層符号化機能と、前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する通信機能と、を実現させることを特徴とする。
本発明のデータ配信装置、システム、方法および記録媒体により、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
本発明の第一の実施形態のデータ配信装置の構成例を示す図である。 本発明の第一の実施形態のデータ配信装置の動作例を示す図である。 本発明の第二の実施形態のデータ配信システムの構成例を示す図である。 本発明の第二の実施形態のデータ配信装置の構成例を示す図である。 本発明の第二の実施形態のデータ受信装置の構成例を示す図である。 本発明の第二の実施形態の通信スループットおよび配信階層の例を示す図である。 階層構造が適切でない場合の通信スループットおよび配信階層の例を示す図である。 階層構造が適切な場合の通信スループットおよび配信階層の例を示す図である。 通信スループットの計測結果の例を示す図である。 通信スループットの平均値と標準偏差の例を示す図である。 本発明の第二の実施形態のデータ配信装置が決定した各階層のビットレートの例を示す図である。 本発明の第二の実施形態のデータ配信システムの動作例を示す図である。 本発明の第二の実施形態のデータ配信システムの動作例を示す図である。 本発明の第二の実施形態のデータ配信システムの動作例を示す図である。 本発明の第三の実施形態のデータ配信装置による階層データの構成例を示す図である。 本発明の第三の実施形態のデータ配信装置の配信階層の例を示す図である。 本発明の各実施形態のハードウェア構成例を示す図である。
[第一の実施形態]
本発明の第一の実施の形態について説明する。
図1に本実施形態のデータ配信装置10の構成例を示す。本実施形態のデータ配信装置10は、通信品質計測部11、階層構造決定部12、階層符号化部13および通信部14により構成される。
通信品質計測部11は、データ受信装置との間の伝送路の通信品質を計測する部分である。階層構造決定部12は、通信品質の計測結果に基づいて階層データの階層構造を決定する部分である。階層符号化部13は、入力データを階層符号化することによって前記階層構造の階層データを生成する部分である。通信部14は、階層データの少なくとも一部の階層の配信データをデータ受信装置へ配信する部分である。
このようにデータ配信装置10を構成することによって、データ配信装置10は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。これにより、通信品質に応じた階層構造の階層データが生成されるため、階層数が少なくても、配信に適したデータが階層データに含まれる可能性が向上する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
次に、図2に本実施形態のデータ配信装置10の動作の例を示す。
まず、通信品質計測部11は、データ受信装置との間の伝送路の通信品質を計測する(ステップS101)。次に、階層構造決定部12は、通信品質の計測結果に基づいて階層データの階層構造を決定する(ステップS102)。次に、階層符号化部13は、入力データを階層符号化することによって前記階層構造の階層データを生成する(ステップS103)。そして、通信部14は、階層データの少なくとも一部の階層の配信データをデータ受信装置へ配信する(ステップS104)。
このように動作することによって、データ配信装置10は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
以上で説明したように、本発明の第一の実施形態では、データ配信装置10は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。これにより、通信品質に応じた階層構造の階層データが生成されるため、階層数が少なくても、配信に適したデータが階層データに含まれる可能性が向上する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
[第二の実施形態]
次に、本発明の第二の実施の形態について説明する。本実施形態では、データ配信装置10の具体例として、データ配信装置20について説明する。
まず、図3に本実施形態のデータ配信システムの構成例を示す。本実施形態のデータ配信システムは、データ配信装置20およびデータ受信装置40により構成される。データ配信装置20とデータ受信装置40はネットワーク50を介して接続されている。本実施形態のデータ配信システムでは、一台のデータ配信装置20に対して一台以上のデータ受信装置40が接続することが可能である。
次に、図4に本実施形態のデータ配信装置20の構成例を示す。データ配信装置20は、通信品質計測部11、階層構造決定部12、階層符号化部13、通信部14および配信階層決定部25により構成される。
通信品質計測部11は、データ配信装置20とデータ受信装置40との間の伝送路の通信品質を計測する部分である。
階層構造決定部12は、通信品質の計測結果に基づいて階層データの階層構造を決定する部分である。階層構造には、たとえば、各階層のビットレートなどを含む。階層構造の決定方法については後述する。
階層符号化部13は、入力データを階層符号化することによって、階層構造決定部12が決定した階層構造の階層データを生成する部分である。また、本実施形態の階層符号化部13は、たとえば、入力デバイスから入力データを受け付ける。入力デバイスは、たとえば、カメラ、マイク、センサ等である。階層符号化の詳細については後述する。
配信階層決定部25は、通信品質の計測結果に基づいて、階層データの各階層の中からデータ受信装置40へ配信する階層を決定する部分である。
通信部14は、階層データの少なくとも一部の階層の配信データをデータ受信装置40へ配信する部分である。本実施形態の通信部14は、配信階層決定部25が決定した階層の階層データを配信データとして配信する。また、通信部14は、データ受信装置40からフィードバック情報を受信する。
次に、図5に本実施形態のデータ受信装置40の構成例を示す。本実施形態のデータ受信装置40は、通信部41、復号部42、出力部43およびフィードバック情報生成部44により構成される。
通信部41は、配信データをデータ配信装置20から受信するのに加えて、フィードバック情報をデータ配信装置20へ送信する部分である。
復号部42は、通信部41が受信した配信データを復号する部分である。
出力部43は、復号部42が復号した配信データを出力デバイスへ出力する部分である。出力デバイスは、たとえば、ディスプレイ、スピーカー、記憶装置等である。
フィードバック情報生成部44は、データ配信装置20との間の伝送路の通信品質に関するフィードバック情報を生成する部分である。
次に、データ配信装置20の階層符号化部13が行う階層符号化について説明する。
階層符号化部13は、階層構造決定部12によって決定された階層構造の階層データを生成する。
データ配信装置20がL(1)、L(2)、・・・、L(n)のn階層の階層データを生成したとする。このとき、データ受信装置40は、任意のi(1≦i≦n)に対して下位i階層の配信データ(L(1)、L(2)、・・・、L(i))を受信できれば、配信データを復号することができる。iが小さいほど配信データのデータ量が小さくなるが、復号後のメディアの品質は低下する。一方、iが大きいほど復号後のメディアの品質は向上するものの配信データのデータ量が増加する。
階層構造決定部12が決定する階層構造は、各階層のビットレートを含む。また、入力データが映像の場合にはフレームレート、音声の場合にはサンプリング周波数、センサデータの場合には送信周期などを含んでも良い。
入力データが映像の場合、階層符号化部13は、H.264 SVC(Scalable Video Coding)やSHVC(HEVC(High Efficiency Video Coding) Scalable Extension)などの階層符号化方式を使用しても良い。
また、階層符号化部13は、階層符号化に非対応のH.264 AVC(Advanced Video Coding)やHEVCを使用した符号化における各フレーム間の参照関係に基づいて階層符号化を行っても良い。たとえば、各フレームが前後のフレームを参照しながら階層的に符号化されている階層的Bピクチャ構造の場合、被参照フレームを下位階層にし、参照フレームを上位階層にすることで、H.264 SVCやSHVCなどの階層符号化規格を用いなくても階層符号化を行うことが可能である。
また、階層符号化部13は、JPEG(Joint Photographic Experts Group)やモーションJPEGの階層符号化方式を使用しても良い。
入力データが音声の場合、階層符号化部13は、AAC(Advanced Audio Coding)のPNS(Perceptual Noise Substitution)、SBR(Spectral Band Replication)、PS(Parametric Stereo)等の機能の有無によって階層符号化を行っても良い。
入力データがセンサデータの場合、階層符号化部13は、データ取得間隔に基づいて階層符号化を行っても良い。たとえば、配信データの配信階層が下位階層のみである場合にはデータ取得間隔が長く、配信階層に上位階層を加えることでデータ取得間隔が短くなるように階層符号化を行うことができる。
次に、配信階層決定部25が行う配信階層の決定方法について説明する。
図6に、本実施形態の通信スループットおよび配信階層の例を示す。
図中の横軸は時刻である。tsはある階層構造での配信開始時刻である。teは配信終了時刻(次の階層構造での配信開始時刻)である。縦軸は、階層データのビットレート、および、データ配信装置20とデータ受信装置40の間の通信スループットである。破線は各階層を選択した場合の階層データのビットレートを表す。また、図中の曲線は通信スループットを示し、通信スループットは時間とともに変化する。なお、この例では階層データの階層数が3であるものとする。
時刻tsでは、通信スループットが階層1から階層3を含む階層データのビットレートより高い。そのため、配信階層決定部25は、配信階層を階層1から階層3の3階層に決定する。
時刻t1において、階層1から階層3まで配信した場合のビットレートを通信スループットが下回ると、配信階層決定部25は、階層3の配信を停止し、階層1および階層2の2階層を配信階層とする。時刻t2において、階層2まで配信した場合のビットレートを通信スループットが下回ると、配信階層決定部25は、階層2の配信を停止し、階層1のみを配信階層とする。
このように、配信階層決定部25では、配信データのビットレートが通信スループットを上回らない範囲で最も高い階層までの階層データを選択する。図6の例では、配信階層決定部25は、通信スループットが配信データのビットレートを下回ったことをトリガとして配信階層を切り替えているが、切り替え方法はこの方法に限られない。たとえば、通信スループットが配信データのビットレートのx倍(ただし、xは1以上の実数)を下回った場合に配信階層決定部25が配信階層を切り替えてもよい。
次に、データ配信装置20の通信品質計測部11の通信品質の計測方法について説明する。
通信品質計測部11は、データ配信装置20とデータ受信装置40との間の伝送路の通信品質を計測する。通信品質は、たとえば、通信スループットである。
たとえば、入力データが映像の場合、一つの映像フレームを構成するデータをデータ配信装置20がデータ受信装置40へ一度に送信し、映像フレームのサイズと受信に要した時間をデータ受信装置40が計測する。受信に要した時間は、たとえば、映像フレームを構成するデータの先頭データをデータ受信装置40が受信してから、映像フレームを構成するデータの最終データを受信するまでの時間である。そして、通信スループットは映像フレームのサイズを映像フレームの受信に要した時間で割ることによって算出される。
通信スループットの算出方法には、たとえば、データ受信装置40のフィードバック情報生成部44で通信スループットを算出してデータ配信装置20の通信品質計測部11へフィードバックする方法が考えられる。あるいは、データ受信装置40が各フレームのサイズと受信に要した時間をデータ配信装置20へフィードバックし、データ配信装置20の通信品質計測部11が通信スループットを算出する方法も考えられる。あるいは、映像フレームを構成する各パケットのACK(acknowledgement:確認応答)をデータ受信装置40がデータ配信装置20へ送信し、データ配信装置20の通信品質計測部11でサイズ、時間および通信スループットを算出する方法も考えられる。
入力データが映像以外の場合にも、同様に、複数のパケットからなるデータをデータ配信装置20がまとめて送信し、送信データのサイズを受信に要した時間で割ることで通信スループットを算出することができる。また、データ配信装置20は、配信データとは別に通信スループット計測用のパケット列を送信してもよい。
次に、データ配信装置20の階層構造決定部12の階層構造の決定方法について説明する。
図7に、通信スループットと配信階層の例を示す。
図7の(a)では、時刻t1において、階層3まで配信した場合の配信データのビットレートを通信スループットが下回るため、配信階層決定部25は、階層3の配信を停止する。すると、通信スループットは階層3まで配信した場合の配信データのビットレートを若干下回る程度であるにもかかわらず、階層3の配信が停止されることによって、配信データのビットレートが大きく低下する。その結果、通信スループットと配信データのビットレートとの差が大きくなる。これは、データ配信装置20とデータ受信装置40との間の伝送路の能力を有効利用できていないことを意味する。
図7の(b)では、配信階層決定部25は、時刻t1において階層3の配信を停止し、時刻t2において階層2の配信を停止する。そして、時刻t3では、階層1のみ配信した場合の配信データのビットレートを通信スループットが下回る。この状態でデータ配信装置20が階層1のみを配信しても、遅延増加やパケットロスが発生するため、データ受信装置40は正常な配信データを受信することができない。
このように、図7では、伝送路の能力を有効利用できない問題や配信データの配信を正常に行うことができない問題が発生するため、通信スループットと階層構造の関係が適切ではない。
図8の(a)(b)は、図7の(a)と(b)の階層構造を逆にした場合の通信スループットと配信階層の例である。階層構造を逆にすることによって、図7の(a)で発生していた伝送路の能力を有効利用できない問題と、図7の(b)で発生していた配信データの配信を正常に行うことができない問題を解消することができている。このように、高品質なデータ配信を実現するためには、階層構造が適切であることが重要である。
そこで、本実施形態の階層構造決定部12は、通信品質計測部11が計測した過去の通信品質の計測結果の変動量に基づいて階層構造を決定する。
たとえば、通信スループットの変動量が小さい場合には、階層構造決定部12は、図8(a)のように、変動量が大きい場合より密に各階層のビットレートを設定する。これにより、通信スループットの小幅な低下時に配信データのビットレートが大きく低下するのを防止することになるため、伝送路の能力をより有効に利用することが可能になる。
また、通信スループット変動量が大きい場合には、階層構造決定部12は、図8(b)のように、変動量が小さい場合より粗く各階層のビットレートを設定する。これにより、通信スループットが大きく低下した場合でも、配信を継続することが可能になる。
なお、階層構造決定部12は、通信品質の計測結果から予測した未来の通信品質の予測値の変動量に基づいて階層構造を決定しても良い。たとえば、特許文献2の図7には、未来の通信スループットの確率分布を予測する技術が記載されている。階層構造決定部12は、予測した未来の確率分布に基づいて、過去の通信品質を使う場合と同様にして、各階層のビットレートを決定することができる。未来の予測値を使用すると、過去の履歴を使用する場合に比べて、より適切なビットレートを設定することができる。
次に、階層構造決定部12の階層構造決定方法の具体的な例について説明する。
図9に、通信品質計測部11が計測した1秒ごとの通信スループットの例を示す。図中の時刻t[s]のスループットTh(t)は、時間[t−1,t)の通信スループットである。
本実施形態では、階層構造決定部12は、直前の通信スループットTh(t−1)と過去10秒間の通信スループットの標準偏差に基づいて階層構造を決定する。
図10に、時刻t=11以降において、図9の通信スループットから算出した過去10秒間の平均値μと標準偏差σの例を示す。階層構造決定部12は、標準偏差を使って各階層のビットレートを決定することで、通信スループットのばらつきの大きさに応じて階層構造を決定することができる。
階層数が3の場合、たとえば、階層構造決定部12は、時刻tでは、階層1のみ配信した場合のビットレートr1(t)を、直前の通信スループットから標準偏差の2倍を減じたTh(t−1)−2σに決定する。また、階層1および階層2を配信した場合のビットレートr2(t)を、直前の通信スループットから標準偏差を減じたTh(t−1)−σに決定する。また、階層1から階層3を配信した場合のビットレートr3(t)を、直前の通信スループットであるTh(t−1)に決定する。
図11はこの方法で算出した各階層のビットレートである。たとえば、時刻tが11の場合を例に挙げると、図9において、時刻t−1=10の通信スループット(図9)は2.31Mbpsである。また、図10において、時刻t=11の標準偏差は0.38Mbpsである。そのため、r1(11)=2.31−2×0.38=1.55Mbps、r2(11)=2.31−0.38=1.93Mbps、r3(11)=2.31Mbpsとなる。
図11を参照すると、時刻t=11と時刻t=26では直前の通信スループットが2.31Mbpsで一致しているため、r3は同じ値となっている。一方でr1とr2については、標準偏差(図10)の小さな時刻t=11の方が高くなっている。つまり、標準偏差が小さい時刻t=11の方が、各配信階層における配信データのビットレートの幅が狭くなっている。
このように、確率分布に基づいて各階層のビットレートを設定することで、通信スループットの変動量が小さな環境では各階層のビットレートの間隔が狭くなり、変動量が大きな環境ではビットレートの間隔が広くなる。そのため、図8のように、各階層のビットレートを適切に設定することが可能になる。
なお、標準偏差σの係数には上記とは異なる値を設定しても良い。たとえば、r1(t)=Th(t−1)−3σ、r2(t)=Th(t−1)−1.5σとしても良い。標準偏差σの係数を大きくすることで、r1が通信スループットを上回り配信を継続できなくなる可能性を低減することできる。
配信開始からの一定時間(上記の例では10秒間)は、所定数の通信スループットの履歴が存在しないため、直前の通信スループットから所定の割合あるいは量を減らした値を、階層1や、階層1および階層2を配信した場合のビットレートとしてもよい。この減算量の初期値には、通信スループットが大きく変動する環境を想定した値を設定しておくと、通信スループットが大きく低下しても配信を継続することができる。
また、階層数により多くの階層を設定できる場合には、より低い値をr1に設定する、あるいは、各階層のビットレートの間隔を狭くすることができるため、通信スループット低下時の配信継続や伝送路の能力の有効利用がより容易になる。たとえば、4階層を使用してr1(t)=Th(t−1)−3σ、r2(t)=Th(t−1)−2σ、r3(t)=Th(t−1)−σ、r4(t)=Th(t−1)とすることができる。
また、Th(t−1)の代わりに、通信スループットThを統計処理した値を使用してもよい。
具体的には過去a秒間(aは自然数)の平均値Thm(t−1)を式(1)により求め、この平均値Thm(t−1)をTh(t−1)の代わりに使用してもよい。
Figure 0006911922
また、0以上1以下の係数αに対して、指数平滑したスループットThs(t−1)を式(2)により求め、この指数平滑したスループットThs(t−1)をTh(t−1)の代わりに使用してもよい。
Figure 0006911922
次に、上記の例における配信階層決定部25の配信階層決定方法の具体例について説明する。
図11の例では、時刻t=11において、階層構造決定部12は、ビットレートr1に1.55Mbps、r2に1.93Mbps、r3に2.31Mbpsを設定している。配信階層決定部25は、時間[11,12)において、この3種類のビットレートの中から配信階層を決定する。
たとえば、時刻t=11では、配信階層決定部25は全階層を配信階層と決定して、通信部14が2.31Mbpsの配信データを配信したとする。そして、通信スループットが2.31Mbps未満に低下したとき、配信階層決定部25は、階層3の配信を停止して、階層1および階層2を配信階層として決定し、通信部14は1.93Mbpsの配信データを配信する。さらに通信スループットが1.93Mbps未満に低下した場合には、配信階層決定部25は、階層2の配信を停止して、階層1を配信階層として決定し、通信部14は1.55Mbpsの配信データを配信する。逆に、通信スループットが一段階上の階層までの配信データのビットレート以上になった場合には、配信階層決定部25は配信階層を一段階上の階層まで増加させる。
このようにデータ配信装置20を構成することによって、データ配信装置20は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。これにより、通信品質に応じた階層構造の階層データが生成されるため、階層数が少なくても、配信に適したデータが階層データに含まれる可能性が向上する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
次に、図12および図13を用いて、本実施形態のデータ配信システムの動作例について説明する。
まず、図12に本実施形態のデータ配信装置20の動作例を示す。
なお、通信品質計測部11は、任意のタイミングで、データ受信装置40から通信部14が受信したフィードバック情報に基づいて通信品質を計測(あるいは未来の通信品質を予測)しているものとする。
まず、階層構造決定部12は、階層構造の変更タイミングか否かを判定する(ステップS201)。階層構造を変更するタイミングは、1秒から数秒程度の所定の周期や、これに加えて、ネットワーク状態が急激に変動したタイミングなどの所定のタイミングである。入力データが映像の場合、GOP(group of picture)と呼ばれる映像フレームの集合が切り替わるタイミングを階層構造変更タイミングとしても良い。
階層構造変更タイミングの場合(ステップS201でYES)、階層構造決定部12は、通信品質の計測結果に基づいて階層データの階層構造を決定する(ステップS202)。
次に、階層符号化部13は、入力データを階層符号化することによって、階層構造決定部12によって決定された階層構造の階層データを生成する(ステップS203)。
次に、配信階層決定部25は、階層データの各階層の中からデータ受信装置40へ配信する階層を決定する(ステップS204)。そして、通信部14は階層データの中から配信階層決定部25が決定した階層の配信データを配信する(ステップS205)。データ配信装置20は、ステップS201からステップS205の動作を、データ配信装置20のデータ配信動作が終了するまで繰り返す(ステップS206)。
次に、図13に本実施形態のデータ受信装置40の動作例を示す。
まず、通信部41が配信データを受信すると(ステップS301)、フィードバック情報生成部44は伝送路の通信品質に関するフィードバック情報を生成する。そして、通信部41はフィードバック情報をデータ配信装置20へ送信する(ステップS302)。
次に、復号部42は配信データを復号する(ステップS303)。そして、出力部43は復号後のメディアを出力する(ステップS304)。データ受信装置40は、配信データを受信している間、ステップS301からステップS304の動作を繰り返す(ステップS305)
次に、図14に、本実施形態のデータ配信装置20の配信階層決定部25の動作例を示す。これは、図12のステップS204のより詳細な例である。
配信中の配信データのビットレートが通信スループットより大きくなった場合(ステップS401でYES)、配信階層決定部25は、配信階層を減らす(ステップS402)。このとき、配信階層決定部25は、たとえば、配信階層を1段階減らす、あるいは、配信データのビットレートが通信スループット以下となるまで配信階層を減らす。
また、配信階層を増やしたときのビットレートが通信スループット以下の場合(ステップS403でYES)、配信階層決定部25は、配信階層を増やす(ステップS404)。このとき、配信階層決定部25は、配信階層を1段階増やす、あるいは、配信データのビットレートが通信スループット以下となる範囲で配信階層を増やす。
このように動作することによって、データ配信装置20は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
以上で説明したように、本発明の第二の実施形態では、データ配信装置20は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。これにより、通信品質に応じた階層構造の階層データが生成されるため、階層数が少なくても、配信に適したデータが階層データに含まれる可能性が向上する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
[第三の実施形態]
次に、本発明の第三の実施の形態について説明する。本実施形態は、入力データが映像である場合の具体例である。
本実施形態のデータ配信装置20の構成例および動作例は第二の実施形態と同様である。ここでは、階層符号化部13が行う階層符号化についてより具体的に説明する。他の部分については、第二の実施形態と同様のため説明を省略する。
映像データの階層符号化には、H.264 SVCやSHVCが用いられることが多い。これらの階層符号化方式では、時間、空間、および、SNR(signal noise ratio)の三つの軸で映像データが階層符号化される。階層符号化は、これらの軸の一つ以上を組み合わせて行われる。
時間軸での階層符号化の場合、階層数が多くなるほどフレームレートが上昇するように階層符号化が行われる。たとえば、階層1のみの場合にはフレームレートが6fps(frames per second)、階層2を加えると12fps、階層3を加えると24fpsになるように階層符号化が行われる。
空間軸での階層符号化の場合、階層数が多くなるほど解像度が上昇するように階層符号化が行われる。たとえば、階層1のみの場合には解像度が640×360、階層2を追加すると1280×720になり、階層3を加えると1920×1080になるように階層符号化が行われる。
SNR軸での階層符号化の場合、低階層ではぼやけた映像に、階層数が多くなるほど鮮明な映像になるように階層符号化が行われる。
図15に、時間と空間の2つの軸に基づいて階層符号化を行った場合の、各階層の解像度、フレームレート、ビットレートの例を示す。この例では、階層1に階層2を加えることでフレームレートが上昇し(時間軸)、さらに階層3を加えることで各フレームの解像度が上昇する(空間軸)。
図16に、図6のように配信階層を切り替えたときに実際に配信される映像フレームの例を示す。図中の四角形は映像フレームの配信タイミングを表し、四角形の内部の数字はフレーム番号である。また、破線は配信された階層を示す。
この例では、データ配信装置20がフレーム1からフレーム3までは階層1から階層3を配信するため、配信される映像データの解像度は1280×720および640×360でフレームレートはいずれも10fpsである。このとき、データ受信装置40では、解像度の高い1280×720の映像データを選択して表示する。フレーム4からフレーム6では、配信される映像データの解像度は640×360のみとなる(フレームレートは10fpsである)。フレーム7以降では配信される映像データのフレームレートが5fpsに下がる。
本実施形態では、通信品質に応じて所定のタイミングで階層構造決定部12が階層構造を決定し、その階層構造に基づいて階層符号化部13が映像データを階層符号化し、通信品質に応じて配信階層決定部25が配信階層を切り替える。このように、あらかじめ階層符号化部13が通信品質に応じて階層符号化を行っているため、通信品質の悪化時に瞬時に配信階層決定部25が配信データのビットレートを下げることができる。そのため、パケットの遅延増加による映像の停止や、パケットロスによる映像の乱れを低減し、高品質な映像視聴が可能になる。
以上で説明したように、本発明の第三の実施形態では、データ配信装置20は、伝送路の通信品質の計測結果に基づいて決定された階層構造の階層データを生成する。これにより、通信品質に応じた階層構造の階層データが生成されるため、階層数が少なくても、配信に適したデータが階層データに含まれる可能性が向上する。そのため、階層符号化の階層数が少ない場合であっても、通信品質劣化時でも配信を継続できる可能性を向上し、また、伝送路の能力の利用効率を向上することが可能になる。
[ハードウェア構成例]
上述した本発明の各実施形態におけるデータ配信装置(10、20)を、一つの情報処理装置(コンピュータ)を用いて実現するハードウェア資源の構成例について説明する。なお、データ配信装置は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現してもよい。また、データ配信装置は、専用の装置として実現してもよい。また、データ配信装置の一部の機能のみを情報処理装置を用いて実現しても良い。
図17は、本発明の各実施形態のデータ配信装置を実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置90は、通信インタフェース91、入出力インタフェース92、演算装置93、記憶装置94、不揮発性記憶装置95およびドライブ装置96を備える。
通信インタフェース91は、各実施形態のデータ配信装置が、有線あるいは/および無線で外部装置と通信するための通信手段である。なお、データ配信装置を、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース91経由で相互に通信可能なように接続しても良い。
入出力インタフェース92は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。
演算装置93は、汎用のCPU(Central Processing Unit)やマイクロプロセッサ等の演算処理装置である。演算装置93は、たとえば、不揮発性記憶装置95に記憶された各種プログラムを記憶装置94に読み出し、読み出したプログラムに従って処理を実行することが可能である。
記憶装置94は、演算装置93から参照可能な、RAM(Random Access Memory)等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置94は、揮発性のメモリ装置であっても良い。
不揮発性記憶装置95は、たとえば、ROM(Read Only Memory)、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。
ドライブ装置96は、たとえば、後述する記録媒体97に対するデータの読み込みや書き込みを処理する装置である。
記録媒体97は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
本発明の各実施形態は、たとえば、図17に例示した情報処理装置90によりデータ配信装置を構成し、このデータ配信装置に対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。
この場合、データ配信装置に対して供給したプログラムを、演算装置93が実行することによって、実施形態を実現することが可能である。また、データ配信装置のすべてではなく、一部の機能を情報処理装置90で構成することも可能である。
さらに、上記プログラムを記録媒体97に記録しておき、データ配信装置の出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置95に格納されるよう構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用してデータ配信装置内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
データ受信装置との間の伝送路の通信品質を計測する通信品質計測手段と、
前記通信品質の計測結果に基づいて階層データの階層構造を決定する階層構造決定手段と、
入力データを階層符号化することによって前記階層構造の前記階層データを生成する階層符号化手段と、
前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する通信手段と、
を備えることを特徴とするデータ配信装置。
(付記2)
前記階層構造決定手段は、前記通信品質の前記計測結果の変動量に応じて、前記階層構造を決定する
ことを特徴とする付記1に記載のデータ配信装置。
(付記3)
前記階層構造は、各階層のビットレートを含む
ことを特徴とする付記1あるいは付記2に記載のデータ配信装置。
(付記4)
前記階層構造決定手段は、過去の前記通信品質の前記計測結果、あるいは、前記計測結果から予測した未来の前記通信品質の予測値に基づいて前記階層構造を決定する
ことを特徴とする付記1から付記3のいずれかに記載のデータ配信装置。
(付記5)
前記通信品質は通信スループットを含む
ことを特徴とする付記1から付記4のいずれかに記載のデータ配信装置。
(付記6)
前記階層構造決定手段は、前記入力データが映像のとき、GOP(Group of Picture)が切り替わるタイミングで前記階層構造を決定する
ことを特徴とする付記1から付記5のいずれかに記載のデータ配信装置。
(付記7)
前記通信品質の前記計測結果に基づいて、前記階層データの中から、前記データ受信装置へ配信する前記階層を決定する配信階層決定手段
をさらに備えることを特徴とする付記1から付記6のいずれかに記載のデータ配信装置。
(付記8)
前記配信階層決定手段は、前記伝送路の通信スループット以下のビットレートの前記階層を、配信する前記階層に決定する
ことを特徴とする付記7に記載のデータ配信装置。
(付記9)
付記1から付記8のいずれかに記載のデータ配信装置と、
前記データ受信装置と
を備えることを特徴とするデータ配信システム。
(付記10)
データ受信装置との間の伝送路の通信品質を計測し、
前記通信品質の計測結果に基づいて階層データの階層構造を決定し、
入力データを階層符号化することによって前記階層構造の前記階層データを生成し、
前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する
ことを特徴とするデータ配信方法。
(付記11)
前記通信品質の前記計測結果の変動量に応じて、前記階層構造を決定する
ことを特徴とする付記10に記載のデータ配信方法。
(付記12)
前記階層構造は、各階層のビットレートを含む
ことを特徴とする付記10あるいは付記11に記載のデータ配信方法。
(付記13)
過去の前記通信品質の前記計測結果、あるいは、前記計測結果から予測した未来の前記通信品質の予測値に基づいて前記階層構造を決定する
ことを特徴とする付記10から付記12のいずれかに記載のデータ配信方法。
(付記14)
前記通信品質は通信スループットを含む
ことを特徴とする付記10から付記13のいずれかに記載のデータ配信方法。
(付記15)
前記入力データが映像のとき、GOP(Group of Picture)が切り替わるタイミングで前記階層構造を決定する
ことを特徴とする付記10から付記14のいずれかに記載のデータ配信方法。
(付記16)
前記通信品質の前記計測結果に基づいて、前記階層データの中から、前記データ受信装置へ配信する前記階層を決定する
ことを特徴とする付記10から付記15のいずれかに記載のデータ配信方法。
(付記17)
前記伝送路の通信スループット以下のビットレートの前記階層を、配信する前記階層に決定する
ことを特徴とする付記16に記載のデータ配信方法。
(付記18)
コンピュータに、
データ受信装置との間の伝送路の通信品質を計測する通信品質計測機能と、
前記通信品質の計測結果に基づいて階層データの階層構造を決定する階層構造決定機能と、
入力データを階層符号化することによって前記階層構造の前記階層データを生成する階層符号化機能と、
前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する通信機能と、
を実現させることを特徴とするデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記19)
前記階層構造決定機能は、前記通信品質の前記計測結果の変動量に応じて、前記階層構造を決定する
ことを特徴とする付記18に記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記20)
前記階層構造は、各階層のビットレートを含む
ことを特徴とする付記18あるいは付記19に記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記21)
前記階層構造決定機能は、過去の前記通信品質の前記計測結果、あるいは、前記計測結果から予測した未来の前記通信品質の予測値に基づいて前記階層構造を決定する
ことを特徴とする付記18から付記20のいずれかに記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記22)
前記通信品質は通信スループットを含む
ことを特徴とする付記18から付記21のいずれかに記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記23)
前記階層構造決定機能は、前記入力データが映像のとき、GOP(Group of Picture)が切り替わるタイミングで前記階層構造を決定する
ことを特徴とする付記18から付記22のいずれかに記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記24)
前記通信品質の前記計測結果に基づいて、前記階層データの中から、前記データ受信装置へ配信する前記階層を決定する配信階層決定機能
をさらにコンピュータに実現させることを特徴とする付記18から付記23のいずれかに記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記25)
前記配信階層決定機能は、前記伝送路の通信スループット以下のビットレートの前記階層を、配信する前記階層に決定する
ことを特徴とする付記24に記載のデータ配信プログラムを記録したコンピュータ読み取り可能な記録媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2017年7月19日に出願された日本出願特願2017−140107を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10、20 データ配信装置
11 通信品質計測部
12 階層構造決定部
13 階層符号化部
14 通信部
25 配信階層決定部
40 データ受信装置
41 通信部
42 復号部
43 出力部
44 フィードバック情報生成部
50 ネットワーク
90 情報処理装置
91 通信インタフェース
92 入出力インタフェース
93 演算装置
94 記憶装置
95 不揮発性記憶装置
96 ドライブ装置
97 記録媒体

Claims (8)

  1. データ受信装置との間の伝送路の通信品質を計測する通信品質計測手段と、
    前記通信品質の計測結果に基づいて、前記計測結果の変動量が小さい場合に、前記変動量が大きい場合より、各階層のビットレートの間隔を狭くすることにより、階層データの階層構造を決定する階層構造決定手段と、
    入力データを階層符号化することによって前記階層構造の前記階層データを生成する階層符号化手段と、
    前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する通信手段と、
    を備えることを特徴とするデータ配信装置。
  2. 前記階層構造決定手段は、過去の前記通信品質の前記計測結果、あるいは、前記計測結果から予測した未来の前記通信品質の予測値に基づいて前記階層構造を決定する
    ことを特徴とする請求項1に記載のデータ配信装置。
  3. 前記通信品質は通信スループットを含む
    ことを特徴とする請求項1または請求項2に記載のデータ配信装置。
  4. 前記階層構造決定手段は、前記入力データが映像のとき、GOP(Group of Picture)が切り替わるタイミングで前記階層構造を決定する
    ことを特徴とする請求項1から請求項のいずれかに記載のデータ配信装置。
  5. 前記通信品質の前記計測結果に基づいて、前記階層データの中から、前記データ受信装置へ配信する前記階層を決定する配信階層決定手段
    をさらに備えることを特徴とする請求項1から請求項のいずれかに記載のデータ配信装置。
  6. 前記配信階層決定手段は、前記伝送路の通信スループット以下のビットレートの前記階層を、配信する前記階層に決定する
    ことを特徴とする請求項に記載のデータ配信装置。
  7. データ受信装置との間の伝送路の通信品質を計測し、
    前記通信品質の計測結果に基づいて、前記計測結果の変動量が小さい場合に、前記変動量が大きい場合より、各階層のビットレートの間隔を狭くすることにより、階層データの階層構造を決定し、
    入力データを階層符号化することによって前記階層構造の前記階層データを生成し、
    前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する
    ことを特徴とするデータ配信方法。
  8. コンピュータに、
    データ受信装置との間の伝送路の通信品質を計測する通信品質計測機能と、
    前記通信品質の計測結果に基づいて、前記計測結果の変動量が小さい場合に、前記変動量が大きい場合より、各階層のビットレートの間隔を狭くすることにより、階層データの階層構造を決定する階層構造決定機能と、
    入力データを階層符号化することによって前記階層構造の前記階層データを生成する階層符号化機能と、
    前記階層データの少なくとも一部の階層の配信データを前記データ受信装置へ配信する通信機能と、
    を実現させることを特徴とするデータ配信プログラム。
JP2019531014A 2017-07-19 2018-07-13 データ配信装置、システム、方法およびプログラム Active JP6911922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017140107 2017-07-19
JP2017140107 2017-07-19
PCT/JP2018/026543 WO2019017298A1 (ja) 2017-07-19 2018-07-13 データ配信装置、システム、方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019017298A1 JPWO2019017298A1 (ja) 2020-04-23
JP6911922B2 true JP6911922B2 (ja) 2021-07-28

Family

ID=65015142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019531014A Active JP6911922B2 (ja) 2017-07-19 2018-07-13 データ配信装置、システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US11509917B2 (ja)
JP (1) JP6911922B2 (ja)
WO (1) WO2019017298A1 (ja)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472792B2 (en) * 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
JP2009027598A (ja) * 2007-07-23 2009-02-05 Hitachi Ltd 映像配信サーバおよび映像配信方法
JP5257367B2 (ja) * 2008-02-20 2013-08-07 日本電気株式会社 映像配信装置、映像配信システム及び映像配信方法
CN103238321B (zh) * 2010-09-30 2016-11-02 三星电子株式会社 用于对分层结构的符号进行编解码的视频编解码方法及其装置
JP5844991B2 (ja) * 2011-04-14 2016-01-20 キヤノン株式会社 ソースノード及びその送信方法
GB2500245B (en) * 2012-03-15 2014-05-14 Toshiba Res Europ Ltd Rate optimisation for scalable video transmission
WO2014007166A1 (ja) 2012-07-02 2014-01-09 日本電気株式会社 流量予測装置、流量予測方法及び流量予測プログラム
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
US9532043B2 (en) * 2013-08-02 2016-12-27 Blackberry Limited Wireless transmission of real-time media
JP6426901B2 (ja) * 2014-03-14 2018-11-21 富士通クライアントコンピューティング株式会社 配信方法、再生装置、配信装置、転送制御プログラムおよび配信制御プログラム
JP6354262B2 (ja) * 2014-03-31 2018-07-11 株式会社Jvcケンウッド 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム
WO2016042686A1 (ja) * 2014-09-19 2016-03-24 日本電気株式会社 データ送信制御装置及び制御方法
EP3422702B1 (en) * 2016-02-22 2022-12-28 Sony Group Corporation File generation device, file generation method, reproduction device, and reproduction method
AU2017368324B2 (en) * 2016-12-01 2022-08-25 Brightcove, Inc. Optimization of encoding profiles for media streaming
NL2018130B1 (en) * 2017-01-05 2018-07-25 Ivent Mobile B V System and method for delivering video content

Also Published As

Publication number Publication date
US11509917B2 (en) 2022-11-22
JPWO2019017298A1 (ja) 2020-04-23
US20210409740A1 (en) 2021-12-30
WO2019017298A1 (ja) 2019-01-24

Similar Documents

Publication Publication Date Title
JP4903435B2 (ja) メディア信号の送信方法と受信方法ならびに送受信方法及び装置
US8842159B2 (en) Encoding processing for conferencing systems
ITTO20090486A1 (it) Controllore dinamico della velocita' di trasmissione indipendente dal gruppo di immagini
JP2015521825A (ja) 仮想イントラフレームを使用してビデオコンテンツを符号化するためのシステムおよび方法
CN107211116B (zh) 用于无线装置中的多视图视频的系统和方法
JP6463041B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20100240320A1 (en) Radio communication device, program and radio communication method
JP2017520940A5 (ja) レイヤードコード化コンテンツを多重化する方法および装置
KR20200058431A (ko) 송신 장치 및 송신 방법, 그리고 프로그램
US20110310955A1 (en) Method and system for repetition based adaptive video compression
JP2015510355A (ja) コンピュータにより実行される方法及び記憶媒体
JP6089846B2 (ja) 映像配信システム及びデコーダ並びに映像配信方法
JP6911922B2 (ja) データ配信装置、システム、方法およびプログラム
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
KR101343877B1 (ko) 순방향 오류 정정 패킷 생성방법과 이를 이용한 서버와 클라이언트 장치
JP2006339775A (ja) スケーラブル動画像伝送システム
JP4909590B2 (ja) メディア信号の受信装置、送信装置及び送受信システム
JP2011192229A (ja) サーバ装置および情報処理方法
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
JP2022531998A (ja) ユーザ・データグラム・プロトコル(udp)を利用するロバストなビデオ送信のためのシステム、デバイス、及び方法
JP2017535171A (ja) 先行するデコード化をせずに、いくつかのコード化されたビデオストリームを切断するための装置および方法。
JP6565324B2 (ja) 通信端末、データ送受信システム、通信方法、および通信用プログラム
US20240236409A9 (en) Electronic apparatus, server apparatus and control method thereof
US20240137606A1 (en) Electronic apparatus, server apparatus and control method thereof
US20110050895A1 (en) Distributed Video Surveillance Storage Cost Reduction Using Statistical Multiplexing Principle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210621

R150 Certificate of patent or registration of utility model

Ref document number: 6911922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150