JP5257367B2 - 映像配信装置、映像配信システム及び映像配信方法 - Google Patents

映像配信装置、映像配信システム及び映像配信方法 Download PDF

Info

Publication number
JP5257367B2
JP5257367B2 JP2009554344A JP2009554344A JP5257367B2 JP 5257367 B2 JP5257367 B2 JP 5257367B2 JP 2009554344 A JP2009554344 A JP 2009554344A JP 2009554344 A JP2009554344 A JP 2009554344A JP 5257367 B2 JP5257367 B2 JP 5257367B2
Authority
JP
Japan
Prior art keywords
video
signal
content
bit rate
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009554344A
Other languages
English (en)
Other versions
JPWO2009104639A1 (ja
Inventor
和男 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009554344A priority Critical patent/JP5257367B2/ja
Publication of JPWO2009104639A1 publication Critical patent/JPWO2009104639A1/ja
Application granted granted Critical
Publication of JP5257367B2 publication Critical patent/JP5257367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像配信装置、映像配信システム、及び映像配信方法に関し、特に、高ビットレートでリアルタイム性が要求される映像コンテンツの配信サービスに好ましく適用される技術に関するものである。
近年、FTTH(Fiber To The Home)やNGN(Next Generation Network)等のネットワークサービスが提供され、一般家庭においても高速で高品質なネットワーク接続環境を利用できるようになった。高速で高品質なネットワークが利用できることで、高ビットレートでリアルタイム性が要求される映像コンテンツの配信サービスを利用する基盤が整備されてきた。コンテンツ配信サービスもVoD(Video on Demand)のような事業者が用意したコンテンツの中から視聴するだけでなく、ユーザが放送コンテンツを指定により、または自動的にサーバ上で録画して視聴するnDVR(network-based Digital Video Recorder)と呼ばれる新たな映像視聴サービスについても一部の国でサービスの提供が始まっている。
テレビ放送のように映像コンテンツをネットワーク経由で視聴する場合は、映像配信サーバはプレーヤに対してコンテンツの先頭から順次ストリームを送出するのみである。しかし、VoDやnDVR等の蓄積コンテンツを要求に応じて配信する映像サービスでは、早送り、巻き戻し、一時停止といったトリックプレイ機能を提供することが一般的である。特に、放送コンテンツを自動的に録画するnDVRでは、録画結果から見たいシーンを見つけるために、早送りを頻繁に使用する等トリックプレイ機能は今まで以上に重要になっている。
蓄積コンテンツの早送り方式の一例が特許文献1に記載されている。この方式は2倍速の早送りを実現するため、読み出し処理を2倍のレートで実施したうえで、データに付加されたデコードと再生に関する時刻情報を2分の1の値に変更し、時刻情報に従ってデコードと再生処理を実施する。これによりコンテンツの2倍速での早送りを実現している。
また、他の蓄積コンテンツの早送り方式の一例が特許文献2に記載されている。この方式は指定された早送り倍率に従い、フレーム単位で間引き処理を実施した後にデコードを実施している。フレーム単位での間引きを行うことで、画像のフレームスキップを実現し、早送りを実現している。
特開2002−354419号公報 特開2006−295645号公報
しかしながら、特許文献1による蓄積コンテンツ早送り方式では、2倍の早送り再生を実施するときにはデコーダへのデータ転送レートが2倍になる。これは、コンテンツ配信側とコンテンツ再生側がネットワークで分割されている映像配信サービスでは、ネットワーク使用帯域が2倍必要になることを意味している。また、単位時間当たりのデコード処理も2倍の処理量になる。このため、特許文献1の方式では、早送り再生のためネットワーク資源とデコード用プロセッサがボトルネックになり、対応できる早送り倍率が低くなる。
また、特許文献2による蓄積コンテンツ早送り方式では、早送り再生の実現のためサーバ側でストリーム中からフレーム単位での間引きを行う。これによりコンテンツ再生側では表示されないフレームが発生し映像がスキップしているように見える。そのため、早送り再生の目的である、目的のシーンを見つけて通常再生に戻すという操作を行うことが高い早送り倍率の再生時には難しくなる。
そこで、本発明は、上述した事情に鑑みて、通常再生時からデータ転送レートを増加させることなく滑らかな再生速度変更が実現でき、再生速度を変更させたときにもデコード負荷を軽減させることが可能な映像配信装置、映像配信システム等を提供することを目的とする。
上記の課題を解決するために、本発明の第1の映像配信装置は、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置であって、
前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、
前記コンテンツ読み出し手段に各信号別の読み出しビットレートを指定することにより、コンテンツの再生速度を変更する再生速度変更手段とを備え
前記再生速度変更手段は、
前記映像コンテンツを構成する全レイヤのビットレートを取得し、そして
ネットワークの使用可能帯域幅を決定すると共に、
前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程において、再生フレームレートの変更指示を取得するのに応じて、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止すると共に、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行う
また、本発明の第1の映像受信装置は、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置であって、
上記本発明に係る第1の映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求手段と、
前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施するデコード手段と、を備える。
また、本発明の第1の映像配信システムは、
階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置と、前記映像配信装置により配信された前記映像コンテンツを受信する映像受信装置と、を備える映像配信システムであって、
前記映像配信装置として、上記本発明に係る第1の映像配信装置を備え、
前記映像受信装置は、
前記映像コンテンツの再生速度の倍率変更要求を、前記映像配信装置に送出する再生速度変更要求手段と、
前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施するデコード手段と、を備える。
また、本発明の第1の映像再生装置は、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置と、前記映像配信装置により配信された前記映像コンテンツを受信する映像受信装置と、を備え、前記両装置がバス接続されて構成される映像再生装置であって、
上記本発明に係る第1の映像配信装置を備え、
前記映像受信装置は、
前記映像コンテンツの再生速度の倍率変更要求を、前記映像配信装置に送出する再生速度変更要求手段と、
前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施するデコード手段と、を備える。
また、本発明の第1の映像配信方法は、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信方法であって、
前記映像コンテンツ中の前記基本信号と前記拡張信号とについて、各信号別の読み出しビットレートを指定することによってコンテンツ再生速度を変更する再生速度変更ステップと、
前記再生速度変更ステップにより指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出しステップとを有し、
前記再生速度変更ステップでは、
前記映像コンテンツを構成する全レイヤのビットレートを取得し、そして
ネットワークの使用可能帯域幅を決定すると共に、
前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程において、再生フレームレートの変更指示を取得するのに応じて、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止すると共に、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行う
また、本発明の第1の映像受信方法は、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信方法であって、
上記本発明に係る第1の映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出
前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施する
また、本発明の第1のプログラムは、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置に用いられるプログラムであって、
コンピュータに、
前記映像コンテンツ中の前記基本信号と前記拡張信号について、各信号別の読み出しビットレートを指定することによってコンテンツの再生速度を変更する再生速度変更機能と、
前記再生速度変更機能により指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出し機能とを実現させ、
前記再生速度変更機能では、
前記映像コンテンツを構成する全レイヤのビットレートを取得し、そして
ネットワークの使用可能帯域幅を決定すると共に、
前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程において、再生フレームレートの変更指示を取得するのに応じて、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止すると共に、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を実現させる。
また、本発明の第2のプログラムは、階層状に構成された基本信号及び拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置で用いられるプログラムであって、
コンピュータに、
上記本発明に係る第1の映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求機能と、
前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード機能と、を実現させる。


また、本発明の第1の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、通常再生時からデータ転送レートを増加させることなく滑らかな再生速度変更が実現でき、再生速度を変更させたときにもデコード負荷を軽減させることが可能となる。
本発明は、映像受信装置にネットワークを介して映像コンテンツを配信する映像配信装置において、拡張レイヤストリームの全体または一部の配信を停止し、再生に必須となる基本レイヤストリームと配信を停止しない拡張レイヤストリームの配信レートを上昇させることで、全体のネットワーク利用帯域を一定に抑えたまま映像再生レートを変更する点に特徴を有する。以下、実施形態に則して詳細に説明する。
はじめに、本発明の実施形態として、映像配信装置及び映像受信装置を含んで構成される映像配信システムの構成について説明する。図1は、本発明の実施形態の映像配信システムの構成を示した概略図である。本実施形態の映像配信システムを構成する映像配信装置100及び受信装置200は、ネットワーク300によって通信可能な端末である。配信装置100は、映像コンテンツを保持し、ネットワーク300上の映像受信装置200に向けて映像コンテンツを配信する装置である。映像受信装置200は、ネットワーク300上の映像配信装置100から映像コンテンツを受信して再生する装置である。ネットワーク300は端末間の通信を可能にするネットワークである。
本実施形態では、ネットワーク300をインターネットと想定して説明を行う。ただし、サーバ機器やPC(Personal Computer)、インターネットに特定するものではなく、NGN、携帯電話網、無線LAN(Local Area Network)、機器内部のバス等であってもよい。また、映像配信装置100は、本実施形態ではストリーミングサーバを想定しているが、PCやHDD(Hard Disk Drive)レコーダ等であってもよい。映像受信装置200は、本実施形態ではPCを想定しているが、携帯電話、PDA(Personal Digital Assistant)、ネットワーク接続可能なテレビ、テレビに接続されたゲーム機等であってもよい。
続いて、映像配信装置の構成について説明する。図2は、本実施形態における映像配信装置の構成を示した機能ブロック図である。映像配信装置100は、コンテンツ記憶手段101と、コンテンツ読み出し手段102と、パケタイズ手段103と、時刻情報設定手段104と、送出手段105と、コンテンツ情報管理手段10と、再生速度変更手段107と、再生速度変更要求受付手段108から構成される。これらの手段はそれぞれ以下のように動作する。
コンテンツ記憶手段101は、スケーラブルコーデックを用いてエンコードした映像コンテンツが保存されている記憶媒体である。本実施形態では、映像コンテンツはH.264/SVC(Scalable Video Coding)エンコーダで圧縮され、基本レイヤと2つの拡張レイヤ(第1拡張レイヤ、第2拡張レイヤ)から構成されるものとする。第1拡張レイヤは基本レイヤの上位に位置するビットストリームであり、第1拡張レイヤを基本レイヤとあわせてデコードすることで基本レイヤのみデコードした結果以上の画像品質を得ることができる。また、第2拡張レイヤは、第1拡張レイヤの上位に位置するビットストリームであり、第2拡張レイヤを基本レイヤ及び第1拡張レイヤとともにデコードすることで基本レイヤ及び第1拡張レイヤのみデコードした結果以上の画像品質を得ることができる。
本実施形態ではSNスケーラブル設定を用いる。すなわち、基本レイヤをBb=1Mbps、第2拡張レイヤをBe1=1Mbps、第2拡張レイヤをBe2=1Mbpsのビットレート設定でエンコードし、全ビットストリームで3Mbpsになるファイルを使用する。また、基本レイヤ及び拡張レイヤのビットレートの設定やレイヤの分割数等は一例であり他の値であってもよい。本発明では、SNスケーラブル設定に限らず、空間スケーラブル設定、時間スケーラブル設定等であっても有効である。
コンテンツ記憶手段101が記憶しているコンテンツは、図3に示された情報を含んでいるものとする。コンテンツ情報301は、コンテンツ配信時に使用されるデータであり、図4に示す情報を含んでいる。レイヤ種別401は、コンテンツがどのようなレイヤから構成されているかを示す情報である。レイヤ識別子402は、コンテンツ内部に格納されている映像ストリーム302を構成するNAL(Network Abstraction Layer)ユニットと各レイヤを対応付けるための識別子である。ビットレート403は、レイヤごとのビットレートである。
コンテンツのデータ構造は、本実施形態における一例であり、もちろん他の形式であってもよい。例えば、コンテンツ情報301が別ファイルに分離されている場合や、映像ストリーム302がMPEG(Motion Picture Expert Group)−2TS(Transport Stream)形式等の他の形式になっている場合が該当する。また、コンテンツ読み出し手段102がレイヤ単位でコンテンツを読み出すことが可能であり、各レイヤのビットレート情報が取得できる形式であれば任意の形式であってもよい。また、本実施形態では、説明を容易にするため音声データに関しては省略している。
コンテンツ情報管理手段106は、コンテンツ記憶手段101が記憶しているコンテンツ情報301を保持し、必要に応じて再生速度変更手段107に提供する手段である。この情報は、本実施形態においてはコンテンツ記憶手段101中に記憶されているコンテンツ情報301としているが、別の設定ファイルから取得する場合や、コンテンツ記憶手段101のコンテンツを作成したエンコーダからのメッセージを受信する場合等、他のソースであってもよい。
コンテンツ読み出し手段102は、コンテンツ記憶手段101から、指定されたレイヤのストリームを指定されたビットレートで読み出す手段である。コンテンツ読み出し手段102は、読み出しに際して、コンテンツ記憶手段101に記憶されているコンテンツ中のどのレイヤを読み出すか、またそれぞれのレイヤの読み出しビットレートについて、再生速度変更手段107から指定を受ける。
本実施形態における通常再生時には、基本レイヤから第2拡張レイヤまでの全ストリームを映像受信端末200に送出するため、再生速度変更手段107はコンテンツ読み出し手段102に対して、基本レイヤ、第1拡張レイヤ、第2拡張レイヤのレイヤ識別子である識別子1、識別子2、識別子3と、各レイヤとを1Mbpsで読み出す指示を行う。コンテンツ読み出し手段102は、コンテンツ記憶手段101中のH.264/SVCストリームを読み出し、識別子1、識別子2、識別子3のNALユニットをパケタイズ手段103へ送出する。早送り再生を実施するときは、再生速度変更手段107が決定した各レイヤ別の読み出しビットレートに従って処理を行う。
パケタイズ手段103は、コンテンツ読み出し手段102が送出するH.264/SVCのNALユニットをネットワーク200に送出するため、パケット化する手段である。パケット化方式としては、本実施形態ではIETF(Internet Engineering Task Force) draft−ietf−avt−rtp−svc−01 “RTP Payload Format for SVC Video”に基づくRTP(Real-time Transport Protocol)パケット形式とするが、パケットに時刻情報を付加できる形式であればMPEG−2 TS方式等他のパケット化形式であってもよい。
時刻情報設定手段104は、パケタイズ手段103が生成したパケットに指定されたクロックレートで時刻情報を付加する手段である。パケット化処理に際し、時刻情報設定手段104は、再生速度変更手段107から時刻情報の生成に使用するクロックレートの設定を受ける。本実施形態において、通常再生時にはRTPパケット化の規格で決定された標準値である90kHzのクロックレートの設定により、映像コンテンツ1秒間につき90,000の増加率の時刻情報をRTPヘッダのタイムスタンプに付加する。早送り再生を実施するときは再生速度変更手段107から新たなクロックレートが指定される。時刻情報設定手段104は、RTPタイムスタンプに時刻情報を付加した後に送出手段105にパケットを送出する。
送出手段105は、ネットワーク300にパケットを送出する手段である。本実施形態では、ソケットAPI(Application Program Interface)を利用して、ネットワークインターフェイスカードからインターネットにパケットを送出する処理を行う。送出処理は、時刻情報設定手段104からパケットを受信したタイミングで実施する。また、ネットワーク300がNGN網である場合は、各レイヤのIP(Internet Protocol)パケットに優先度情報を付加してもよい。
再生速度変更要求受付手段108は,ネットワーク300で接続された映像受信装置200から再生速度変更要求メッセージを受け付ける手段である。本実施形態では、RFC(Request For Comments) 2326 RTSP(Real Time Streaming Protocol)を用いるが、再生速度変更の要求が可能な他の通信プロトコルであってもよい。
映像配信装置100に対して再生速度変更を要求するとき、映像受信装置200は、PLAYメソッドに再生速度の倍率を示すScaleヘッダを付加したメッセージを送出する。例えば2倍の早送り再生を要求する場合は、PLAYメソッドに"Scale:2.0"というヘッダを付加する。再生速度変更要求メッセージを受け付けた再生速度変更要求受付手段108は、再生速度変更手段107に再生速度の倍率変更要求を通知する。再生速度変更手段107から再生速度変更要求への応答が返った場合には、映像受信装置200にその旨を示すACKメソッドとして再生速度変更応答メッセージを返す。
再生速度変更手段107は、再生速度変更要求受付手段108から再生速度倍率を取得し、映像コンテンツの各レイヤ別読み出しビットレートの変更を決定する手段である。再生速度変更手段107は、コンテンツ情報管理手段106から配信するコンテンツのレイヤ情報及びビットレート情報を取得する。また、ユーザから使用可能ネットワーク帯域の指定を受ける。
各レイヤ別の配信ビットレートの算出方法について、図5を参照して説明する。再生速度変更手段107は、ユーザから使用可能ネットワーク帯域Ballの指定を受ける。本実施形態ではBall=3Mbpsとする。この使用可能ネットワーク帯域Ballを超えない範囲で基本レイヤのストリームのビットレートに再生速度の倍率をかけて早送り再生時の基本レイヤ読み出しビットレートを算出する。例えば、1.5倍の時はBb*1.5=1.5Mbps、2.0倍の時はBb*2.0=2.0Mbps、2.5倍の時はBb*2.5=2.5Mbps、3.0倍の時はBb*3.0=3.0Mbpsとなる。
再生速度の倍率が1.5倍のときには基本レイヤの読み出しビットレートは1.5Mbpsであり、使用可能ネットワーク帯域Ballとの差から使用していない帯域が1.5Mbpsとなる。また、基本レイヤだけでなく、基本レイヤの上位レイヤである第1拡張レイヤを1.5倍速で送出しても使用帯域は(Bb*1.5)+(Be1*1.5)=3.0Mbpsとなり、使用可能ネットワーク帯域Ballを超えることはない。
このように、上位の拡張レイヤを含めてビットレートを上昇させても使用可能ネットワーク帯域Ballを超えない場合は、上位の拡張レイヤも含めて送出する処理を行ってもよい。このときは、受信端末上では基本レイヤのみを送出したとき以上の画質で早送り映像を視聴することが可能になる。しかし、本実施形態では、再生速度の倍率が2.0倍を超えるときは基本レイヤと同じ割合で第1拡張レイヤの読み出しビットレートを向上させると(Bb*2.0)+(Be1*2.0)=4.0Mbpsとなり、使用可能ネットワーク帯域Ballを超える。この場合は第1拡張レイヤの送出は行わずに、空き帯域を残したまま基本レイヤのみ2.0Mbpsでの送出を決定する。
なお、本実施形態では、再生速度の倍率が3.0倍を超える場合には、基本レイヤ読み出しビットレートが使用可能ネットワーク帯域Ballを超える。この場合は早送り要求へのエラーを返す。このエラーは再生速度変更要求受付手段108によって要求元へ通知される。また、エラーを返さずにフレーム間引きを実施して3.0倍を超える早送り映像を送出する処理を併用することも可能である。
また、使用可能ネットワーク帯域Ballにコンテンツ全体のビットレートを超える値を設定することも可能である。例えば使用可能ネットワーク帯域Ball に6.0Mbpsを指定した場合、全体の使用帯域は、再生速度が1.5倍の時に(Bb*1.5)+(Be1*1.5)+(Be2*1.5)=4.5Mbps、再生速度が2.0倍の時に(Bb*2.0)+(Be1*2.0)+(Be2*2.0)=6.0Mbps、再生速度が2.5倍の時に(Bb*2.5)+(Be1*2.5)+(Be2*0)=5.0Mbps、再生速度が3.0倍の時に(Bb*3.0)+(Be1*3.0)+(Be2*0)=6.0Mbpsとなる。使用可能ネットワーク帯域Ballに3.0Mbpsを指定したときに比べ、再生速度が1.5倍のときに第2拡張レイヤが、再生速度2.0倍の時に第1、第2拡張レイヤが、再生速度2.5倍の時に第1拡張レイヤが、再生速度3.0倍の時に第1拡張レイヤの配信が追加され、映像受信端末200ではより高画質での早送り再生が可能になる。
また、使用可能ネットワーク帯域Ballの設定を省略し、コンテンツの全レイヤのビットレートを加算した値を使用可能ネットワーク帯域Ballとして設定する方法も考えられる。この場合は本実施形態では使用可能ネットワーク帯域Ball=Bb+Be1+Be2=3Mbpsとなる。また、別途ネットワーク300のネットワーク帯域を計測しその値を使用してもよい。
再生速度変更手段107は、早送り再生時には上記の手続きで算出された新たな各レイヤ別読み出しビットレートをコンテンツ読み出し手段102に設定する。これにより早送り再生に必要なデータの供給レートを上昇させる。
また、再生速度変更手段107は、早送り再生時に、RTPタイムスタンプのクロックレートを変更する。通常再生時には90kHzのレートを使用するが、早送り倍率に従い、クロックレートを早送り倍率で割った値に変更する。本実施形態では、早送り倍率が1.5倍のときは90kHz/1.5=60kHz、早送り倍率が2.0倍のときは90kHz/2.0=45kHz、早送り倍率が2.5倍のときは90kHz/2.5=36kHz、早送り倍率が3.0倍のときは90kHz/3.0=30kHzとなる。
再生速度変更手段107は、早送り再生時にはこの変更された新たなRTPタイムスタンプのクロックレートを時刻情報設定手段104に設定する。これにより早送り再生時に映像受信装置200はRTPタイムスタンプに従ってデコードと再生を実施することで早送り再生映像を表示することが可能になる。
本実施形態では、再生速度変更手段107が読み出しビットレートの設定とクロックレートの設定を実施しているが、それぞれ別の手段に分離していてもよい。
続いて、映像受信装置の構成について説明する。図6は、本実施形態における映像受信装置の構成を示した機能ブロック図である。映像受信装置200は、受信手段201と、バッファリング手段202と、デパケタイズ手段203と、デコード手段204と、表示手段205と、再生速度変更指示入力手段206と、再生速度変更要求手段207から構成される。これらの手段はそれぞれ以下のように動作する。
受信手段201は、ネットワーク300を介して接続されている映像配信装置100から送られる映像ストリームを受信する手段である。本実施形態では、インターネットに接続された受信手段201がソケットAPIを用いてRTPパケットを受信する処理を行う。受信手段201に到着したパケットは直ちにバッファリング手段202に送られる。
バッファリング手段202は、受信した映像ストリームを再生処理に備えてバッファリングする手段である。バッファリングを行うことによりネットワーク上のジッタ等に影響されない一定のフレームレートによる映像再生が可能になる。パケットをバッファリングするタイミングは、受信手段201にRTPパケットが到着したときである。バッファリングされたパケットは、デパケタイズ手段203によって取り出される。デパケタイズ手段203は、バッファリング手段202から1つ以上のRTPパケットを取り出すことが可能である。また、バッファリングされた各RTPパケットのRTPタイムスタンプは、デコード手段204がデコード処理を行うかの判断を行うために取得することが可能である。
デパケタイズ手段203は、デコード手段204からの指示を受け、バッファリング手段202からRTPパケットを取り出し、映像ストリームを取得する手段である。デパケタイズ手段203は、デコード手段204からデコード対象となる時刻情報を受け取り、バッファリング手段202からのRTPパケットの取り出し処理を行う。RTPタイムスタンプの値がデコード対象となる時刻情報以下である1つ以上のRTPパケットを取り出し、RTPシーケンス番号順にRTPペイロードを取り出して結合する。この結合されたRTPペイロードは、H.264/SVCエレメンタリーストリームであり、デコード手段204に渡される。
デコード手段204は、H.264/SVCストリームをデコードし、ビットマップ映像を取得する手段である。デコード手段204は、内部にシステムクロックを備え、自律的にパケットの取り出し指示とデパケタイズ指示、デコード処理を行う。システムクロックは90kHzのクロックレートで進むカウンタであり、このカウンタの値がデコード対象となるRTPパケットを特定する時刻情報になる。また、デコード手段204は、システムクロックの値以下のRTPタイムスタンプを持つRTPパケットがバッファリング手段202に存在するときにデコード処理を実施する。そして、デコード手段204は、デパケタイズ手段203にシステムクロック値を渡し、デコード対象のH.264/SVCエレメンタリーストリームを取得する。
取得されたH.264/SVCエレメンタリーストリームを構成するNALユニットには、各レイヤを識別するための識別子である、nal_unit_typeが存在する。デコード手段204は、このnal_unit_typeを常時確認することで、到着したレイヤをNALユニット単位で識別する。デコード手段204は、基本レイヤから上位階層に向けて順番に拡張レイヤが存在するかを確認する。その後存在しない階層の内、最も下位層の拡張レイヤを特定し、その階層未満の拡張レイヤと基本レイヤのデコードを実施する。
例えば映像配信装置100が基本レイヤのみを送出するときは、デコード手段204は基本レイヤのデコードのみを実施する。第2階層の拡張レイヤを送出しないときは、上記により基本レイヤと第1拡張レイヤのみのデコードを実施する。これにより拡張レイヤの構成が変更された場合にもデコードを継続することが可能であるとともに、早送り再生時に全レイヤをデコードする場合に比べてプロセッサの負荷を低下させることが可能である。デコードの結果得られたビットマップデータは直ちに表示手段205に送られる。
本実施形態では、入力されたH.264/SVCエレメンタリーストリームの基本レイヤから連続して存在する拡張レイヤはデコード可能とし、すべてデコードの対象とする方式として説明しているが、別途ユーザからデコード手段204へ受信し、デコード可能な拡張レイヤの中でデコードの対象とする拡張レイヤの階層を指定する手段を備えるように構成してもよい。
表示手段205は、ビットマップデータを画面上に表示する手段である。デコード手段205から出力されたビットマップデータを受け取り、映像受信端末200に搭載されるか、映像受信端末200に接続された映像表示装置上に表示する処理を行う。本実施形態において映像表示装置に関する記載は省略している。
表示手段205は、デコード手段204からビットマップデータの出力を受けたタイミングで表示を開始し、次のビットマップデータを受けるまでビットマップデータを表示し続ける。これによりデコード手段204がデコード映像を出力しなかった場合でも次のデコードが正常に完了するまで映像を表示し続け、再生映像の品質の劣化を抑えることが可能になる。
再生速度変更指示入力手段206は、ユーザからの再生速度の変更要求を受け付ける手段である。受付の方式は、早送りボタンの押下のほか、マウスによってスライドバーをドラッグする操作、キーを用いて再生倍率を入力する等の方法が考えられる。入力された再生速度の変更要求は、再生速度の倍率に変換されて再生速度変更要求手段207に送られる。
再生速度変更要求手段207は、ネットワーク300で接続された映像配信装置100に対して再生速度の変更を要求する手段である。本実施形態では、RTSPのプロトコルを用い、Scaleヘッダを付加したPLAYメソッドを送出する処理を実施する。また、映像配信装置100から早送りが可能か否かのレスポンスを受信する処理を行う。
本実施形態では再生速度の変更は正方向の早送り再生のみであったが、逆再生時の速度変更であってもよい。また、映像配信装置100と映像受信装置200はネットワーク300で接続されるように構成したが、図7に示すように、映像再生装置700内部に映像配信装置100及び映像受信装置200を配置するようなネットワークを使用しない構成でもよい。
次に、映像配信装置が行う映像コンテンツ早送り処理について図8を参照して説明する。図8は、本実施形態における映像配信装置の再生速度変更処理の流れを示したフローチャートで、映像配信装置100の再生速度変更手段107がn倍速の早送りを実施する場合の処理について表したものである。なお、図8のフローチャートではエラー処理を省略している。
まず、映像再生速度変更要求受付手段108からn倍速の早送り命令の指示を再生速度変更手段107が受ける(ステップS801)。次いで、再生速度変更手段107は、コンテンツ情報管理手段106からコンテンツの全レイヤのビットレート情報を取得する(ステップS802)。
再生速度変更手段107は、使用可能ネットワーク帯域を決定する(ステップS803)。この値はユーザから指定されるか、全レイヤのビットレートを加算した場合でもよい。また、現在接続されているネットワーク300の利用可能なネットワーク帯域を計測した結果から決定してもよい。
続いて、早送り再生のため、各レイヤを読み出すビットレートの算出を行う。この早送り再生時に設定する読み出しビットレートを、早送りビットレートと呼ぶ。初期化のため各レイヤの早送りビットレートの値を0とする(ステップS804)。最初に計算対象となるレイヤとして最下位のレイヤを選択する。この場合の最下位レイヤは基本レイヤである(ステップS805)。
次いで、計算対象レイヤの通常再生時のビットレートにnをかけた値を対象レイヤの早送りビットレートとして記憶させる(ステップS806)。そして、全レイヤの早送りビットレートの合計を求める(ステップS807)。この全レイヤの早送りビットレートの合計は、早送り再生時の使用ネットワーク帯域を表す。
続いて、先ほど算出した全レイヤの早送りビットレートの合計が事前に決定した使用可能ネットワーク帯域を超えていないかを判定する(ステップS808)。
早送りビットレートの合計が使用可能ネットワーク帯域を超えていない場合(ステップS808/NO)は、計算対象となるレイヤを1つ上位のレイヤに変更する(ステップS814)。例えば現在の計算対象となるレイヤが基本レイヤであれば第1拡張レイヤを新たな計算対象とし、現在の計算対象となるレイヤが第1拡張レイヤであれば第2拡張レイヤを新たな計算対象とする。その後ステップS806に処理を移して、次のレイヤの早送りビットレートを求める。
他方、早送りビットレートの合計が使用可能ネットワーク帯域を超えた場合(ステップS808/YES)は、このまま早送り再生時を行えば指定された使用可能ネットワーク帯域を超えた配信を行うことになる。帯域の超過が許されない場合は現在の計算対象となるレイヤを読み出す処理を行うことはできない。そのため計算対象レイヤの早送りビットレートを0に変更する(ステップS809)。これ以上送出レイヤを増やすことはできないため、以降の設定変更処理に移る。
上記の処理で求められた各レイヤの早送りビットレートをコンテンツ読み出し手段102に設定するため、読み出し処理を一時停止し(ステップS810)、コンテンツ読み出し手段102に対して各レイヤの早送りビットレートを指定する(ステップS811)。このとき、早送りビットレートに0が設定されているレイヤは、読み出し処理を行わずにスキップすることを意味する。また、早送り再生時にパケットに付加する時刻情報の増分を変更するため、時刻情報設定手段104が持つクロックレートをn分の1に変更する(ステップS812)。
最後に、コンテンツ読み出し手段102による読み出し処理を再開する(ステップS813)。以降、映像配信装置100はn倍の早送り再生を実施する。
上述した本実施形態によれば、第1の効果は、送出ビットレートを増加させずに早送り再生を実現できることである。その理由は、基本レイヤを含むストリームの一部のみを通常再生以上のレートで送出するためである。まず送出コンテンツをスケーラブルコーデックでエンコードしておくことにより、一部若しくは全ての拡張レイヤを送出しなくても映像受信装置は再生を行うことが可能である。送出を停止した拡張レイヤが占めていた帯域を、基本レイヤの送出レート上昇のために割り当てることにより、全体のネットワーク利用帯域を上昇させることなく、通常再生レート以上の基本レイヤストリームを送出することが可能になるためである。
また、上述した本実施形態によれば、第2の効果は、早送り再生時に受信装置のデコード負荷を軽減できることである。その理由は、早送り再生時に映像受信装置は通常の再生レート以上のデコード処理を行うが、配信装置が送出するストリームはストリーム全体ではなく、拡張レイヤの一部若しくは全てが存在しないストリームである。そのため、映像受信装置では早送り再生時に送出されなかった拡張レイヤのデコード処理を行う必要がなく、全てのレイヤをデコードする既存の方式よりもデコード負荷を軽減することが可能になるためである。
また、上述した本実施形態によれば、第3の効果は、早送り再生時に滑らかな映像表示を実現できることである。その理由は、映像配信装置が送出する映像に対してフレーム単位の間引き処理を行わないためである。映像配信装置は、フレーム単位の間引き処理を行う代わりに、基本レイヤあるいは基本レイヤと一部の拡張レイヤのみを送出することで早送り再生時のビットレートの削減を実現している。そのため、映像受信装置では早送り再生中にコンテンツの全フレームを表示することが可能になるからである。
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
つまり、本発明は、VoDサーバやnDVR等の映像配信装置や、HDDレコーダ等の映像再生装置と言った用途に適用することができる。また、本発明は、映像配信装置等に上述してきたような動作を実行させるプログラム、これを記録した記録媒体として実施することもできる。
例えば本実施形態における映像配信装置で実行されるプログラムは、先に述べた各部(再生速度変更手段、コンテンツ読み出し手段、時刻情報設定手段等)を含むモジュール構成となっており、実際のハードウェアを用いて具体的手段を実現する。すなわち、映像配信装置のコンピュータ(CPU)が所定の記録媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、再生速度変更手段、コンテンツ読み出し手段、時刻情報設定手段等が主記憶装置上に生成される。
本実施形態における映像配信装置で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ROM等にあらかじめ組み込んで提供するように構成してもよい。
この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。
この出願は、2008年2月20日に出願された日本出願特願2008−038818を基礎とする優先権を主張し、その開示を全てここに取り込む。
本発明の実施形態に係る映像配信システムの構成を示した概略図である。 本発明の実施形態に係る映像配信装置の構成を示した機能ブロック図である。 本発明の実施形態において配信される映像コンテンツのデータ構造を説明するための図である。 本発明の実施形態において配信される映像コンテンツのデータ構造を説明するための図である。 本発明の実施形態における各レイヤ別の配信ビットレートの算出方法を説明するための図である。 本発明の実施形態に係る映像配信装置の構成を示した機能ブロック図である。 本発明の実施形態に係る映像再生装置の構成を示した概略図である。 本発明の実施形態における映像配信装置の再生速度変更処理の流れを示したフローチャートである。
符号の説明
100 映像配信装置
101 コンテンツ記憶手段
102 コンテンツ読み出し手段
103 パケタイズ手段
104 時刻情報設定手段
105 送出手段
106 コンテンツ情報管理
107 再生速度変更手段
108 再生速度変更要求受付手段
200 映像受信装置
201 受信手段
202 バッファリング手段
203 デパケタイズ手段
204 デコード手段
205 表示手段
206 再生速度変更指示入力手段
207 再生速度変更要求手段
300 ネットワーク
700 映像再生装置

Claims (31)

  1. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置であって、
    前記映像コンテンツ中の前記基本信号と前記拡張信号とをそれぞれ独立のビットレートで読み出すコンテンツ読み出し手段と、
    前記コンテンツ読み出し手段に各信号別の読み出しビットレートを指定することにより、コンテンツの再生速度を変更する再生速度変更手段とを備え
    前記再生速度変更手段は、
    前記映像コンテンツを構成する全レイヤのビットレートを取得し、そして
    ネットワークの使用可能帯域幅を決定すると共に、
    前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程において、再生フレームレートの変更指示を取得するのに応じて、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止すると共に、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行う
    ことを特徴とする映像配信装置。
  2. 前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
    前記再生速度変更手段に前記再生フレームレートの変更を指示する再生速度変更要求受付手段と、を備え、
    前記再生速度変更手段は、
    前記コンテンツ情報管理手段から取得した前記ビットレート情報を用いて、前記再生速度変更要求受付手段から指示された前記再生フレームレートを実現するために、映像コンテンツを読み出すための各信号別の読み出しビットレートを決定する
    ことを特徴とする請求項1に記載の映像配信装置。
  3. 前記コンテンツ読み出し手段が読み出した前記映像コンテンツに、時刻情報を付加する時刻情報設定手段を備え、
    前記再生速度変更手段は、
    再生速度変更の決定を行った場合、前記時刻情報設定手段に対して、前記時刻情報のクロックレートの変更を指示する
    ことを特徴とする請求項1又は2に記載の映像配信装置。
  4. 前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
    前記再生速度変更手段に前記再生フレームレートの変更を指示する再生速度変更要求受付手段と、を更に備え、
    前記再生速度変更手段は、
    前記コンテンツ情報管理手段から前記ビットレート情報として各信号のビットレートを取得し、
    前記再生速度変更要求受付手段から前記再生フレームレートの変更指示として映像再生フレームレートの倍率を取得し、
    前記各信号のビットレートと前記映像再生フレームレートの倍率との積を算出して読み出しビットレートの変更を行う
    ことを特徴とする請求項1からのいずれか1項に記載の映像配信装置。
  5. 前記コンテンツ読み出し手段が読み出した前記映像コンテンツに時刻情報を付加する時刻情報設定手段を更に備え、
    前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して、前記時刻情報のクロックレートを再生速度の変更倍率で除した値に変更する指示を行うことを特徴とする請求項1からのいずれか1項に記載の映像配信装置。
  6. 前記再生速度変更手段に再生フレームレートの変更を指示する再生速度変更要求受付手段を更に備え、
    前記再生速度変更要求受付手段は、
    ネットワーク上の映像受信装置から再生速度変更要求を受け付ける
    ことを特徴とする請求項1からのいずれか1項に記載の映像配信装置。
  7. 前記映像コンテンツは、H.264/SVCコーデックでエンコードされたコンテンツであり、
    前記基本信号は、H.264/SVCの基本レイヤであり、そして
    前記拡張信号は、H.264/SVCの拡張レイヤである
    ことを特徴とする請求項1からのいずれか1項に記載の映像配信装置。
  8. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置であって、
    前記請求項1に記載された映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求手段と、
    前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施するデコード手段と、
    を備えることを特徴とする映像受信装置。
  9. 前記デコード手段は、
    入力される映像コンテンツ中に含まれる信号識別子を読み出して信号の種別を識別し、
    前記識別を繰り返して前記映像コンテンツ中に含まれない前記拡張信号を特定し、
    前記映像コンテンツ中に含まれない前記拡張信号の中で最も下位の階層を特定し、
    前記特定した最も下位の階層より下の階層の前記拡張信号と前記基本信号とについてデコード処理を行う
    ことを特徴とする請求項に記載の映像受信装置。
  10. 前記デコード手段は、
    入力される映像コンテンツ中に含まれる前記拡張信号のうち、デコード処理の対象とする前記拡張信号の階層を、ユーザからの指示により変更する
    ことを特徴とする請求項又はに記載の映像受信装置。
  11. 前記映像コンテンツは、H.264/SVCコーデックでエンコードされたコンテンツであり、
    前記基本信号は、H.264/SVCの基本レイヤであり、そして
    前記拡張信号は、H.264/SVCの拡張レイヤである
    ことを特徴とする請求項から10のいずれか1項に記載の映像受信装置。
  12. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置と、前記映像配信装置により配信された前記映像コンテンツを受信する映像受信装置と、を備える映像配信システムであって、
    前記映像配信装置として、前記請求項1に記載された映像配信装置を備え、
    前記映像受信装置は、
    前記映像コンテンツの再生速度の倍率変更要求を、前記映像配信装置に送出する再生速度変更要求手段と、
    前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施するデコード手段とを備える
    ことを特徴とする映像配信システム。
  13. 前記映像配信装置は、
    前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
    前記再生速度変更手段に前記再生フレームレートの変更を指示する再生速度変更要求受付手段とを更に備え、
    前記再生速度変更手段は、
    前記コンテンツ情報管理手段から取得した前記ビットレート情報を用いて、前記再生速度変更要求受付手段から指示された前記再生フレームレートを実現するために、映像コンテンツを読み出すための各信号別の読み出しビットレートを決定する
    ことを特徴とする請求項12に記載の映像配信システム。
  14. 前記映像配信装置は、前記コンテンツ読み出し手段が読み出した前記映像コンテンツに、時刻情報を付加する時刻情報設定手段を更に備え、
    前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して、前記時刻情報のクロックレートの変更を指示する
    ことを特徴とする請求項12又は13に記載の映像配信システム。
  15. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置と、前記映像配信装置により配信された前記映像コンテンツを受信する映像受信装置と、を備え、前記両装置がバス接続されて構成される映像再生装置であって、
    前記請求項1に記載された映像配信装置を備え、
    前記映像受信装置は、
    前記映像コンテンツの再生速度の倍率変更要求を、前記映像配信装置に送出する再生速度変更要求手段と、
    前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施するデコード手段とを備える
    ことを特徴とする映像再生装置。
  16. 前記映像配信装置は、
    前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理手段と、
    前記再生速度変更手段に前記再生フレームレートの変更を指示する再生速度変更要求受付手段とを更に備え、
    前記再生速度変更手段は、
    前記コンテンツ情報管理手段から取得した前記ビットレート情報を用いて、前記再生速度変更要求受付手段から指示された前記再生フレームレートを実現するために、映像コンテンツを読み出すための各信号別の読み出しビットレートを決定する
    ことを特徴とする請求項15に記載の映像再生装置。
  17. 前記映像配信装置は、前記コンテンツ読み出し手段が読み出した前記映像コンテンツに、時刻情報を付加する時刻情報設定手段を更に備え、
    前記再生速度変更手段は、再生速度変更の決定を行った場合、前記時刻情報設定手段に対して、前記時刻情報のクロックレートの変更を指示する
    ことを特徴とする請求項15又は16記載の映像再生装置。
  18. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信方法であって、
    前記映像コンテンツ中の前記基本信号と前記拡張信号とについて、各信号別の読み出しビットレートを指定することによってコンテンツ再生速度を変更する再生速度変更ステップと、
    前記再生速度変更ステップにより指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出しステップとを有し、
    前記再生速度変更ステップでは、
    前記映像コンテンツを構成する全レイヤのビットレートを取得し、そして
    ネットワークの使用可能帯域幅を決定すると共に、
    前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程において、再生フレームレートの変更指示を取得するのに応じて、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止すると共に、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を行う
    ことを特徴とする映像配信方法。
  19. 前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理ステップと、
    前記再生速度変更ステップによる再生速度変更に際して、前記再生フレームレートの変更を指示する再生速度変更要求受付ステップとを有し、
    前記再生速度変更ステップは、
    前記コンテンツ情報管理ステップにより管理される前記ビットレート情報を取得して用いて、前記再生速度変更要求受付ステップにより指示された前記再生フレームレートを実現するために、映像コンテンツを読み出すための各信号別の読み出しビットレートを決定する
    ことを特徴とする請求項18に記載の映像配信方法。
  20. 前記コンテンツ読み出しステップにより読み出された前記映像コンテンツに、時刻情報を付加する時刻情報設定ステップを有し、
    前記再生速度変更ステップは、再生速度変更の決定を行った場合、前記時刻情報設定ステップによる時刻情報の付加で用いられる前記時刻情報のクロックレートの変更する
    ことを特徴とする請求項18又は19に記載の映像配信方法。
  21. 前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理ステップと、
    前記再生速度変更ステップによる再生速度変更に際して、再生フレームレートの変更を指示する再生速度変更要求受付ステップとを更に有し、
    前記再生速度変更ステップは、
    前記コンテンツ情報管理ステップにより管理された前記ビットレート情報として各信号のビットレートを取得するステップと、
    再生フレームレートの変更指示として映像再生フレームレートの倍率を取得するステップと、
    前記各信号のビットレートと前記映像再生フレームレートの倍率との積を算出して読み出しビットレートの変更を行うステップとを含む
    ことを特徴とする請求項18から20のいずれか1項に記載の映像配信方法。
  22. 前記コンテンツ読み出しステップにより読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定ステップを更に有し、
    前記再生速度変更ステップは、再生速度変更の決定を行った場合、前記時刻情報設定ステップによる時刻情報付加で用いられる前記時刻情報のクロックレートを再生速度の変更倍率で除した値に変更することを特徴とする請求項18から21のいずれか1項に記載の映像配信方法。
  23. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信方法であって、
    前記請求項1に記載された映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出
    前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って、映像デコード処理を実施する
    ことを特徴とする映像受信方法。
  24. 前記映像デコード処理を行うに際して
    入力される映像コンテンツ中に含まれる信号識別子を読み出して信号の種別を識別
    前記識別を繰り返して前記映像コンテンツ中に含まれない前記拡張信号を特定
    前記映像コンテンツ中に含まれない前記拡張信号の中で最も下位の階層を特定
    前記特定した最も下位の階層より下の階層の前記拡張信号と前記基本信号とについてデコード処理を行
    ことを特徴とする請求項23に記載の映像受信方法。
  25. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを配信する映像配信装置に用いられるプログラムであって、
    コンピュータに、
    前記映像コンテンツ中の前記基本信号と前記拡張信号について、各信号別の読み出しビットレートを指定することによってコンテンツの再生速度を変更する再生速度変更機能と、
    前記再生速度変更機能により指定されたビットレートに従って、各信号をそれぞれ独立のビットレートで読み出すコンテンツ読み出し機能とを実現させ、
    前記再生速度変更機能では、
    前記映像コンテンツを構成する全レイヤのビットレートを取得し、そして
    ネットワークの使用可能帯域幅を決定すると共に、
    前記基本信号から前記拡張信号の順に各信号の読み出しビットレートを変更する過程において、再生フレームレートの変更指示を取得するのに応じて、変更された各信号の読み出しビットレートの合計が前記ネットワーク使用可能帯域幅を超えないように各信号の読み出しビットレートの変更を停止すると共に、該変更をしなかった階層以上の拡張信号の読み出しを停止する指示を実現させることを特徴とするプログラム。
  26. 前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理機能と、
    前記再生速度変更機能による再生速度変更に際して、前記再生フレームレートの変更を指示する再生速度変更要求受付機能と、をコンピュータに更に実現させ、
    前記再生速度変更機能は、
    前記コンテンツ情報管理機能により管理された前記ビットレート情報を取得して用いて、前記再生速度変更要求受付機能により指示された前記再生フレームレートを実現するために、映像コンテンツを読み出すための各信号別の読み出しビットレートを決定する
    ことを特徴とする請求項25に記載のプログラム。
  27. 前記コンテンツ読み出し機能により読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定機能をコンピュータに更に実現させ、
    前記再生速度変更機能は、再生速度変更の決定を行った場合、前記時刻情報設定機能による時刻情報付加で用いられる前記時刻情報のクロックレート変更することを特徴とする請求項25又は26に記載のプログラム。
  28. 前記映像コンテンツ中の前記基本信号及び前記拡張信号のビットレート情報を管理するコンテンツ情報管理機能と、
    前記再生速度変更機能による再生速度の変更に際して、前記再生フレームレートの変更を指示する再生速度変更要求受付機能と、をコンピュータに更に実現させ、
    前記再生速度変更機能は、
    前記コンテンツ情報管理手段により管理された前記ビットレート情報として各信号のビットレートを取得し、
    前記再生速度変更要求受付機能による前記再生フレームレートの変更指示として、映像再生フレームレートの倍率を取得し、
    前記各信号のビットレートと前記映像再生フレームレートの倍率との積を算出して読み出しビットレートの変更を行う
    ことを特徴とする請求項25から27のいずれか1項に記載のプログラム。
  29. 前記コンテンツ読み出し機能により読み出された前記映像コンテンツに時刻情報を付加する時刻情報設定機能をコンピュータに更に実現させ、
    前記再生速度変更機能は、
    再生速度変更の決定を行ったときに、前記時刻情報設定機能による時刻情報付加で用いられる前記時刻情報のクロックレートを再生速度の変更倍率で除した値に変更する
    ことを特徴とする請求項25から28のいずれか1項に記載のプログラム。
  30. 階層状に構成された基本信号及び拡張信号を含む映像コンテンツを映像配信装置から受信する映像受信装置で用いられるプログラムであって、
    コンピュータに、
    前記請求項1に記載の映像配信装置に対して、前記映像コンテンツの再生速度の倍率変更要求を送出する再生速度変更要求機能と、
    前記映像配信装置から受信した前記映像コンテンツに付加された時刻情報に従って映像デコード処理を実施するデコード機能と、
    を実現させることを特徴とするプログラム。
  31. 前記デコード機能は、
    入力される映像コンテンツ中に含まれる信号識別子を読み出して信号の種別を識別し、
    該識別を繰り返して前記映像コンテンツ中に含まれない前記拡張信号を特定し、
    前記映像コンテンツ中に含まれない前記拡張信号の中で最も下位の階層を特定し、
    前記特定した最も下位の階層より下の階層の前記拡張信号と前記基本信号とについてデコード処理を行う
    ことを特徴とする請求項30に記載のプログラム。
JP2009554344A 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法 Active JP5257367B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009554344A JP5257367B2 (ja) 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008038818 2008-02-20
JP2008038818 2008-02-20
PCT/JP2009/052785 WO2009104639A1 (ja) 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法
JP2009554344A JP5257367B2 (ja) 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法

Publications (2)

Publication Number Publication Date
JPWO2009104639A1 JPWO2009104639A1 (ja) 2011-06-23
JP5257367B2 true JP5257367B2 (ja) 2013-08-07

Family

ID=40985517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009554344A Active JP5257367B2 (ja) 2008-02-20 2009-02-18 映像配信装置、映像配信システム及び映像配信方法

Country Status (3)

Country Link
US (1) US8572670B2 (ja)
JP (1) JP5257367B2 (ja)
WO (1) WO2009104639A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5257367B2 (ja) * 2008-02-20 2013-08-07 日本電気株式会社 映像配信装置、映像配信システム及び映像配信方法
KR20110071707A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 동영상 컨텐트 제공 방법 및 그 장치, 동영상 컨텐트 재생 방법 및 그 장치
US8925021B2 (en) 2011-07-11 2014-12-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for trick play in over-the-top video delivery
US10873772B2 (en) 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
WO2013125158A1 (ja) * 2012-02-21 2013-08-29 パナソニック株式会社 映像出力装置
RU2015105986A (ru) * 2012-08-27 2016-09-10 Сони Корпорейшн Передающее устройство, способ передачи, приёмное устройство и способ приёма
US9560392B2 (en) * 2012-09-07 2017-01-31 Google Inc. Dynamic bit rate encoding
JP6196036B2 (ja) 2012-12-26 2017-09-13 ハリマ化成株式会社 フラックスおよびはんだペースト
US10015111B2 (en) * 2013-03-15 2018-07-03 Huawei Technologies Co., Ltd. System and method for steering packet streams
US9088813B2 (en) 2013-10-07 2015-07-21 Ericsson Television Inc. Network personal video recorder savings with scalable video coding
WO2019017298A1 (ja) * 2017-07-19 2019-01-24 日本電気株式会社 データ配信装置、システム、方法および記録媒体
WO2019204714A1 (en) 2018-04-19 2019-10-24 Cramer Llc Chair having pliable backrest and methods for same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180224A (ja) * 2002-11-29 2004-06-24 Kyocera Corp 動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法
JP2005130428A (ja) * 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
US20050117641A1 (en) * 2003-12-01 2005-06-02 Jizheng Xu Enhancement layer switching for scalable video coding
JP2005277803A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd 動画像再生装置
WO2006101681A2 (en) * 2005-03-18 2006-09-28 Sharp Kabushiki Kaisha Methods and systems for picture up-sampling
US20080025413A1 (en) * 2006-07-28 2008-01-31 John Apostolopoulos Selecting bit rates for encoding multiple data streams

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
JP2002354419A (ja) 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
US7941029B2 (en) * 2004-12-24 2011-05-10 Panasonic Corporation Moving-image shooting device, method of shooting moving-image, recording medium in which video signals are recorded by the same shooting device, moving-image reproducing device for reproducing the video signals recorded in the same medium, and method of reproducing the moving-image
JP2006295645A (ja) 2005-04-12 2006-10-26 Matsushita Electric Ind Co Ltd 特殊再生データ生成方法、配信装置及びビデオ再生システム
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
JP5257367B2 (ja) * 2008-02-20 2013-08-07 日本電気株式会社 映像配信装置、映像配信システム及び映像配信方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180224A (ja) * 2002-11-29 2004-06-24 Kyocera Corp 動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法
JP2005130428A (ja) * 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
US20050117641A1 (en) * 2003-12-01 2005-06-02 Jizheng Xu Enhancement layer switching for scalable video coding
JP2005277803A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd 動画像再生装置
WO2006101681A2 (en) * 2005-03-18 2006-09-28 Sharp Kabushiki Kaisha Methods and systems for picture up-sampling
US20080025413A1 (en) * 2006-07-28 2008-01-31 John Apostolopoulos Selecting bit rates for encoding multiple data streams

Also Published As

Publication number Publication date
US8572670B2 (en) 2013-10-29
JPWO2009104639A1 (ja) 2011-06-23
US20110010748A1 (en) 2011-01-13
WO2009104639A1 (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
JP5257367B2 (ja) 映像配信装置、映像配信システム及び映像配信方法
US11856329B2 (en) Dynamic advertisement stream replacement
JP5338394B2 (ja) 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
CN112752115B (zh) 直播数据传输方法、装置、设备及介质
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
US20120047280A1 (en) Method and apparatus for reducing deterioration of a quality of experience of a multimedia service in a multimedia system
US20060037057A1 (en) Method and system of enabling trick play modes using HTTP GET
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
EP2413564B1 (en) Method and apparatus for transmitting and receiving streaming data based on RTSP sessions
US20100064054A1 (en) Remote fast forward and rewind functionality for client devices
US20040034870A1 (en) Data streaming system and method
KR20120035881A (ko) Http 스트리밍의 표현 스위칭시 자연스런 재생을 위한 스케일러블한 http 스트리밍 전송 방법
CN112584087B (zh) 视频会议录制方法、电子装置和存储介质
KR20020081519A (ko) 주문형 비디오 시스템에서 동영상의 스트리밍 방법
JP2004272712A (ja) 受信装置および情報閲覧方法
JP2010021663A (ja) 通信装置及び通信方法
JP4998775B2 (ja) 情報配信システム及び方法とその情報配信装置、受信端末、情報中継装置
JP4526294B2 (ja) ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
JP5151763B2 (ja) 映像配信システム、映像配信装置、映像受信装置、映像配信方法、映像受信方法及びプログラム
JP5031230B2 (ja) データ送信装置及び方法
JP2006295601A (ja) 通信システム、送信装置および方法、受信装置および方法、並びにプログラム
JP2004159057A (ja) 再生情報配信システム及び再生情報配信方法
JP4794640B2 (ja) 送信装置およびメディアデータ送信方法
JP4528022B2 (ja) 映像配信方法およびシステム
JP5310718B2 (ja) 映像再生装置、映像配信システム、映像再生方法およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5257367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150