JPWO2018173876A1 - コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム - Google Patents

コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018173876A1
JPWO2018173876A1 JP2019507592A JP2019507592A JPWO2018173876A1 JP WO2018173876 A1 JPWO2018173876 A1 JP WO2018173876A1 JP 2019507592 A JP2019507592 A JP 2019507592A JP 2019507592 A JP2019507592 A JP 2019507592A JP WO2018173876 A1 JPWO2018173876 A1 JP WO2018173876A1
Authority
JP
Japan
Prior art keywords
content data
editing
content
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019507592A
Other languages
English (en)
Inventor
富三 白石
富三 白石
高林　和彦
和彦 高林
平林　光浩
光浩 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018173876A1 publication Critical patent/JPWO2018173876A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、配信するコンテンツの編集を適切に行うことができるようにするコンテンツ処理装置およびコンテンツ処理方法、並びにプログラムに関する。オンライン編集部は、ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信する。オフライン編集部は、保存部からコンテンツデータを読み出して、複数の編集レベルで編集を行う。本技術は、例えば、PEG-DASHによりコンテンツを配信する配信システムに適用できる。

Description

本開示は、コンテンツ処理装置およびコンテンツ処理方法、並びにプログラムに関し、特に、配信するコンテンツの編集を適切に行うことができるようにしたコンテンツ処理装置およびコンテンツ処理方法、並びにプログラムに関する。
IPTV（Internet Protocol Television）等のインターネットストリーミングにおける標準化の流れとして、HTTP（Hypertext Transfer Protocol）ストリーミングによるVOD（Video On Demand）ストリーミングや、ライブストリーミングに適用される方式の標準化が行われている。
特に、ISO/IEC/MPEGで標準化が行われているMPEG-DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP)が注目されている（例えば、非特許文献１参照）。
ところで、従来、音楽コンサートやスポーツなどのイベントをMPEG DASHを用いたライブストリーミングで配信したのち、同じ映像データをオンデマンド配信することが行われている。このとき、オンデマンド配信に際しては、出演者や主催者等の意向によって一部のデータをライブ配信時のものと差し替える場合がある。
例えば、音楽アーティストの公演などの生中継による放送が行われるとともに、後日それがDVDやBlu-ray Discのようなパッケージメディアとして販売されることがある。しかし、そのような場合であっても放送とパッケージメディア向けのコンテンツ制作は別々に行われることが多く、放送で流された映像および音声がそのままパッケージメディアとして販売されるわけではない。その理由として、パッケージメディアはそれ自体がアーティストの作品であるためその品質に対する要求が高く、生収録の映像や音声をそのまま用いるだけでなく、様々な編集や加工を施す必要があるからである。
一方で、最近ではインターネット等を経由したDASHストリーミングを用いてライブ配信を行い、その同じコンテンツをストリーミング開始から一定の時間が経過した後、または、ストリーミング終了後にオンデマンド配信によって提供することが行われるようになった。なお、実際にライブ収録またはキャプチャされたものだけでなく、放送局などからのフィードをリアルタイムでDASHセグメント化したものである場合もある。
例えば、ライブ（リアルタイム）配信を見逃したユーザに向けたキャッチアップ視聴サービスや、クラウドでの録画に相当するサービスなどである。例えば、後者は、一般にnPVR（Network Personal Video Recorder）と呼ばれることがある。
音楽アーティストの公演もこれと同じようにDASHストリーミングによるライブ配信を行い、これを随時オンデマンド化することが考えられるが、前述のパッケージメディアに相当する、長期間にわたって視聴可能なコンテンツとしてライブ配信時のものをそのまま使用することに対してはアーティストの許諾が得られない場合がある。そうなると、従来の生放送とパッケージメディアのようにそれぞれを別のコンテンツとして制作することとなり、ライブ配信のために配信サーバに配置されＣＤＮ内にいきわたったデータはライブ配信期間を過ぎれば無用のデータとなり、変わってオンデマンド配信用の別のデータをサーバに配置およびＣＤＮで流通させなければならない。
実際には、ライブ配信時とオンデマンド配信用のコンテンツの全ての時間において内容（映像、音声）が異なるわけではなく重複する内容（映像、音声）があるはずであるが、その分も含めて配信サーバへのアップロードやＣＤＮのキャッシュへの配送を重ねて行うことになり、その分の通信コストが発生してしまう。
また、最終的なオンデマンド配信向けの作品（パッケージメディアとして販売するレベル）に仕上げるための編集・調整・加工にはそれなりの時間がかかり、ライブ配信終了からオンデマンド配信での提供までの間隔が長くなってしまう。
ISO/IEC 23009-1:2012 Information technology Dynamic adaptive streaming over HTTP (DASH) FDIS ISO/IEC 23009-5: 201x Server and Network Assisted DASH (SAND)
上述したように、従来、コンテンツの編集に時間がかかっていたため、配信するコンテンツの編集を適切に行えるようにすることが求められている。
本開示は、このような状況に鑑みてなされたものであり、配信するコンテンツの編集を適切に行うことができるようにするものである。
本開示の一側面のコンテンツ処理装置は、ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信するオンライン編集部を備える。
本開示の一側面のコンテンツ処理方法またはプログラムは、ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信するステップを含む。
本開示の一側面においては、ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には編集用バッファ内でコンテンツデータを修正し、修正後のコンテンツデータが差し替えられて配信される。
本開示の一側面によれば、配信するコンテンツの編集を適切に行うことができる。
本技術を適用したコンテンツ配信システムの一実施の形態の構成例を示すブロック図である。 ライブ配信データの生成から、DASH配信サーバへのアップロードまでの処理について説明する図である。 セグメント単位での置換を説明する図である。 オフライン編集を行う処理について説明する図である。 ライブ配信時のMPDの一例を示す図である。 ライブ配信時のMPDに対して置換するセグメントの情報を付加したMPDの一例を示す図である。 MPDの一例を示す図である。 セグメントを置換したMPDの一例を示す図である。 SegmentTimeline elementの例を示す図である。 AlteredSegmentTimelineの例を示す図である。 SegmentTimelineの例を示す図である。 置換告知SANDメッセージの概念を説明する図である。 SANDメッセージの例を示す図である。 ResourceStatusエレメントの定義例を示す図である。 ビデオ自動処理およびオーディオ自動処理について説明する図である。 修正のレベルについて説明する図である。 DASHクライアント部の構成例を示すブロック図である。 ライブ配信処理を説明するフローチャートである。 ビデオ自動処理を説明するフローチャートである。 オーディオ自動処理を説明するフローチャートである。 DASHクライアント処理を説明するフローチャートである。 オフライン編集処理を説明するフローチャートである。 置換データ生成処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜コンテンツ配信システムの構成例＞
図１は、本技術を適用したコンテンツ配信システムの一実施の形態の構成例を示すブロック図である。
図１に示すように、コンテンツ配信システム１１は、撮影装置１２−１乃至１２−３、収音装置１３−１乃至１３−３、ビデオオンライン編集部１４、オーディオオンライン編集部１５、エンコードDASH処理部１６、DASH配信サーバ１７、ビデオ保存部１８、ビデオオフライン編集部１９、オーディオ保存部２０、オーディオオフライン編集部２１、および、DASHクライアント部２２を備えて構成される。また、コンテンツ配信システム１１では、DASH配信サーバ１７およびDASHクライアント部２２が、インターネットなどのネットワーク２３を介して接続されている。
例えば、コンテンツ配信システム１１においてライブ配信（放送）を行うときには、複数台の撮影装置１２および収音装置１３（図１の例では３台ずつ）が使用され、様々な方向からライブの様子が撮影および収音される。
撮影装置１２−１乃至１２−３は、例えば、映像を撮影可能なデジタルビデオカメラにより構成され、それぞれライブの映像を撮影して、それらの映像をビデオオンライン編集部１４およびビデオ保存部１８に供給する。
収音装置１３−１乃至１３−３は、例えば、音声を収音可能なマイクロフォンにより構成され、それぞれライブの音声をそれぞれ収音して、それらの音声をオーディオオンライン編集部１５に供給する。
ビデオオンライン編集部１４は、撮影装置１２−１乃至１２−３それぞれから供給される映像に対し、スイッチャやミキサーによって選択や混合を行い、さらには各種のエフェクト（効果）なども加える。また、ビデオオンライン編集部１４は、ビデオ自動処理部３１を有しており、ビデオ自動処理部３１により、撮影装置１２−１乃至１２−３による撮影後のRAWデータに修正を加えることができる。そして、ビデオオンライン編集部１４は、そのような編集を適用して配信用の映像ストリームを生成し、エンコードDASH処理部１６に出力するとともに、ビデオ保存部１８に供給して保存させる。
オーディオオンライン編集部１５は、収音装置１３−１乃至１３−３それぞれから供給される音声に対し、スイッチャやミキサーによって選択や混合を行い、さらには各種のエフェクト（効果）なども加える。また、オーディオオンライン編集部１５は、オーディオ自動処理部３２を有しており、オーディオ自動処理部３２により、収音装置１３−１乃至１３−３による収音後の音声データに修正を加えることができる。そして、オーディオオンライン編集部１５は、そのような編集を適用して配信用の音声ストリームを生成し、エンコードDASH処理部１６に出力するとともに、オーディオ保存部２０に供給して保存させる。
エンコードDASH処理部１６は、ビデオオンライン編集部１４から出力される配信用の映像ストリーム、および、オーディオオンライン編集部１５から出力される配信用の音声ストリームを、必要に応じて複数のビットレートでエンコードする。これにより、エンコードDASH処理部１６は、配信用の映像ストリームおよび配信用の音声ストリームをDASH media segment化して、DASH配信サーバ１７に随時アップロードする。このとき、エンコードDASH処理部１６は、映像および音声の配信の制御に用いられる制御情報として、MPD（Media Presentation Description）データを生成する。また、エンコードDASH処理部１６は、セグメント管理部３３を有しており、セグメント管理部３３は、データの欠落などを監視し、問題がある場合にはMPDに反映させたり、図３を参照して後述するように、セグメント単位でデータを置換することができる。
DASH配信サーバ１７は、セグメントデータおよびMPDデータがアップロードされ、DASHクライアント部２２とネットワーク２３を介してHTTP通信を行う。
ビデオ保存部１８は、後の編集および制作のために、配信用の映像ストリームを保存する。また、ビデオ保存部１８には、ライブ配信向けの元ストリームも同時に保存される。さらに、ビデオ保存部１８には、ライブ配信向けストリームに選択および使用された映像の情報（カメラ番号など）も記録しておく。
ビデオオフライン編集部１９は、オンデマンド配信のためのストリームを、ビデオ保存部１８に保存されたライブ配信向けストリームをベースとして制作する。ビデオオフライン編集部１９が行う編集内容は、例えば、一部をライブ配信時とは異なるアングルから撮影されたカメラの映像に差し替えたり、複数のカメラからの映像を合成したり、カメラ（映像）の切り替え時に追加のエフェクト処理を行ったりするものである。
オーディオ保存部２０は、配信用の音声ストリームを保存する。
オーディオオフライン編集部２１は、オーディオ保存部２０に保存された配信用の音声ストリームを編集する。例えば、オーディオオフライン編集部２１が行う編集内容は、音声の乱れた部分を別途録音したものと差し替えたり、ライブ時にはなかった音を加えたり、エフェクト処理を加えたりするものである。
DASHクライアント部２２は、DASH配信サーバ１７からネットワーク２３を介して配信されるDASHコンテンツをデコードして再生し、DASHクライアント部２２のユーザに視聴させる。なお、DASHクライアント部２２の具体的な構成については、図１７を参照して後述する。
図２を参照して、ライブ配信データの生成から、DASH配信サーバ１７へのアップロードまでの処理について説明する。
例えば、複数の撮影装置１２からビデオオンライン編集部１４に映像が入力されるともに、複数の収音装置１３からオーディオオンライン編集部１５に音声が入力され、それらの映像および音声に対してスイッチングやエフェクトなどの処理が施されライブ配信用の映像・音声ストリームとして出力される。映像・音声ストリームは、エンコードDASH処理部１６に供給されるとともに、ビデオ保存部１８およびオーディオ保存部２０に保存される。また、カメラ選択情報もビデオ保存部１８に保存される。
エンコードDASH処理部１６は、映像・音声ストリームを符号化してDASHデータを生成し、セグメントごとにISOBMFF Segment化して、DASH配信サーバ１７へアップロードする。また、エンコードDASH処理部１６は、Live MPDを生成して、Segment Timecode情報として出力する。そして、DASH配信サーバ１７では、Live用のMPDに従って、セグメントごとに配信が制御される。
このとき、エンコードDASH処理部１６は、DASH化されたセグメントファイルを参照し、問題個所があればMPDを書き換えることにより、符号化されたデータをセグメント単位で置換することができる。
例えば、図３に示すように、ライブ用に、セグメント＃１、セグメント＃２、およびセグメント＃３を配信し、セグメント＃２で事故が発生した場合には、そのセグメント＃２が、他のセグメント＃２’に置換される。
図４を参照して、オフライン編集を行う処理について説明する。
例えば、ライブ配信向けストリームから、編集・調整を加えた部分の置換用メディア・セグメントを生成してオンデマンド配信用のDASHストリーム・データを構成することができる。なお、オフライン編集は、ライブ配信終了後にその緊急度、重要性、あるいはコンテンツ付加価値の向上等のために複数回行われることがある。例えば、オフライン編集により、映像・音声ストリームに対して部分ごとに段階的に編集が行われ、ライブ配信からの時間の経過に応じて、より高度な編集レベルの編集が行われるようにしてもよい。
例えば、複数の撮影装置１２により撮影された映像がビデオ保存部１８からビデオオフライン編集部１９に読み出されるとともに、複数の収音装置１３により収音された音声がオーディオ保存部２０からオーディオオフライン編集部２１に読み出される。そして、ビデオオフライン編集部１９およびオーディオオフライン編集部２１では、編集区間指定UI（User Interface）を利用して編集区間が指定され、Segment Timecode情報およびカメラ選択情報を参照して、編集区間が調整される。そして、その編集が施された映像および音声が、置換用ストリームとして出力される。
エンコードDASH処理部１６は、置換用ストリームを符号化してDASHデータを生成するとともに、MPDを書き換えて置換適用MPDを生成し、DASH配信サーバ１７へアップロードする。そして、DASH配信サーバ１７では、置換用のMPDに従って、セグメントごとに置換して配信が制御される。例えば、エンコードDASH処理部１６は、ビデオオフライン編集部１９およびオーディオオフライン編集部２１により編集が行われると、その編集が行われた部分をセグメントごとに、順次置き換える。これにより、DASH配信サーバ１７は、編集が行われた部分を順次置き換えながら配信することができる。
＜MPDによるセグメントの置換＞
図５には、ライブ配信時のMPDの一例が示されており、図６には、ライブ配信時のMPDに対して置換するセグメントの情報を付加したMPDの一例が示されている。
図５に示すように、通常、ライブ配信時には、Segment Templateを用いAdaptation Setおよびそれに含まれるRepresentationは、Base URL、Segment Template、およびSegment Timelineを用いて表現される。なお、図５には、Videoの例が示されている。
例えば、SegmentTemplate の timescale 属性の値が 90000 であり、AdaptationSet の frameRate の値が 30000/1001 = 29.97 frame per second (fps) である。図５に示す例では、SegmentTimeline で指定されている duration="180180" ということで、各セグメントは 180180/90000=2.002 秒分、これは 60 frameに相当する時間となる。
ここで、各セグメントの URL は Period 直下の Base URL と Adaptation Set レベルの Base URLを結合したものに、Segment Template の $Time$ を Segment Timeline の S elementから算出される先頭からの経過時間に置き換え $Bandwidth$を各Representationに与えられた bandwidth アトリビュートの値（文字列）に置き換えたものをさらに結合することで得られる。例えば、id="v0" のRepresentationの5番目のセグメントの URL は http://cdn1.example.com/video/250000/720720.mp4v となる。(720720 = 180180 * 4; 最初のセグメントのfile名は "0.mp4v")
ここに、置換するセグメントの情報を付加するが、それには SegmentTemplate エレメントの子エレメントとして AlteredSegmentTimeline エレメントを定義する。これにより、図７のMPDは、図８に示すように表現することができる。この例は、123番目から 179番目までの 57個の Segment を置き換えた場合となる。
また、AlteredSegmentTimeline エレメントの定義は、図９に示す以下の通りである。
これにより、クライアントは 123番目から179番目まで57個のセグメントについてはURL生成のBaseURL（Adaptation Setレベル）として "video2/" を用い、当初ライブ配信向けに用意されたセグメントではなく、オフライン編集後に生成された置換すべきセグメントを取得して再生する。
例えば、123番目の置換後のSegmentのURLは、180180×122＝21981960と求められるため、http://cdn1.example.com/video2/250000/21981960.mp4vとなる。
なお、置換後のセグメントについて、各セグメントの長さは置換前のセグメントとまったく同一である必要はなく、セグメント毎に異なる値にすることができる。例えば、映像の特性に応じたエンコードのために一部分についてDASHにおいてSAP（Stream Access Point、segment の先頭は SAP である必要がある）と呼ばれるピクチャ・タイプの間隔を変更したいという場合が考えられる。ただし、その場合であっても一連の置換されるセグメントの数と合計の長さ(duration)は、置換前のものと一致させる必要がある。
例えば、図８に示したように、合計５７個のセグメントを置換する場合で、中間部に SAPの間隔を狭めた部分が必要となった場合、その間隔を狭めた一つまたは複数のセグメントの分だけ、他のセグメントのdurationを調整しなければならない。その結果、図１０に示すように複数のAltSエレメントを用いて置換セグメントの列が表現される。
図１０に示す例では、123番目〜126番目までと132番目から179番目までのセグメントは置換前のsegmentと同じdurationを持ち、127番目〜129番目は置換前の半分の長さ、130番目〜132番目は置換前のセグメントの1.5倍の長さに調整している。
なお、置換セグメントの提供後に元のセグメントをサーバから削除する場合には、AlteredSegmentTimelineを正しく解釈した場合にしか正しくストリーム再生することができないため、それを表現するためにAlteredSegmentTimelineエレメントが使用されていることを示すためにschemeIdUri="urn:mpeg:dash:altsegment:20xx"のEssential Property DescriptorをAdaptation Setレベルに付加する。
また、AlteredSegmentTimelineエレメントを新たに定義するかわりに、既存のSegmentTimelineエレメントに@altBaseUrlアトリビュートを追加定義することによっても、SegmentTimelineで表現されたうちの一部のセグメントについて、AdaptationSetまたはRepresentationに与えられたBaseURLを置き換え後のものに変更することも可能である。
図１１には、その場合におけるSegmentTimeline elementの例が示されている。図１１に示すように、123番目から179番目まで57個のセグメントについてURL生成のBaseURL（Adaptation Setレベル）として"video2/"が適用されている。
次に、オフライン編集によって作成されたセグメントによって置き換えられるセグメントの情報（MPD）を次のMPEG規格（SAND）の拡張によってDASH配信サーバからCDNサーバに伝達する方法（例えば、非特許文献２参照）を説明する。
図１２は、DASH配信サーバ１７からCDN（cache）サーバ２４を経由してMPDおよびMedia SegmentがDASHクライアント部２２に伝達される概念を示すブロック図である。
MPEG SAND規格は、DASH配信サーバ１７とCDNサーバ２４またはDASHクライアント部２２との間のメッセージ交換により、データの配信を効率化する目的で定められたものである。この中でDASH配信サーバ１７とCDNサーバ２４の間でやり取りされるメッセージはPED（Parameter Enhancing Delivery）メッセージと呼ばれ、本実施の形態におけるセグメント置換通知の伝達は、このPEDメッセージの一つとなる。
なお、現状、MPEG規格ではPEDメッセージはアーキテクチャ上言及されているのみで、具体的なメッセージは定義されていない。また、PEDメッセージを送受信する DASH配信サーバ１７やCDNサーバ２４はSAND規格においてDASH Aware Network Element (DANE)と称される。
DANE間におけるSAND Messageのやり取りは、以下の２通りの方法がSAND規格に規定されている。
第１の方法は、上流のDANEに対する下流DANEからの例えばMedia Segment取得のためのHTTP GET requestに対するresponseに、SAND Message取得のためのURLを記載した拡張HTTP headerを付加し、それを受信した下流DANEが当該URLにHTTP GET requestを送信して、SAND Messageを取得する方法である。
第２の方法は、DANE間で予めSAND message交換のためのWebSocketチャネルを確立しておき、そのチャネルを使ってメッセージを送る方法である。
本実施の形態では、これらの２通りの方法のどちらを使っても目的を達成することができる。但し、第１の方法では、メッセージの伝達先がMedia Segmentの取得リクエストを送付してきた場合に限られるため、第２の方法によりメッセージを送ることが望ましい。もちろん、第１の方法によりメッセージを送っても、一定の範囲で効果を得ることができる。なお、いずれの場合も、SAND Message自体はXML文書で記述されることが想定されており、具体的には、図１３に示すように表現することができる。
ここで、図１３に示されている<CommonEnvelope>には、attributeとしてsenderID，generationTimeを付加することができる。例えば、messageIdの値は、SAND Messageの種別を表すが、ここでは規格に未定義の新たなメッセージのため"reserved for future ISO use"とされている値とした。
また、ResourceStatus エレメントの定義例は、図１４に示す通りである。
図１５を参照して、ビデオ自動処理およびオーディオ自動処理について説明する。
例えば、ビデオオンライン編集部１４では、ビデオ自動処理部３１により、撮影装置１２−１乃至１２−３による撮影後のRAWデータに修正を加えることができる。同様に、オーディオオンライン編集部１５では、オーディオ自動処理部３２により、収音装置１３−１乃至１３−３による収音後のPCMデータに修正を加えることができる。
ビデオ自動処理部３１は、映像データをビデオフレームバッファに一時的に格納し、フレームバッファ内の映像データに問題個所、例えば、撮影時の異常映像ノイズや映像ディレクタが不適切であると指摘するNGシーンなどがないか検出する。そして、ビデオ自動処理部３１は、問題個所があった場合には、その問題個所の映像データを、塗りつぶしたり、ぼかしたりして修正する。その後、ビデオ自動処理部３１は、問題データを修正データで差し替えて上書きする。また、ビデオ自動処理部３１は、このような処理を、配信遅延の範囲内の時間で行うことができる。
オーディオ自動処理部３２は、オーディオデータをオーディオサンプルバッファに一時的に格納し、オーディオサンプルバッファ内のオーディオデータに問題個所、例えば、異常音や音程ズレなどがないか検出する。そして、オーディオ自動処理部３２は、問題個所があった場合には、その問題個所のオーディオデータを、異常音除去したり音程調整したりして修正する。その後、オーディオ自動処理部３２は、問題データを修正データで差し替えて上書きする。また、オーディオ自動処理部３２は、このような処理を、配信遅延の範囲内の時間で行うことができる。
図１６を参照して、編集のレベルについて説明する。
まず、ライブ配信では、図１５を参照して説明したように、ビデオ自動処理部３１およびオーディオ自動処理部３２により自動修正が行われ、ライブにおけるNG部分が応急処置される。
例えば、ライブ配信においても、アーティストやコンテンツプロバイダの意向に沿ったデータ加工が可能となる。そして、ライブ配信後、段階的にコンテンツがアップデートされ、最終的にビデオオンデマンド配信に至る。これにより、視聴者は時間的な間隔を空けず、随時、その時点で更新されたコンテンツのストリーミング視聴が可能となる。
段階的なコンテンツアップデートにより、コンテンツの質を高め、機能を拡充できる。視聴者はより洗練されたコンテンツ視聴が可能となる。例えば、単視点から多視点となり、様々なアングルを楽しめる。段階的なコンテンツアップデートにより、段階的な課金モデルを構築することができる。
つまり、ライブ配信、レベル１〜レベル３の配信、およびオンデマンド配信と、コンテンツ価値を増大させることで、それぞれに適した価格設定を行うことができる。
ここで、ライブ配信において、自動修正含む配信コンテンツは、「アーティストや映像ディレクターが不適切であるとNG指摘する部分の応急処置版」と定義する。ビデオ自動処理は、不適切な映像の「塗りつぶし」や「ぼかし」に対応し、カメラ映像切り替えを行うことができる。オーディオ自動処理は、マイクからの異常音に対する処理や、音程ずれの対応を行うことができる。また、それらの処理に要する時間は、数秒程度であり、配信対象者は、ライブ視聴を申請および登録した人とする。
また、レベル１の配信において、配信コンテンツは、「ライブのNG部分の簡易修正版」と定義し、例えば、ライブ参加者や視聴者限定のサービスとする。ビデオ・オーディオ処理は、アーティストや映像ディレクターNG部分のみの簡易修正であり、視聴視点数は単視点とし、配信対象者は、ライブに参加し、もう一度すぐに視聴したい人、ライブ配信を視聴した人とする。また、配信時期は、ライブから数日後とすることができる。
また、レベル２の配信において、配信コンテンツは、「NG部分の修正版、および２視点対応版」と定義する。例えば、ここからはオンデマンドに向けての作りこみが前提となる。ビデオ・オーディオ処理は、アーティストや映像ディレクターNG部分の修正版であり、視聴視点数は2視点とし、ユーザはアングルの選択が可能である。また、配信対象者は、アーティストのファンでライブパフォーマンスを楽しみたい人とする。また、配信時期は、ライブ２週間後とすることができる。
また、レベル３の配信において、配信コンテンツは、「NG部分の完全版、および多視点対応版」と定義する。即ち、作りこみの最終前である。ビデオ・オーディオ処理は、アーティストや映像ディレクターNG部分の完全修正、人物、肌処理も施される。視聴視点数は3視点とし、ユーザはアングルの選択が可能である。また、配信対象者は、アーティストのファンでライブパフォーマンスを楽しみたい人や、オンデマンドよりも早く視聴したい人などであり、配信時期は、ライブ4週間後とすることができる。
また、オンデマンド配信において、配信コンテンツは、「アーティストや映像ディレクターの意向に沿った最終作品」と定義する。即ち、作りこみの最終版となる。ビデオ・オーディオ処理は、映像と音声は全編処理が施され、メインコンテンツ以外にボーナスコンテンツもある。視聴視点数は多視点とし、３視点以上とすることが好ましく、ユーザーはユーザインタフェースを使ってアングルを選択することができる。また、配信対象者は、アーティストのファンをはじめ、音楽好きな人全般、作品として楽しみたい人などであり、配信時期は、ライブ数か月後とすることができる。
図１７は、DASHクライアント部２２の構成例を示すブロック図である。
図１７に示すように、DASHクライアント部２２は、データストレージ４１、DEMUX部４２、ビデオデコード部４３、オーディオデコード部４４、ビデオ再生部４５、およびオーディオ再生部４６を備えて構成される。そして、DASHクライアント部２２は、図１のネットワーク２３を介してDASH配信サーバ１７からセグメントデータおよびMPDデータを受け取ることができる。
データストレージ４１は、DASHクライアント部２２がDASH配信サーバ１７から受け取ったセグメントデータおよびMPDデータを一時的に保持する。
DEMUX部４２は、データストレージ４１から読み出したセグメントデータを、デコードするために分離して、ビデオデータをビデオデコード部４３に供給し、オーディオデータをオーディオデコード部４４に供給する。
ビデオデコード部４３は、ビデオデータのデコードを行ってビデオ再生部４５に供給する。オーディオデコード部４４は、オーディオデータのデコードを行ってオーディオ再生部４６に供給する。
ビデオ再生部４５は、例えばディスプレイであり、デコードされた映像を再生して映し出す。オーディオ再生部４６は、例えばスピーカであり、デコードされた音声を再生して出力する。
図１８は、コンテンツ配信システム１１で実行されるライブ配信処理を説明するフローチャートである。
ステップＳ１１において、ビデオオンライン編集部１４は、撮影装置１２により撮影された映像を取得し、オーディオオンライン編集部１５は、収音装置１３により収音された音声を取得する。
ステップＳ１２において、ビデオオンライン編集部１４は、映像に対するオンライン編集を行い、オーディオオンライン編集部１５は、音声に対するオンライン編集を行う。
ステップＳ１３において、ビデオオンライン編集部１４は、オンライン編集を行った映像をビデオ保存部１８に供給して保存し、オーディオオンライン編集部１５は、オンライン編集を行った音声をオーディオ保存部２０に供給して保存する。
ステップＳ１４において、ビデオ自動処理部３１およびオーディオ自動処理部３２は、自動処理が必要か否かを判定する。
ステップＳ１４において、ビデオ自動処理部３１およびオーディオ自動処理部３２が、自動処理が必要であると判定した場合、処理はステップＳ１５に進んで自動処理が行われる。そして、自動処理の処理後、処理はステップＳ１２に戻り、以下、同様の処理が繰り返される。
一方、ステップＳ１４において、ビデオ自動処理部３１およびオーディオ自動処理部３２が、自動処理が必要でないと判定した場合、処理はステップＳ１６に進む。ステップＳ１６において、エンコードDASH処理部１６は、映像・音声ストリームを符号化してDASHデータを生成し、セグメントごとにISOBMFF Segment化する。
ステップＳ１７において、エンコードDASH処理部１６は、ステップＳ１６でセグメントごとにISOBMFF Segment化したDASHデータを、DASH配信サーバ１７にアップロードする。
ステップＳ１８において、配信を終了するか否かが判定され、配信を終了しないと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１８において、配信を終了すると判定された場合、ライブ配信処理は終了される。
図１９は、図１８のステップＳ１５において実行されるビデオ自動処理を説明するフローチャートである。
ステップＳ２１において、ビデオ自動処理部３１は、映像データをフレームバッファに格納する。例えば、リアルタイムで撮影装置１２により撮影されている映像信号が、ＶＥを通して、ビデオフレームのグループでバッファに格納される。
ステップＳ２２において、ビデオ自動処理部３１は、問題データが検出されたか否かを判定する。例えば、フレームバッファ内の映像データを参照し、異常映像ノイズや不適切なシーンが映り込んでいないかを検出する。そして、ステップＳ２２において、問題データが検出されたと判定された場合、処理はステップＳ２３に進む。
ステップＳ２３において、ビデオ自動処理部３１は、問題データを特定する。例えば、ビデオ自動処理部３１は、問題個所の映像エリア、対象画素や区間を特定する。
ステップＳ２４において、ビデオ自動処理部３１は、問題データをバッファに格納し、ステップＳ２５において、バッファ内でデータを修正する。例えば、問題映像エリアを塗りつぶしたり、ぼかしを入れたりする修正が行われる。
ステップＳ２６において、ビデオ自動処理部３１は、問題のあるオリジナルのデータに、ステップＳ２５で修正した修正済みのデータで上書きして、データを差し替えた後、ビデオ自動処理は終了される。
図２０は、図１８のステップＳ１５において実行されるオーディオ自動処理を説明するフローチャートである。
ステップＳ３１において、オーディオ自動処理部３２は、オーディオデータをオーディオサンプルバッファに格納する。例えば、リアルタイムで収音装置１３により収音されているPCMオーディオがPAを通して、オーディオサンプルのグループでバッファに格納される。
ステップＳ３２において、オーディオ自動処理部３２は、問題データが検出されたか否かを判定する。例えば、オーディオサンプルバッファ内のオーディオデータの波形をチェックし、異常音や音程ズレを検出する。そして、ステップＳ３２において、問題データが検出されたと判定された場合、処理はステップＳ３３に進む。
ステップＳ３３において、オーディオ自動処理部３２は、問題データを特定する。例えば、オーディオ自動処理部３２は、問題個所のオーディオサンプル区間を特定する。
ステップＳ３４において、オーディオ自動処理部３２は、問題データをバッファに格納し、ステップＳ３５において、バッファ内でデータを修正する。例えば、問題映像エリアを塗りつぶしたり、ぼかしを入れたりする修正が行われる。
ステップＳ３６において、オーディオ自動処理部３２は、問題のあるオリジナルのデータに、ステップＳ３５で修正した修正済みのデータで上書きして、データを差し替えた後、オーディオ自動処理は終了される。
図２１は、図１７のDASHクライアント部２２が実行するDASHクライアント処理を説明するフローチャートである。
ステップＳ４１において、DASHクライアント部２２は、図１のネットワーク２３を介してDASH配信サーバ１７とHTTP通信を行う。
ステップＳ４２において、DASHクライアント部２２は、DASH配信サーバ１７からセグメントデータとMPDデータを取得し、データストレージ４１に一時的に保持させる。
ステップＳ４３において、DASHクライアント部２２は、さらなるデータの取得が必要か否かを判定する。そして、さらなるデータの取得が必要であると判定された場合、処理はステップＳ４４に進み、DASHクライアント部２２は、DASH配信サーバ１７に対してデータの更新を確認し、処理はステップＳ４１に戻る。
一方、ステップＳ４３において、さらなるデータの取得が必要でないと判定された場合、処理はステップＳ４５に進む。
ステップＳ４５において、DEMUX部４２は、データストレージ４１から読み出したセグメントデータをデマックスして、ビデオデータをビデオデコード部４３に供給し、オーディオデータをオーディオデコード部４４に供給する。
ステップＳ４６において、ビデオデコード部４３はビデオデータをデコードし、オーディオデコード部４４はオーディオデータをデコードする。
ステップＳ４７において、ビデオ再生部４５は、ビデオデコード部４３によりデコードされた映像を再生し、オーディオ再生部４６は、オーディオデコード部４４によりデコードされた音声を再生する。その後、DASHクライアント処理は終了される。
図２２は、オフライン編集処理を説明するフローチャートである。
ステップＳ５１において、ビデオオフライン編集部１９は、ビデオ保存部１８に保存されたライブ配信向けストリームを読み出して編集を行う。
ステップＳ５２において、ビデオオフライン編集部１９は、ライブ配信時のデータ構造に応じた置換セグメントを生成する置換データ生成処理（図２３）を行う。
ステップＳ５３において、ビデオオフライン編集部１９は、置換を反映したMPDを生成し、置換セグメントとともにDASH配信サーバ１７に配置する。
ステップＳ５４において、さらなる編集が必要か否かの判定が行われ、さらなる編集が必要であると判定された場合には処理はステップＳ５１に戻って、同様の処理が繰り返して行われる。一方、さらなる編集は必要ないと判定された場合には、オフライン編集処理は終了される。
図２３は、図２２のステップＳ５２で実行される置換データ生成処理を説明するフローチャートである。
ステップＳ６１において、ビデオオフライン編集部１９およびオーディオオフライン編集部２１は、ライブ配信ストリームの映像および音声に対して、それぞれ編集が必要な部分のタイムコードを抽出する。
ステップＳ６２において、ビデオオフライン編集部１９およびオーディオオフライン編集部２１は、ライブ配信ストリームのDASHデータ生成時に保存したSegment Timecode情報を用いて、編集の開始点および終了点をセグメントの境界に合わせて調整する。
ステップＳ６３において、ビデオオフライン編集部１９およびオーディオオフライン編集部２１は、保存されている元データから置換するセグメント分の編集後ストリームを作成して、エンコードDASH処理部１６に供給する。
ステップＳ６４において、エンコードDASH処理部１６は、編集後ストリームをDASHセグメント化するとともに、置換後のMPDを生成する。
その後、置換データ生成処理は終了され、処理は図２２のステップＳ５３に進み、ステップＳ６４で生成された置換用セグメントと、置換を適用したMPDがDASH配信サーバ１７にアップロードされる。
以上のように、本実施の形態のコンテンツ配信システム１１では、データをセグメント単位で置換して、映像および音声を編集することができる。そして、一つまたは連続する複数のDASHメディア・セグメントの単位で行うことによって、ライブ配信時のデータのうち使用可能なデータをそのまま活用しつつ、配信サーバ上だけでなくＣＤＮ（Content Delivery Network）によってキャッシュされているデータを効率よく置換し、かつストリーミング再生クライアントに対して取得すべきセグメントデータを伝えることができる。
これにより、コンテンツ配信システム１１は、ライブ配信データのうちポスト編集によって置き換えるべきセグメントデータのみを配信サーバに配置して、ライブ配信時のデータと置換することができる。また、コンテンツ配信システム１１は、ライブ配信時に使用したMPDに対して置換されたセグメントに対してのみ置換後のURLに関する情報を追加することで、ライブ配信時のデータをそのまま利用可能なセグメントは再利用することができる。さらに、コンテンツ配信システム１１は、DASH配信サーバ１７上のセグメントが置換された際に、その置換情報を更新情報としてCDNサーバ２４に対して通知することができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（コンテンツ処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信するオンライン編集部
を備えるコンテンツ処理装置。
（２）
前記オンライン編集部により修正が施された前記コンテンツデータを保存する保存部と、
前記保存部から前記コンテンツデータを読み出して、複数の編集レベルで編集を行うオフライン編集部と
をさらに備える上記（１）に記載のコンテンツ処理装置。
（３）
前記コンテンツデータを所定のセグメントごとにエンコードし、コンテンツの配信の制御に用いられる制御情報を生成するエンコード処理部
をさらに備え、
前記エンコード処理部は、前記オンライン編集部により編集された前記コンテンツデータ、または、前記オフライン編集部により編集された前記コンテンツデータを、前記制御情報を書き換えることにより前記セグメント単位で置換する
上記（２）に記載のコンテンツ処理装置。
（４）
前記オフライン編集部は、前記コンテンツデータに対して部分ごとに段階的に編集を行い、前記コンテンツデータのライブ配信からの時間の経過に応じて、より高度な編集レベルの編集を行う
上記（３）に記載のコンテンツ処理装置。
（５）
前記エンコード処理部は、前記オフライン編集部により前記コンテンツデータに対する編集が行われると、その編集が行われた部分をセグメントごとに順次置き換える
上記（４）に記載のコンテンツ処理装置。
（６）
前記オフライン編集部により編集された前記コンテンツデータを前記セグメントごとに置き換えるのに用いる前記制御情報が、SAND（Server and Network Assisted DASH）の拡張によって、DASH（Dynamic Adaptive Streaming over HTTP）配信サーバからCDN（Content Delivery Network）サーバに伝達される
上記（３）から（５）までのいずれかに記載のコンテンツ処理装置。
（７）
前記CDNサーバに配置された前記コンテンツデータのうち、前記オフライン編集部により編集された部分の置換情報が前記CDNサーバに通知される
上記（６）に記載のコンテンツ処理装置。
（８）
ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信する
ステップを含むコンテンツ処理方法。
（９）
ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信する
ステップを含むコンテンツ処理をコンピュータに実行させるプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ コンテンツ配信システム， １２ 撮影装置， １３ 収音装置， １４ ビデオオンライン編集部， １５ オーディオオンライン編集部， １６ エンコードDASH処理部， １７ DASH配信サーバ， １８ ビデオ保存部， １９ ビデオオフライン編集部， ２０ オーディオ保存部， ２１ オーディオオフライン編集部， ２２ DASHクライアント部， ２３ ネットワーク， ３１ ビデオ自動処理部， ３２ オーディオ自動処理部， ３３ セグメント管理部

Claims (9)

  1. ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信するオンライン編集部
    を備えるコンテンツ処理装置。
  2. 前記オンライン編集部により修正が施された前記コンテンツデータを保存する保存部と、
    前記保存部から前記コンテンツデータを読み出して、複数の編集レベルで編集を行うオフライン編集部と
    をさらに備える請求項１に記載のコンテンツ処理装置。
  3. 前記コンテンツデータを所定のセグメントごとにエンコードし、コンテンツの配信の制御に用いられる制御情報を生成するエンコード処理部
    をさらに備え、
    前記エンコード処理部は、前記オンライン編集部により編集された前記コンテンツデータ、または、前記オフライン編集部により編集された前記コンテンツデータを、前記制御情報を書き換えることにより前記セグメント単位で置換する
    請求項２に記載のコンテンツ処理装置。
  4. 前記オフライン編集部は、前記コンテンツデータに対して部分ごとに段階的に編集を行い、前記コンテンツデータのライブ配信からの時間の経過に応じて、より高度な編集レベルの編集を行う
    請求項３に記載のコンテンツ処理装置。
  5. 前記エンコード処理部は、前記オフライン編集部により前記コンテンツデータに対する編集が行われると、その編集が行われた部分をセグメントごとに順次置き換える
    請求項４に記載のコンテンツ処理装置。
  6. 前記オフライン編集部により編集された前記コンテンツデータを前記セグメントごとに置き換えるのに用いる前記制御情報が、SAND（Server and Network Assisted DASH）の拡張によって、DASH（Dynamic Adaptive Streaming over HTTP）配信サーバからCDN（Content Delivery Network）サーバに伝達される
    請求項３に記載のコンテンツ処理装置。
  7. 前記CDNサーバに配置された前記コンテンツデータのうち、前記オフライン編集部により編集された部分の置換情報が前記CDNサーバに通知される
    請求項６に記載のコンテンツ処理装置。
  8. ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信する
    ステップを含むコンテンツ処理方法。
  9. ライブ配信用のコンテンツデータを編集用バッファに格納して、問題個所があった場合には前記編集用バッファ内で前記コンテンツデータを修正し、修正後のコンテンツデータを差し替えて配信する
    ステップを含むコンテンツ処理をコンピュータに実行させるプログラム。
JP2019507592A 2017-03-24 2018-03-14 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム Ceased JPWO2018173876A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017060222 2017-03-24
JP2017060222 2017-03-24
PCT/JP2018/009914 WO2018173876A1 (ja) 2017-03-24 2018-03-14 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JPWO2018173876A1 true JPWO2018173876A1 (ja) 2020-01-30

Family

ID=63584494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019507592A Ceased JPWO2018173876A1 (ja) 2017-03-24 2018-03-14 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20200053394A1 (ja)
JP (1) JPWO2018173876A1 (ja)
CN (1) CN110463208A (ja)
WO (1) WO2018173876A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11290755B2 (en) * 2017-01-10 2022-03-29 Qualcomm Incorporated Signaling data for prefetching support for streaming media data
US20240112703A1 (en) * 2022-09-30 2024-04-04 Amazon Technologies, Inc. Seamless insertion of modified media content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541340A (ja) * 2007-09-28 2010-12-24 ヴァントリックス コーポレーション マルチメディアコンテンツの適合通知の生成および伝達
JP2016007015A (ja) * 2011-01-07 2016-01-14 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
US20160088054A1 (en) * 2014-09-23 2016-03-24 Intel Corporation Video quality enhancement
US20160373546A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Signaling cached segments for broadcast

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919809A (zh) * 2013-01-18 2015-09-16 索尼公司 内容服务器和内容分配法
US10085123B2 (en) * 2013-02-27 2018-09-25 Saturn Licensing Llc Information processing apparatus and method, program, and content supply system
EP2833640A1 (en) * 2013-08-02 2015-02-04 British Telecommunications public limited company Video caching
US10423481B2 (en) * 2014-03-14 2019-09-24 Cisco Technology, Inc. Reconciling redundant copies of media content
EP3131298A4 (en) * 2014-04-09 2017-11-15 LG Electronics Inc. Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method
US10749930B2 (en) * 2015-03-02 2020-08-18 Qualcomm Incorporated Indication for partial segment
US9930427B2 (en) * 2015-12-21 2018-03-27 Comcast Cable Communications Management, Llc Providing advanced playback and control functionality to video client

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541340A (ja) * 2007-09-28 2010-12-24 ヴァントリックス コーポレーション マルチメディアコンテンツの適合通知の生成および伝達
JP2016007015A (ja) * 2011-01-07 2016-01-14 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
US20160088054A1 (en) * 2014-09-23 2016-03-24 Intel Corporation Video quality enhancement
US20160373546A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Signaling cached segments for broadcast

Also Published As

Publication number Publication date
WO2018173876A1 (ja) 2018-09-27
CN110463208A (zh) 2019-11-15
US20200053394A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US10123070B2 (en) Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
US8548303B2 (en) Reconciling digital content at a digital media device
EP2517121B1 (en) Audio splitting with codec-enforced frame sizes
US9756369B2 (en) Method and apparatus for streaming media data segments of different lengths wherein the segment of different length comprising data not belonging to the actual segment and beginning with key frames or containing key frames only
JP5829626B2 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
WO2012096372A1 (ja) コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造
WO2013008866A1 (ja) 生成装置、配信サーバ、生成方法、再生装置、再生方法、再生システム、生成プログラム、再生プログラム、記録媒体およびデータ構造
JP2013511201A (ja) データ伝送方法及び装置
JP6329964B2 (ja) 送信装置、送信方法、受信装置、及び、受信方法
JP6570999B2 (ja) コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
JP2019532597A (ja) ３６０°ビューコンテンツをエンコードおよび再生するためのシステムおよび方法
JP6868783B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2015064210A1 (ja) コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
US20050094562A1 (en) Methods and devices for reducing total bandwidth when streaming multiple media streams
WO2017145757A1 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2018142946A1 (ja) 情報処理装置および方法
CN112087642A (zh) 云导播播放方法、云导播服务器及远程管理终端
WO2018173876A1 (ja) コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム
JP2019149699A (ja) 処理装置、処理プログラム及び処理方法
KR20150027745A (ko) 상호작용 오디오/비디오 브로드캐스트 시스템, 이 시스템을 동작시키기 위한 방법 및 상호작용 오디오/비디오 브로드캐스트 시스템에서의 동작을 위한 사용자 디바이스
KR101242478B1 (ko) 멀티 앵글 기반의 미디어 자키를 이용한 실시간 개인 방송 시스템
WO2015064384A1 (ja) 送信装置、送信方法、受信装置、及び、受信方法
US20100058413A1 (en) Apparatus and method for providing audio and/or video data for iptv

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20221220