WO2013150611A1 - Device and method for video streaming distribution - Google Patents

Device and method for video streaming distribution Download PDF

Info

Publication number
WO2013150611A1
WO2013150611A1 PCT/JP2012/059085 JP2012059085W WO2013150611A1 WO 2013150611 A1 WO2013150611 A1 WO 2013150611A1 JP 2012059085 W JP2012059085 W JP 2012059085W WO 2013150611 A1 WO2013150611 A1 WO 2013150611A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
clip
playback
video
processor
Prior art date
Application number
PCT/JP2012/059085
Other languages
French (fr)
Japanese (ja)
Inventor
雅晴 高野
Original Assignee
株式会社ビットメディア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ビットメディア filed Critical 株式会社ビットメディア
Priority to JP2014508952A priority Critical patent/JP5909546B2/en
Priority to PCT/JP2012/059085 priority patent/WO2013150611A1/en
Publication of WO2013150611A1 publication Critical patent/WO2013150611A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • This disclosure relates to video streaming distribution technology over the Internet.
  • HTTP streaming Hypertext transfer protocol
  • HTTP streaming is a method of distributing segmented stream files (video / audio or audio) and playlists (manifest files) using HTTP, and is similar to normal file transfer by existing Web servers. Can be transferred by the method. Thereby, it is possible to reduce the cost of streaming distribution.
  • DASH Dynamic Adaptive Streaming over HTTP
  • a video distribution service that performs live distribution equivalent to live broadcast on the Internet and VOD (video on demand) distribution using HTTP streaming has been realized.
  • a video distribution service that combines the effects of live distribution and VOD distribution for example, immediately releasing a highlight scene while live distribution is useful. Therefore, an object of the present invention is to realize a video distribution service that combines the effects of live distribution and VOD distribution without requiring complicated editing work.
  • the video streaming distribution device includes a storage device that stores streaming data and a processor.
  • the storage device stores streaming data transmitted via a network as streaming data composed of a plurality of segment files.
  • the processor generates a clip information file that identifies a clip that is a playback video file extracted from the streaming data.
  • the processor generates a reproduction instruction file for instructing reproduction of a plurality of segment files constituting the clip, edits the clip information file including the reproduction instruction file, and transfers the clip information file.
  • FIG. 1 is a block diagram for explaining a system configuration of HTTP streaming according to the embodiment.
  • FIG. 2 is a block diagram for explaining a main part of the server according to the embodiment.
  • FIG. 3 is a block diagram for explaining a configuration of a PLE module included in the server according to the embodiment.
  • FIG. 4 is a diagram for explaining a configuration of streaming data according to the embodiment.
  • FIG. 5 is a diagram for explaining the playlist according to the embodiment.
  • FIG. 6 is a diagram for explaining the relationship between the playlist and the playback screen according to the embodiment.
  • FIG. 7 is a diagram for explaining the file structure of the playlist according to the embodiment.
  • FIG. 8 is a diagram for explaining a clip information file generation method according to the embodiment.
  • FIG. 9 is a flowchart for explaining the processing of the server according to the embodiment.
  • FIG. 10 is a flowchart for explaining a procedure for generating a clip information file according to the embodiment.
  • FIG. 1 is a block diagram for explaining a system configuration of HTTP streaming according to the present embodiment.
  • HTTP streaming for example, live distribution in which a video taken by a camera 11 taken from a sports stadium is distributed via the Internet 1 is realized.
  • video captured by a camera is converted into streaming data by an encoder 12 and transmitted over the Internet 1.
  • the encoder 12 is usually realized by a computer and dedicated software.
  • the streaming data includes not only video data but also audio data of sound collected by a microphone.
  • the Web server 10 of the present embodiment acquires streaming data transmitted from the encoder 12, and distributes it to each user terminal 13 connected to the Internet 1 by HTTP streaming.
  • the server 10 according to the present embodiment has not only an HTTP streaming function but also a playlist (PL: playlist) generation function included in the clip information file generation function, as will be described later.
  • PL playlist
  • the encoder 12 is an encoder center of the broadcast station.
  • the Web server retrieves the requested streaming data from the storage and transmits it to the Internet 1.
  • the subsequent processing of this embodiment is the same as in the case of live distribution.
  • the Web server 10 of this embodiment is roughly divided into a main system 20, an upload server 21, and a storage 22.
  • the upload server 21 receives streaming data transmitted from the encoder 12.
  • the upload server 21 corresponds to a normal cache server and caches the uploaded streaming data.
  • the storage 22 is a large capacity network storage device.
  • the upload server 21 temporarily stores the streaming data in the buffer area of the storage 22 (caching).
  • the storage 22 also stores registered video files (including audio files).
  • the main system 20 is a platform of the Web server 10 and includes a PLE (Playlist Editor) module 30 of the present embodiment and a support module 40 for supporting the PLE function.
  • the main system 20 includes a processor, a storage device, and an interface.
  • the PLE module 30 and the support module 40 are configured by applications executed by the processor.
  • the PLE module 30 includes a moving image file import processing unit 31, a database 32, a metadata capture processing unit 33, a clip information file generation unit 34, an additional information generation unit 35, a file A transfer processing unit 38 and a GUI (graphical user interface) unit 39 are included.
  • the moving image file import processing unit 31 captures a moving image file (video file and audio file) that is streaming data uploaded by the upload server 21.
  • the database 32 stores reference information such as information for referring to a segment file to be described later, information for referring to a generated thumbnail, and time information of the segment file in a storage device.
  • the database 32 searches for necessary reference information from the storage device in cooperation with each application.
  • the metadata take-in processing unit 33 takes in the initial setting metadata such as the video content category from the website and registers it in the database 32.
  • the clip information file generation unit 34 generates a clip information file that defines a clip.
  • a clip is a designated moving image file extracted from streaming data (hereinafter sometimes referred to as a video file including an audio file).
  • the clip information file generation unit 34 edits metadata such as a playlist (PL) and a title of a video file to generate a clip information file.
  • the additional information generation unit 35 includes a thumbnail generation unit 36 and a metadata generation unit 37.
  • the thumbnail generation unit 36 generates a thumbnail for each segment file described later.
  • the metadata generation unit 37 generates each metadata using video recognition (image recognition) processing and voice recognition processing, as will be described later.
  • the file transfer processing unit 38 transfers clip information files, video files, audio files, thumbnails, and the like to a website that is a public site. Normally, the file from the file transfer processing unit 38 is converted into a predetermined file format by a transcoder and transferred to a public site.
  • the GUI unit 39 is an interface for creating and registering clips (that is, clip information files) on the browser of the editing terminal (computer) 41. Further, the GUI unit 39 is connected to the support module 40.
  • the support module 40 supports secondary editing operations on the browser of the terminal 42 for the viewer with limited authority. Specifically, limited editing processing such as processing for extracting a part of registered video content and processing for adding a comment for each video scene is supported.
  • the upload server 21 receives the streaming data to be distributed (block 100).
  • the upload server 21 accumulates the received streaming data in the buffer area of the storage 22 (block 101).
  • the streaming data 120 transmitted from the encoder 12 by HTTP streaming is composed of a plurality of segment files (SF) TS-1 to TS-N.
  • Each segment file is, for example, a video file having a reproduction time of about 5 to 10 seconds.
  • Each segment file is composed of a large number of transmission packets.
  • the PLE module 30 captures the segment file group stored in the storage 22 by the moving image file capture processing unit 31.
  • the thumbnail generation unit 36 generates a thumbnail for each segment file (block 102).
  • the PLE module 30 stores the thumbnail (video data) generated by the thumbnail generation unit 36 in the storage 22.
  • the PLE module 30 registers the reference information in the database 32 (block 103). Specifically, the moving image file import processing unit 31 registers reference information including information for referring to each segment file and time information of each segment file in the database 32. The additional information generation unit 35 registers reference information for referring to the thumbnail generated by the thumbnail generation unit 36 in the database 32.
  • the PLE module 30 executes a clip information file generation process by the clip information file generation unit 34 (block 104).
  • the file transfer processing unit 38 transfers the generated clip information file to a website that is a public site (block 105).
  • the file transfer processing unit 38 transfers video files, audio files, thumbnails, and the like to a website that is a public site.
  • the clip information file is information for identifying a clip of a video distributed by live distribution, for example. That is, for example, when a highlight scene is extracted from a video distributed live by sports broadcast, a video file corresponding to the highlight scene is a clip. Therefore, by publishing the clip information file on the publishing site, the user can acquire the corresponding clip by selecting the clip information file on the browser of the user terminal 13.
  • the file transfer processing unit 38 transfers the video file (including the audio file) corresponding to the corresponding clip to the public site.
  • the clip information file includes information defining clips called playlists (PL).
  • the playlist (PL) is also called a manifest list (manifesto list), and defines a clip that is a playback video file extracted from streaming data.
  • the playlists PL1 to PL3 respectively correspond to video scenes (clips) A to C that are being distributed live.
  • the video 60 corresponding to the scenes A to C indicated by the playlists PL1 to PL3 is reproduced on the reproduction screen 130 by the browser of the user terminal 13.
  • the title 61 for each of the scenes A to C can be displayed together with the video 60.
  • the metadata corresponding to the title 61 is set by a clip information file editing process, as will be described later.
  • FIG. 7 shows the structure of the playlist (PL1).
  • the playlist (manifest file) is a text file (XML file: extensible markup language file).
  • the playlist is a reproduction instruction file that indicates each segment file to be reproduced continuously.
  • the playlist includes information such as a reproduction time 701, a file name 702 of each segment file, and a storage location 703 of each segment file.
  • the file name 702 of each segment file indicates a range of segment files to be continuously reproduced in the received streaming data 120.
  • the storage location 703 of each segment file is a storage location (that is, URL) of storage on the Web.
  • each segment file is stored in the storage 22.
  • the worker creates a clip information file on the browser of the editing terminal 41.
  • the editing terminal 41 displays on the display screen 410 a window 411 for playing back live-distributed video (streaming data 120) and a window 412 for playing thumbnails of each segment file. .
  • the editing terminal 41 reproduces the video (for example, sports live broadcast video) distributed live on the window 411 (block 200). At the same time, the thumbnails of the segment files generated by the thumbnail generator 36 are reproduced on the window 412. The editing terminal 41 inputs the playback start point and end point of the designated clip by designating the thumbnail played on the browser.
  • video for example, sports live broadcast video
  • thumbnails of the segment files generated by the thumbnail generator 36 are reproduced on the window 412.
  • the editing terminal 41 inputs the playback start point and end point of the designated clip by designating the thumbnail played on the browser.
  • the clip information file generation unit 34 refers to the database 32 according to the playback start point and end point specified by the editing terminal 41, and sets the range of segment files to be played back continuously (block 201). As described above, in the database 32, information for referring to each segment file, time information of each segment file, and reference information for referring to the thumbnail are registered. The thumbnail reference information is associated with the reference information of each segment file.
  • the clip information file generation unit 34 refers to the database 32 to generate a playlist that is a reproduction instruction file that indicates each segment file in the set range (block 202). Next, when a thumbnail is selected from the window 412 of the editing terminal 41, the clip information file generation unit 34 sets reference information indicating the thumbnail of the clip (block 203).
  • the clip information file generation unit 34 takes in metadata such as the title of the designated clip from the database 32 (block 204).
  • the clip information file generation unit 34 captures the initial setting metadata captured by the metadata capture processing unit 33 from the database 32. Further, the clip information file generation unit 34 takes in the metadata input on the browser of the editing terminal 41 or the viewer terminal 42 from the database 32.
  • the clip information file generation unit 34 generates a clip information file for playing the designated clip by editing the reference information indicating the playlist, metadata, and thumbnail (block 205).
  • the clip information file generation unit 34 stores the generated clip information file in the storage 22 (block 206).
  • a clip information file including a playlist that defines a clip corresponding to a highlight scene can be disclosed on the Web while the video is distributed live. .
  • the user can view the highlight scene immediately by designating the clip information file on the browser of the user terminal 13.
  • editing processing of a clip information file including a playlist is performed using the reference information stored in the database 32 without processing a video file (including an audio file) that is distributed live.
  • the video file (including the audio file) itself is stored in the storage 22.
  • the database 32 stores information other than video files, such as reference information and metadata of each segment file. Therefore, this embodiment can create a clip as a result of a simple and efficient editing operation as compared with the case of creating a clip by a conventional video editing operation. Specifically, since the video file (including the audio file) itself is not processed, a plurality of workers can perform editing work simultaneously.
  • VOD distribution is a service that provides video files (including audio files) recorded in storage.
  • a clip information file can be generated by simple and efficient editing work during live distribution. Therefore, it is possible to immediately view a clip made up of the video file after distribution while viewing the video of live distribution.
  • the present invention is not limited to this, and the present invention can also be applied to a case where a clip information file is edited by referring to each segment file of streaming data of VOD distribution.
  • the thumbnail generation unit 36 generates a thumbnail for each segment file
  • the metadata generation unit 37 uses video recognition (image recognition) processing and voice recognition processing. It may be configured to execute processing for generating each metadata. That is, the metadata generation unit 37 extracts a keyword from the audio file of streaming data using a voice recognition process, generates metadata indicating the keyword, and stores it in the database 32. In addition, the metadata generation unit 37 extracts a keyword from the caption superimpose included in the streaming data using video recognition (image recognition) processing, generates metadata indicating the keyword, and generates the database 32. To store.
  • streaming data corresponds to an adaptive bit rate (for example, 5 Mbps, 500 kbps, 300 kbps, etc.)
  • a clip is created by referring only to each segment file of one selected bit rate. You can also. Also, each playlist corresponding to a different bit rate may be generated and released.
  • the created clip (video file) is transferred in the HTTP streaming format and released.
  • the server 10 of the present embodiment is not limited to this, and may have a function of integrating each segment file constituting a clip into one file and publishing the clip as one video file.
  • the present embodiment may be configured such that the file cut editing process is executed on the first and last segment files in each segment file constituting the clip, and the editing process is executed in units of frames.
  • the present embodiment may be configured to have a function of performing file format conversion and file encryption on the created clip.

Abstract

According to an embodiment, the video streaming distribution device comprises a storage device, which stores the streaming data, and a processor. The storage device stores the streaming data comprising a plurality of segment files and transmitted via a network. The processor generates a clip information file that specifies a clip which is a video file for playback extracted from the streaming data. The processor generates a playback instruction file used for instructing the playback of the plurality of segment files constituting the clip, edits the clip information file including the playback instruction file, and transfers the clip information file.

Description

映像ストリーミング配信のための装置及び方法Apparatus and method for streaming video
　本開示は、インターネットでの映像ストリーミング配信技術に関する。 This disclosure relates to video streaming distribution technology over the Internet.
　近年、インターネットでの映像ストリーミング配信方式として、専用プロトコルを利用する方式以外に、ＨＴＴＰ（hypertext transfer protocol）を利用する方式が注目されている。このＨＴＴＰを利用するストリーミング配信を、ＨＴＴＰストリーミング（HTTP streaming）と総称する。 In recent years, as a video streaming distribution method on the Internet, a method using HTTP (hypertext transfer protocol) is attracting attention in addition to a method using a dedicated protocol. This streaming distribution using HTTP is collectively referred to as HTTP streaming (HTTP streaming).
　ＨＴＴＰストリーミングは、セグメント化されたストリームファイル群（映像・音声または音声）とプレイリスト（マニフェストファイル）を、ＨＴＴＰを利用して配信する方式のため、既存のＷｅｂサーバによる通常のファイル転送と同様の方法で転送できる。これにより、ストリーミング配信のコスト低減を図ることが可能である。 HTTP streaming is a method of distributing segmented stream files (video / audio or audio) and playlists (manifest files) using HTTP, and is similar to normal file transfer by existing Web servers. Can be transferred by the method. Thereby, it is possible to reduce the cost of streaming distribution.
　ＨＴＴＰストリーミングには、各種の規格が提案されている。例えば、ISO MPEGの標準規格として、ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）が策定されている。 Various standards have been proposed for HTTP streaming. For example, DASH (Dynamic Adaptive Streaming over HTTP) has been established as an ISO standard for MPEG.
　ＨＴＴＰストリーミングを利用して、インターネットでの実況中継に相当するライブ配信やＶＯＤ(video on demand)配信を行なう映像配信サービスが実現されている。このようなサービスにおいて、ライブ配信をしながら、例えばハイライトシーンを即時に公開するなどのライブ配信とＶＯＤ配信の効用を兼ねた映像配信サービスが有用である。そこで、本発明の目的は、複雑な編集作業を要することなく、ライブ配信とＶＯＤ配信の効用を兼ねた映像配信サービスを実現することにある。 A video distribution service that performs live distribution equivalent to live broadcast on the Internet and VOD (video on demand) distribution using HTTP streaming has been realized. In such a service, a video distribution service that combines the effects of live distribution and VOD distribution, for example, immediately releasing a highlight scene while live distribution is useful. Therefore, an object of the present invention is to realize a video distribution service that combines the effects of live distribution and VOD distribution without requiring complicated editing work.
　本発明の観点は、ＨＴＴＰストリーミング方式を適用する映像ストリーミング配信のための装置である。実施形態によれば、映像ストリーミング配信装置は、ストリーミングデータを記憶するストレージ装置と、プロセッサとを含む。ストレージ装置は、複数のセグメントファイルから構成されるストリーミングデータで、ネットワークを経由して送信される前記ストリーミングデータを記憶する。プロセッサは、前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成する。プロセッサは、前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、前記クリップ情報ファイルを転送する。 An aspect of the present invention is an apparatus for video streaming distribution to which an HTTP streaming method is applied. According to the embodiment, the video streaming distribution device includes a storage device that stores streaming data and a processor. The storage device stores streaming data transmitted via a network as streaming data composed of a plurality of segment files. The processor generates a clip information file that identifies a clip that is a playback video file extracted from the streaming data. The processor generates a reproduction instruction file for instructing reproduction of a plurality of segment files constituting the clip, edits the clip information file including the reproduction instruction file, and transfers the clip information file.
図１は、実施形態に係るＨＴＴＰストリーミングのシステム構成を説明するためのブロック図である。FIG. 1 is a block diagram for explaining a system configuration of HTTP streaming according to the embodiment. 図２は、実施形態に係るサーバの要部を説明するためのブロック図である。FIG. 2 is a block diagram for explaining a main part of the server according to the embodiment. 図３は、実施形態に係るサーバに含まれるＰＬＥモジュールの構成を説明するためのブロック図である。FIG. 3 is a block diagram for explaining a configuration of a PLE module included in the server according to the embodiment. 図４は、実施形態に係るストリーミングデータの構成を説明するための図である。FIG. 4 is a diagram for explaining a configuration of streaming data according to the embodiment. 図５は、実施形態に係るプレイリストを説明するための図である。FIG. 5 is a diagram for explaining the playlist according to the embodiment. 図６は、実施形態に係るプレイリストと再生画面との関連を説明するための図である。FIG. 6 is a diagram for explaining the relationship between the playlist and the playback screen according to the embodiment. 図７は、実施形態に係るプレイリストのファイル構成を説明するための図である。FIG. 7 is a diagram for explaining the file structure of the playlist according to the embodiment. 図８は、実施形態に係るクリップ情報ファイルの生成方法を説明するための図である。FIG. 8 is a diagram for explaining a clip information file generation method according to the embodiment. 図９は、実施形態に係るサーバの処理を説明するためのフローチャートである。FIG. 9 is a flowchart for explaining the processing of the server according to the embodiment. 図１０は、実施形態に係るクリップ情報ファイルの生成手順を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining a procedure for generating a clip information file according to the embodiment.
　以下、図面を参照して実施形態を説明する。 Hereinafter, embodiments will be described with reference to the drawings.
　図１は、本実施形態のＨＴＴＰストリーミングのシステム構成を説明するためのブロック図である。 FIG. 1 is a block diagram for explaining a system configuration of HTTP streaming according to the present embodiment.
　ＨＴＴＰストリーミングにより、例えばスポーツ競技場での実況をカメラ１１により撮影した映像を、インターネット１を介して配信するライブ配信が実現されている。このようなライブ配信では、図１に示すように、カメラにより撮影された映像は、エンコーダ１２によりストリーミングデータに変換されてインターネット１上に送信される。エンコーダ１２は、通常ではコンピュータと専用ソフトウェアにより実現されている。ストリーミングデータは映像データだけでなく、マイクロフォンにより集音される音声の音声データも含む。 With HTTP streaming, for example, live distribution in which a video taken by a camera 11 taken from a sports stadium is distributed via the Internet 1 is realized. In such live distribution, as shown in FIG. 1, video captured by a camera is converted into streaming data by an encoder 12 and transmitted over the Internet 1. The encoder 12 is usually realized by a computer and dedicated software. The streaming data includes not only video data but also audio data of sound collected by a microphone.
　本実施形態のＷｅｂサーバ１０は、エンコーダ１２から送信されたストリーミングデータを取得し、ＨＴＴＰストリーミングにより、インターネット１に接続された各ユーザ端末１３に配信する。本実施形態のサーバ１０は、ＨＴＴＰストリーミング機能だけでなく、後述するように、クリップ情報ファイルの生成機能に含まれるプレイリスト（ＰＬ:playlist）生成機能を有する。 The Web server 10 of the present embodiment acquires streaming data transmitted from the encoder 12, and distributes it to each user terminal 13 connected to the Internet 1 by HTTP streaming. The server 10 according to the present embodiment has not only an HTTP streaming function but also a playlist (PL: playlist) generation function included in the clip information file generation function, as will be described later.
　なお、放送局を中継してライブ配信を行なう場合には、エンコーダ１２は、放送局のエンコーダセンターである。また、ＶＯＤ(video on demand)配信の場合には、Ｗｅｂサーバが、ストレージから要求されたストリーミングデータを取り出して、インターネット１に送信する。これ以降の本実施形態の処理は、ライブ配信の場合と同様である。 In the case of performing live distribution via a broadcast station, the encoder 12 is an encoder center of the broadcast station. In the case of VOD (video on demand) distribution, the Web server retrieves the requested streaming data from the storage and transmits it to the Internet 1. The subsequent processing of this embodiment is the same as in the case of live distribution.
　図２に示すように、本実施形態のＷｅｂサーバ１０は、大別して、主要システム２０と、アップロードサーバ２１と、ストレージ２２とを有する。アップロードサーバ２１は、エンコーダ１２から送信されるストリーミングデータを受け付ける。アップロードサーバ２１は、通常のキャッシュサーバに相当し、アップロードしたストリーミングデータをキャッシングする。 As shown in FIG. 2, the Web server 10 of this embodiment is roughly divided into a main system 20, an upload server 21, and a storage 22. The upload server 21 receives streaming data transmitted from the encoder 12. The upload server 21 corresponds to a normal cache server and caches the uploaded streaming data.
　ストレージ２２は、大容量のネットワーク記憶装置である。アップロードサーバ２１は、ストレージ２２のバッファ領域にストリーミングデータを一時的に格納する（キャッシング）。また、ストレージ２２は、登録された映像ファイル（音声ファイルを含む）を保存する。 The storage 22 is a large capacity network storage device. The upload server 21 temporarily stores the streaming data in the buffer area of the storage 22 (caching). The storage 22 also stores registered video files (including audio files).
　主要システム２０はＷｅｂサーバ１０のプラットフォーム（platform）であり、本実施形態のＰＬＥ（Playlist Editor）モジュール３０と、ＰＬＥ機能を支援するためのサポートモジュール４０とを含む。主要システム２０は、プロセッサと、記憶デバイスと、インターフェースとを有し、プロセッサが実行するアプリケーションによりＰＬＥモジュール３０及びサポートモジュール４０を構成する。 The main system 20 is a platform of the Web server 10 and includes a PLE (Playlist Editor) module 30 of the present embodiment and a support module 40 for supporting the PLE function. The main system 20 includes a processor, a storage device, and an interface. The PLE module 30 and the support module 40 are configured by applications executed by the processor.
　図３に示すように、ＰＬＥモジュール３０は、動画ファイル取込処理部３１と、データベース３２と、メタデータ取込処理部３３と、クリップ情報ファイル生成部３４と、付加情報生成部３５と、ファイル転送処理部３８と、ＧＵＩ（graphical user interface）部３９とを有する。 As shown in FIG. 3, the PLE module 30 includes a moving image file import processing unit 31, a database 32, a metadata capture processing unit 33, a clip information file generation unit 34, an additional information generation unit 35, a file A transfer processing unit 38 and a GUI (graphical user interface) unit 39 are included.
　動画ファイル取込処理部３１は、アップロードサーバ２１によりアップロードされたストリーミングデータである動画ファイル（映像ファイルと音声ファイル）を取り込む。データベース３２は、後述するセグメントファイルを参照するための情報、生成されたサムネイルを参照するための情報、セグメントファイルの時刻情報などの参照情報を記憶デバイスに格納する。また、データベース３２は各アプリケーションと連携し、記憶デバイスから必要な参照情報を検索する。 The moving image file import processing unit 31 captures a moving image file (video file and audio file) that is streaming data uploaded by the upload server 21. The database 32 stores reference information such as information for referring to a segment file to be described later, information for referring to a generated thumbnail, and time information of the segment file in a storage device. The database 32 searches for necessary reference information from the storage device in cooperation with each application.
　メタデータ取込処理部３３は、映像コンテンツのカテゴリ等の初期設定メタデータをＷｅｂサイトから取り込み、データベース３２に登録する。クリップ情報ファイル生成部３４は、クリップ（clip）を定義するクリップ情報ファイルを生成する。クリップは、ストリーミングデータから抜き出した指定の動画ファイル（以下、音声ファイルも含めて映像ファイルと表記する場合がある）である。クリップ情報ファイル生成部３４は、後述するように、プレイリスト（ＰＬ：Playlist）及び映像ファイルのタイトルなどのメタデータを編集してクリップ情報ファイルを生成する。 The metadata take-in processing unit 33 takes in the initial setting metadata such as the video content category from the website and registers it in the database 32. The clip information file generation unit 34 generates a clip information file that defines a clip. A clip is a designated moving image file extracted from streaming data (hereinafter sometimes referred to as a video file including an audio file). As will be described later, the clip information file generation unit 34 edits metadata such as a playlist (PL) and a title of a video file to generate a clip information file.
　付加情報生成部３５は、サムネイル生成部３６及びメタデータ生成部３７を含む。サムネイル生成部３６は、後述するセグメントファイル毎のサムネイルを生成する。メタデータ生成部３７は、後述するように、映像認識（画像認識）処理及び音声認識処理を利用する各メタデータを生成する。ファイル転送処理部３８は、クリップ情報ファイル、映像ファイル、音声ファイル、サムネイルなどを公開用サイトであるＷｅｂサイトに転送する。通常では、ファイル転送処理部３８からのファイルは、トランスコーダ（transcoder）により所定のファイル形式に変換されて公開用サイトに転送される。 The additional information generation unit 35 includes a thumbnail generation unit 36 and a metadata generation unit 37. The thumbnail generation unit 36 generates a thumbnail for each segment file described later. The metadata generation unit 37 generates each metadata using video recognition (image recognition) processing and voice recognition processing, as will be described later. The file transfer processing unit 38 transfers clip information files, video files, audio files, thumbnails, and the like to a website that is a public site. Normally, the file from the file transfer processing unit 38 is converted into a predetermined file format by a transcoder and transferred to a public site.
　ＧＵＩ部３９は、編集用端末（コンピュータ）４１のブラウザ上でクリップ（即ち、クリップ情報ファイル）の作成や登録の操作を行なうためのインターフェースである。さらに、ＧＵＩ部３９はサポートモジュール４０に接続している。サポートモジュール４０は、権限が限定された閲覧者用の端末４２のブラウザ上で２次的な編集操作を支援する。具体的には、登録済みの映像コンテンツの一部を抜き出す処理や、映像シーン毎にコメントを付ける処理などの限定された編集処理を支援する。 The GUI unit 39 is an interface for creating and registering clips (that is, clip information files) on the browser of the editing terminal (computer) 41. Further, the GUI unit 39 is connected to the support module 40. The support module 40 supports secondary editing operations on the browser of the terminal 42 for the viewer with limited authority. Specifically, limited editing processing such as processing for extracting a part of registered video content and processing for adding a comment for each video scene is supported.
　次に、図４から図１０を参照して、本実施形態のＷｅｂサーバ１０の動作を説明する。 Next, the operation of the Web server 10 of this embodiment will be described with reference to FIGS.
　例えばスポーツ競技場での実況をカメラ１１により撮影した映像が、ＨＴＴＰストリーミングにより配信されるライブ配信が行われている。図９のフローチャートに示すように、アップロードサーバ２１は、配信されるストリーミングデータを受け付ける（ブロック１００）。アップロードサーバ２１は、受信したストリーミングデータをストレージ２２のバッファ領域に蓄積する（ブロック１０１）。 For example, live distribution in which video taken by a camera 11 taken from a sports stadium is distributed by HTTP streaming is performed. As shown in the flowchart of FIG. 9, the upload server 21 receives the streaming data to be distributed (block 100). The upload server 21 accumulates the received streaming data in the buffer area of the storage 22 (block 101).
　ここで、図４に示すように、ＨＴＴＰストリーミングにより、エンコーダ１２から送信されるストリーミングデータ１２０は、複数のセグメントファイル（ＳＦ：segment file）ＴＳ－１～ＴＳ－Ｎから構成されている。各セグメントファイルはそれぞれ、例えば再生時間が５秒～１０秒程度の映像ファイルである。各セグメントファイルはそれぞれ、多数の送信パケットからなる。 Here, as shown in FIG. 4, the streaming data 120 transmitted from the encoder 12 by HTTP streaming is composed of a plurality of segment files (SF) TS-1 to TS-N. Each segment file is, for example, a video file having a reproduction time of about 5 to 10 seconds. Each segment file is composed of a large number of transmission packets.
　ＰＬＥモジュール３０は、動画ファイル取込処理部３１により、ストレージ２２に格納されたセグメントファイル群を取り込む。サムネイル生成部３６は、各セグメントファイルのサムネイルを生成する（ブロック１０２）。ＰＬＥモジュール３０は、サムネイル生成部３６により生成されたサムネイル（映像データ）をストレージ２２に格納する。 The PLE module 30 captures the segment file group stored in the storage 22 by the moving image file capture processing unit 31. The thumbnail generation unit 36 generates a thumbnail for each segment file (block 102). The PLE module 30 stores the thumbnail (video data) generated by the thumbnail generation unit 36 in the storage 22.
　一方、ＰＬＥモジュール３０は、参照情報をデータベース３２に登録する（ブロック１０３）。具体的には、動画ファイル取込処理部３１は、各セグメントファイルを参照するための情報及び各セグメントファイルの時刻情報を含む参照情報をデータベース３２に登録する。付加情報生成部３５は、サムネイル生成部３６により生成されたサムネイルを参照するための参照情報をデータベース３２に登録する。 On the other hand, the PLE module 30 registers the reference information in the database 32 (block 103). Specifically, the moving image file import processing unit 31 registers reference information including information for referring to each segment file and time information of each segment file in the database 32. The additional information generation unit 35 registers reference information for referring to the thumbnail generated by the thumbnail generation unit 36 in the database 32.
　次に、ＰＬＥモジュール３０は、後述するように、クリップ情報ファイル生成部３４によるクリップ情報ファイルの生成処理を実行する（ブロック１０４）。ファイル転送処理部３８は、生成されたクリップ情報ファイルを公開用サイトであるＷｅｂサイトに転送する（ブロック１０５）。ファイル転送処理部３８は、クリップ情報ファイル以外にも、映像ファイル、音声ファイル、サムネイルなどを公開用サイトであるＷｅｂサイトに転送する。 Next, as described later, the PLE module 30 executes a clip information file generation process by the clip information file generation unit 34 (block 104). The file transfer processing unit 38 transfers the generated clip information file to a website that is a public site (block 105). In addition to the clip information file, the file transfer processing unit 38 transfers video files, audio files, thumbnails, and the like to a website that is a public site.
　クリップ情報ファイルは、例えばライブ配信により配信される映像のクリップを特定する情報である。即ち、例えばスポーツ中継でライブ配信されている映像から、ハイライトシーンを抽出する場合、当該ハイライトシーンに対応する映像ファイルがクリップである。従って、クリップ情報ファイルを公開用サイトで公開することにより、ユーザは、ユーザ端末１３のブラウザ上でクリップ情報ファイルを選択することで、該当するクリップを取得することが可能となる。ファイル転送処理部３８は、該当するクリップに対応する映像ファイル（音声ファイルを含む）を公開用サイトに転送する。 The clip information file is information for identifying a clip of a video distributed by live distribution, for example. That is, for example, when a highlight scene is extracted from a video distributed live by sports broadcast, a video file corresponding to the highlight scene is a clip. Therefore, by publishing the clip information file on the publishing site, the user can acquire the corresponding clip by selecting the clip information file on the browser of the user terminal 13. The file transfer processing unit 38 transfers the video file (including the audio file) corresponding to the corresponding clip to the public site.
　クリップ情報ファイルは、プレイリスト（ＰＬ）と呼ぶクリップを定義する情報を含む。プレイリスト（ＰＬ）は、マニフェストリスト（manifesto list）とも呼ばれ、ストリーミングデータから抜き出した再生用映像ファイルであるクリップを定義する。 The clip information file includes information defining clips called playlists (PL). The playlist (PL) is also called a manifest list (manifesto list), and defines a clip that is a playback video file extracted from streaming data.
　即ち、図５に示すように、プレイリストＰＬ１～ＰＬ３はそれぞれ、ライブ配信されている映像のシーン（クリップ）Ａ～Ｃに対応する。図６に示すように、ユーザ端末１３のブラウザにより、再生画面１３０上で、プレイリストＰＬ１～ＰＬ３により指示されるシーンＡ～Ｃに対応する映像６０が再生される。なお、再生画面１３０上では、映像６０と共に、シーンＡ～Ｃ毎のタイトル６１の表示が可能である。このタイトル６１に対応するメタデータは、後述するように、クリップ情報ファイルの編集処理により設定される。 That is, as shown in FIG. 5, the playlists PL1 to PL3 respectively correspond to video scenes (clips) A to C that are being distributed live. As shown in FIG. 6, the video 60 corresponding to the scenes A to C indicated by the playlists PL1 to PL3 is reproduced on the reproduction screen 130 by the browser of the user terminal 13. On the playback screen 130, the title 61 for each of the scenes A to C can be displayed together with the video 60. The metadata corresponding to the title 61 is set by a clip information file editing process, as will be described later.
　図７は、プレイリスト（ＰＬ１）の構成を示す。プレイリスト（マニフェストファイル）は、テキストファイル（ＸＭＬファイル：extensible markup language file）である。プレイリストは、連続して再生する各セグメントファイルを指示する再生指示ファイルである。具体的には、プレイリストは、再生時間７０１、各セグメントファイルのファイル名７０２、各セグメントファイルの記憶場所７０３などの情報を含む。各セグメントファイルのファイル名７０２は、図４に示すように、受信したストリーミングデータ１２０において、連続して再生するセグメントファイルの範囲を示す。各セグメントファイルの記憶場所７０３は、Ｗｅｂ上のストレージの記憶場所（即ち、ＵＲＬ）である。ここでは、各セグメントファイルは、ストレージ２２に保存されている。 FIG. 7 shows the structure of the playlist (PL1). The playlist (manifest file) is a text file (XML file: extensible markup language file). The playlist is a reproduction instruction file that indicates each segment file to be reproduced continuously. Specifically, the playlist includes information such as a reproduction time 701, a file name 702 of each segment file, and a storage location 703 of each segment file. As shown in FIG. 4, the file name 702 of each segment file indicates a range of segment files to be continuously reproduced in the received streaming data 120. The storage location 703 of each segment file is a storage location (that is, URL) of storage on the Web. Here, each segment file is stored in the storage 22.
　次に、図１０のフローチャートを参照して、クリップ情報ファイルの生成（編集）処理の手順を説明する。 Next, the procedure of clip information file generation (editing) processing will be described with reference to the flowchart of FIG.
　本実施形態では、図３に示すように、作業者が、編集用端末４１のブラウザ上でクリップ情報ファイルを作成する。図８に示すように、編集用端末４１は、表示画面４１０上に、ライブ配信されている映像（ストリーミングデータ１２０）を再生するウインドウ４１１と、各セグメントファイルのサムネイルを再生するウインドウ４１２を表示する。 In the present embodiment, as shown in FIG. 3, the worker creates a clip information file on the browser of the editing terminal 41. As shown in FIG. 8, the editing terminal 41 displays on the display screen 410 a window 411 for playing back live-distributed video (streaming data 120) and a window 412 for playing thumbnails of each segment file. .
　編集用端末４１は、ウインドウ４１１上にライブ配信されている映像（例えばスポーツ実況中継映像）を再生する（ブロック２００）。同時に、ウインドウ４１２上には、サムネイル生成部３６により生成された各セグメントファイルのサムネイルを再生する。編集用端末４１は、ブラウザ上で再生されたサムネイルを指定することにより、指定のクリップの再生開始点と終了点を入力する。 The editing terminal 41 reproduces the video (for example, sports live broadcast video) distributed live on the window 411 (block 200). At the same time, the thumbnails of the segment files generated by the thumbnail generator 36 are reproduced on the window 412. The editing terminal 41 inputs the playback start point and end point of the designated clip by designating the thumbnail played on the browser.
　クリップ情報ファイル生成部３４は、編集用端末４１により指定された再生開始点と終了点に応じて、データベース３２を参照して、連続して再生するセグメントファイルの範囲を設定する（ブロック２０１）。前述したように、データベース３２には、各セグメントファイルを参照するための情報、各セグメントファイルの時刻情報、及びサムネイルを参照するための参照情報が登録されている。サムネイルの参照情報は、各セグメントファイルの参照情報に対応付けされている。 The clip information file generation unit 34 refers to the database 32 according to the playback start point and end point specified by the editing terminal 41, and sets the range of segment files to be played back continuously (block 201). As described above, in the database 32, information for referring to each segment file, time information of each segment file, and reference information for referring to the thumbnail are registered. The thumbnail reference information is associated with the reference information of each segment file.
　さらに、クリップ情報ファイル生成部３４は、データベース３２を参照して、設定した範囲の各セグメントファイルを指示する再生指示ファイルであるプレイリストを生成する（ブロック２０２）。次に、クリップ情報ファイル生成部３４は、編集用端末４１のウインドウ４１２上からサムネイルが選択されると、当該クリップのサムネイルを指示する参照情報を設定する（ブロック２０３）。 Further, the clip information file generation unit 34 refers to the database 32 to generate a playlist that is a reproduction instruction file that indicates each segment file in the set range (block 202). Next, when a thumbnail is selected from the window 412 of the editing terminal 41, the clip information file generation unit 34 sets reference information indicating the thumbnail of the clip (block 203).
　さらに、クリップ情報ファイル生成部３４は、指定のクリップのタイトルなどのメタデータをデータベース３２から取り込む（ブロック２０４）。クリップ情報ファイル生成部３４は、データベース３２から、メタデータ取込処理部３３により取り込まれた初期設定メタデータを取り込む。また、クリップ情報ファイル生成部３４は、編集用端末４１または閲覧者用の端末４２のブラウザ上で入力されたメタデータをデータベース３２から取り込む。クリップ情報ファイル生成部３４は、指定のクリップを再生するためのクリップ情報ファイルを、プレイリスト、メタデータ及びサムネイルを指示する参照情報を編集して生成する（ブロック２０５）。クリップ情報ファイル生成部３４は、生成したクリップ情報ファイルをストレージ２２に保存する（ブロック２０６）。 Furthermore, the clip information file generation unit 34 takes in metadata such as the title of the designated clip from the database 32 (block 204). The clip information file generation unit 34 captures the initial setting metadata captured by the metadata capture processing unit 33 from the database 32. Further, the clip information file generation unit 34 takes in the metadata input on the browser of the editing terminal 41 or the viewer terminal 42 from the database 32. The clip information file generation unit 34 generates a clip information file for playing the designated clip by editing the reference information indicating the playlist, metadata, and thumbnail (block 205). The clip information file generation unit 34 stores the generated clip information file in the storage 22 (block 206).
　以上のようにして、本実施形態によれば、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンに対応するクリップを定義するプレイリストを含むクリップ情報ファイルをＷｅｂ上で公開できる。これにより、ユーザは、ユーザ端末１３のブラウザ上でクリップ情報ファイルを指定することにより、当該ハイライトシーンを即時に視聴することが可能である。 As described above, according to the present embodiment, for example, in live sports broadcasting, a clip information file including a playlist that defines a clip corresponding to a highlight scene can be disclosed on the Web while the video is distributed live. . Thereby, the user can view the highlight scene immediately by designating the clip information file on the browser of the user terminal 13.
　ここで、本実施形態では、ライブ配信される映像ファイル（音声ファイルを含む）そのものを加工せずに、データベース３２に格納された参照情報を使用して、プレイリストを含むクリップ情報ファイルの編集処理を行なう。即ち、本実施形態では、映像ファイル（音声ファイルを含む）そのものは、ストレージ２２に格納される。これに対して、データベース３２には、各セグメントファイルの参照情報やメタデータなど、映像ファイル以外の情報が格納される。従って、本実施形態は、従来の映像編集作業によりクリップを作成する場合と比較して、簡易かつ効率的な編集作業により、結果としてクリップを作成できる。具体的には、映像ファイル（音声ファイルを含む）そのものを加工しないため、複数の作業者が同時に編集作業を実行することが可能である。 Here, in this embodiment, editing processing of a clip information file including a playlist is performed using the reference information stored in the database 32 without processing a video file (including an audio file) that is distributed live. To do. That is, in this embodiment, the video file (including the audio file) itself is stored in the storage 22. In contrast, the database 32 stores information other than video files, such as reference information and metadata of each segment file. Therefore, this embodiment can create a clip as a result of a simple and efficient editing operation as compared with the case of creating a clip by a conventional video editing operation. Specifically, since the video file (including the audio file) itself is not processed, a plurality of workers can perform editing work simultaneously.
　本実施形態の構成により、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンを即時に公開することが可能になるため、ライブ配信とＶＯＤ配信の効用を兼ねた映像配信サービスを実現できる。即ち、ＶＯＤ配信は、ストレージに録画した映像ファイル（音声ファイルを含む）を提供するサービスである。本実施形態では、ライブ配信時に、クリップ情報ファイルを簡易かつ効率的な編集作業により生成できる。このため、ライブ配信の映像を視聴しながら、配信後の映像ファイルからなるクリップを即時に視聴できる。 With the configuration of the present embodiment, for example, in live sports broadcasting, it is possible to immediately publish the highlight scene while live distributing the video, so a video distribution service that combines the effects of live distribution and VOD distribution is provided. realizable. That is, VOD distribution is a service that provides video files (including audio files) recorded in storage. In this embodiment, a clip information file can be generated by simple and efficient editing work during live distribution. Therefore, it is possible to immediately view a clip made up of the video file after distribution while viewing the video of live distribution.
　なお、本実施形態では、ライブ配信のストリーミングデータの各セグメントファイルを参照して、クリップ情報ファイルを編集する場合について説明した。これに限ることなく、ＶＯＤ配信のストリーミングデータの各セグメントファイルを参照し、クリップ情報ファイルを編集する場合にも適用できる。 In the present embodiment, the case where the clip information file is edited with reference to each segment file of the streaming data of the live distribution has been described. The present invention is not limited to this, and the present invention can also be applied to a case where a clip information file is edited by referring to each segment file of streaming data of VOD distribution.
　また、本実施形態では、付加情報生成部３５において、サムネイル生成部３６がセグメントファイル毎のサムネイルを生成すると同時に、メタデータ生成部３７は映像認識（画像認識）処理及び音声認識処理を利用して各メタデータを生成する処理を実行する構成でもよい。即ち、メタデータ生成部３７は、ストリーミングデータの音声ファイルから音声認識処理を利用してキーワードを抽出し、当該キーワードを示すメタデータを生成してデータベース３２に格納する。また、メタデータ生成部３７は、映像認識（画像認識）処理を利用して、ストリーミングデータに含まれている字幕スーパーインポーズからキーワードを抽出し、当該キーワードを示すメタデータを生成してデータベース３２に格納する。 In the present embodiment, in the additional information generation unit 35, the thumbnail generation unit 36 generates a thumbnail for each segment file, and at the same time, the metadata generation unit 37 uses video recognition (image recognition) processing and voice recognition processing. It may be configured to execute processing for generating each metadata. That is, the metadata generation unit 37 extracts a keyword from the audio file of streaming data using a voice recognition process, generates metadata indicating the keyword, and stores it in the database 32. In addition, the metadata generation unit 37 extracts a keyword from the caption superimpose included in the streaming data using video recognition (image recognition) processing, generates metadata indicating the keyword, and generates the database 32. To store.
　さらに、本実施形態は、ストリーミングデータがアダプティブ・ビットレートに対応している場合（例えば５Ｍbps、５００ｋbps、３００ｋbpsなど）、選択した１つのビットレートの各セグメントファイルのみを参照して、クリップを作成することもできる。また、異なるビットレートに対応する各プレイリストを生成して公開してもよい。 Furthermore, according to the present embodiment, when streaming data corresponds to an adaptive bit rate (for example, 5 Mbps, 500 kbps, 300 kbps, etc.), a clip is created by referring only to each segment file of one selected bit rate. You can also. Also, each playlist corresponding to a different bit rate may be generated and released.
　本実施形態は、作成したクリップ（映像ファイル）をＨＴＴＰストリーミング形式で転送して公開する構成である。これに限ることなく、本実施形態のサーバ１０は、クリップを構成する各セグメントファイルを１ファイルに統合する機能を有し、１映像ファイルとしてクリップを公開する構成でもよい。 In the present embodiment, the created clip (video file) is transferred in the HTTP streaming format and released. The server 10 of the present embodiment is not limited to this, and may have a function of integrating each segment file constituting a clip into one file and publishing the clip as one video file.
　さらに、本実施形態は、クリップを構成する各セグメントファイルの中で、最初と最後のセグメントファイルに対するファイルカット編集処理を実行し、フレーム単位での編集処理を実行する構成でもよい。 Furthermore, the present embodiment may be configured such that the file cut editing process is executed on the first and last segment files in each segment file constituting the clip, and the editing process is executed in units of frames.
　さらに、本実施形態は、作成したクリップに対してファイル形式の変換や、ファイル暗号化を行なう機能を有する構成でもよい。 Furthermore, the present embodiment may be configured to have a function of performing file format conversion and file encryption on the created clip.

Claims (10)

  1. 　複数のセグメントファイルから構成されるストリーミングデータで、ネットワークを経由して送信される前記ストリーミングデータを記憶するストレージ装置と、
    　前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成するプロセッサとを具備し、
    　前記プロセッサは、
    　前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、
    　前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、
    　前記クリップ情報ファイルを転送するように構成されている映像ストリーミング配信装置。     A storage device for storing the streaming data transmitted via a network with streaming data composed of a plurality of segment files;
    A processor that generates a clip information file that identifies a clip that is a playback video file extracted from the streaming data;
    The processor is
    Generating a playback instruction file for instructing playback of a plurality of segment files constituting the clip;
    Edit the clip information file including the playback instruction file,
    A video streaming distribution device configured to transfer the clip information file.
  2. 　前記各セグメントファイルを参照するための参照情報を格納するデータベースを有し、
    　前記プロセッサは、
    　複数のセグメントファイルを加工処理することなく、前記データベースから前記参照情報を使用して前記再生指示ファイルを生成する請求項１に記載の映像ストリーミング配信装置。     A database storing reference information for referring to each of the segment files;
    The processor is
    The video streaming delivery device according to claim 1, wherein the playback instruction file is generated using the reference information from the database without processing a plurality of segment files.
  3. 　前記プロセッサは、
    　前記各セグメントファイルに対応するサムネイルを生成して前記ストレージ装置に格納し、
    　前記サムネイルを参照する参照情報を前記データベースに格納する請求項２に記載の映像ストリーミング配信装置。     The processor is
    A thumbnail corresponding to each segment file is generated and stored in the storage device,
    The video streaming distribution apparatus according to claim 2, wherein reference information for referring to the thumbnail is stored in the database.
  4. 　前記プロセッサは、
    　前記クリップに対応するサムネイルを参照するための参照情報を含む前記クリップ情報ファイルを編集する請求項３に記載の映像ストリーミング配信装置。     The processor is
    4. The video streaming distribution apparatus according to claim 3, wherein the clip information file including reference information for referring to a thumbnail corresponding to the clip is edited.
  5. 　前記プロセッサは、
    　前記クリップのメタデータを取得し、
    　前記メタデータを含む前記クリップ情報ファイルを編集する請求項１に記載の映像ストリーミング配信装置。     The processor is
    Get the metadata of the clip,
    The video streaming distribution apparatus according to claim 1, wherein the clip information file including the metadata is edited.
  6. 　前記プロセッサは、
    　連続して再生する前記各セグメントファイルのファイル名と、
    　前記各セグメントファイルの記憶場合を指示する情報と
    を含む前記再生指示ファイルを生成する請求項１に記載の映像ストリーミング配信装置。     The processor is
    The file name of each segment file to be played continuously,
    The video streaming delivery apparatus according to claim 1, wherein the playback instruction file including information indicating a storage case of each segment file is generated.
  7. 　前記プロセッサは、
    　前記データベースを参照して、前記クリップの再生開始点と再生終了点に基づいて連続して再生する前記各セグメントファイルを特定し、
    　前記再生指示ファイルを生成する請求項２に記載の映像ストリーミング配信装置。     The processor is
    Refer to the database, identify each segment file to be played continuously based on the playback start point and playback end point of the clip,
    The video streaming distribution apparatus according to claim 2, wherein the reproduction instruction file is generated.
  8. 　前記プロセッサは、
    　端末のブラウザ上に表示されたサムネイルに基づいて、前記クリップの再生開始点と再生終了点を入力し、
    　前記再生開始点と再生終了点に基づいて連続して再生する前記各セグメントファイルを特定する請求項７に記載の映像ストリーミング配信装置。     The processor is
    Based on the thumbnail displayed on the browser of the terminal, enter the playback start point and playback end point of the clip,
    8. The video streaming distribution device according to claim 7, wherein each segment file to be continuously played back is specified based on the playback start point and the playback end point.
  9. 　前記ストリーミングデータ及び前記クリップをＨＴＴＰストリーミング方式により配信する請求項１に記載の映像ストリーミング配信装置。 The video streaming distribution apparatus according to claim 1, wherein the streaming data and the clip are distributed by an HTTP streaming method.
  10. 　複数のセグメントファイルから構成されるストリーミングデータを、ネットワークを経由して配信する映像ストリーミング配信方法であって、
    　前記ストリーミングデータをストレージ装置に格納し、
    　前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルをプロセッサにより生成し、
    　前記プロセッサは、
    　前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、
    　前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、
    　前記クリップ情報ファイルを転送する映像ストリーミング配信方法。     A video streaming delivery method for delivering streaming data composed of a plurality of segment files via a network,
    Storing the streaming data in a storage device;
    A clip information file for specifying a clip that is a playback video file extracted from the streaming data is generated by a processor,
    The processor is
    Generating a playback instruction file for instructing playback of a plurality of segment files constituting the clip;
    Edit the clip information file including the playback instruction file,
    A video streaming distribution method for transferring the clip information file.
PCT/JP2012/059085 2012-04-03 2012-04-03 Device and method for video streaming distribution WO2013150611A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014508952A JP5909546B2 (en) 2012-04-03 2012-04-03 Apparatus and method for streaming video
PCT/JP2012/059085 WO2013150611A1 (en) 2012-04-03 2012-04-03 Device and method for video streaming distribution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/059085 WO2013150611A1 (en) 2012-04-03 2012-04-03 Device and method for video streaming distribution

Publications (1)

Publication Number Publication Date
WO2013150611A1 true WO2013150611A1 (en) 2013-10-10

Family

ID=49300136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059085 WO2013150611A1 (en) 2012-04-03 2012-04-03 Device and method for video streaming distribution

Country Status (2)

Country Link
JP (1) JP5909546B2 (en)
WO (1) WO2013150611A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220674A (en) * 2014-05-20 2015-12-07 キヤノン株式会社 Video supply device, video acquisition device, control method therefor, and video supply system
CN106412677A (en) * 2016-10-28 2017-02-15 北京奇虎科技有限公司 Generation method and device of playback video file
JP2017199994A (en) * 2016-04-26 2017-11-02 日本放送協会 Video distribution device and video distribution method
JP2019110480A (en) * 2017-12-19 2019-07-04 日本放送協会 Content processing system, terminal device, and program
JP2019161251A (en) * 2018-03-07 2019-09-19 株式会社Ｊｖｃケンウッド Image distribution apparatus, method and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115836517B (en) 2020-08-11 2024-01-26 内容权利有限责任公司 Information processing device, information processing program, and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146333A (en) * 1997-11-04 1999-05-28 Matsushita Electric Ind Co Ltd Moving image editing device
JP2004173102A (en) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Video contents viewing method and system, video viewing terminal device, video distributing device, video contents viewing program and storage medium storing video contents viewing program
JP2008159102A (en) * 2006-12-21 2008-07-10 Nec Corp Information processing device, mixed content generation method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146333A (en) * 1997-11-04 1999-05-28 Matsushita Electric Ind Co Ltd Moving image editing device
JP2004173102A (en) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Video contents viewing method and system, video viewing terminal device, video distributing device, video contents viewing program and storage medium storing video contents viewing program
JP2008159102A (en) * 2006-12-21 2008-07-10 Nec Corp Information processing device, mixed content generation method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Live/On Demand Togo Solution 'ShareCast Playlist Editor/Player' o Kaihatsu 'Gyosei Sasshin Kaigi Teigengata Seisaku Shiwake' no Live/Sokuji On Demand Chukei o Jisshi", KABUSHIKI KAISHA BIT MEDIA, 22 November 2011 (2011-11-22), Retrieved from the Internet <URL:http://www.bitmedia.co.jp/wp-content/uploads/pdf/PressRelease_Sharecast_PLE_PLP_20111122.pdf> [retrieved on 20120927] *
FUMIHARU YAMAMOTO: "Smart-ka suru Streaming", KABUSHIKI KAISHA INTERNET INITIATIVE, 11 November 2011 (2011-11-11), Retrieved from the Internet <URL:http://www.iij.ad.jp/Co./development/tech/techweek/pdf/tw201114streaming.pdf> [retrieved on 20120927] *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220674A (en) * 2014-05-20 2015-12-07 キヤノン株式会社 Video supply device, video acquisition device, control method therefor, and video supply system
JP2017199994A (en) * 2016-04-26 2017-11-02 日本放送協会 Video distribution device and video distribution method
CN106412677A (en) * 2016-10-28 2017-02-15 北京奇虎科技有限公司 Generation method and device of playback video file
WO2018076998A1 (en) * 2016-10-28 2018-05-03 北京奇虎科技有限公司 Method and device for generating playback video file
JP2019110480A (en) * 2017-12-19 2019-07-04 日本放送協会 Content processing system, terminal device, and program
JP2019161251A (en) * 2018-03-07 2019-09-19 株式会社Ｊｖｃケンウッド Image distribution apparatus, method and program
JP7006387B2 (en) 2018-03-07 2022-01-24 株式会社Ｊｖｃケンウッド Image distribution device, method and program

Also Published As

Publication number Publication date
JP5909546B2 (en) 2016-04-26
JPWO2013150611A1 (en) 2015-12-14

Similar Documents

Publication Publication Date Title
US11937010B2 (en) Data segment service
US10200723B2 (en) Converting live streaming content to video-on-demand streaming content
JP5909546B2 (en) Apparatus and method for streaming video
EP2991341A1 (en) Video playback method, media device, playback device, and multimedia system
US20130343722A1 (en) System and method for distributed and parallel video editing, tagging and indexing
CN107820115A (en) Realize the method, apparatus and client and storage medium of video information preview
WO2014101379A1 (en) Method and apparatus for editing live stream based on m3u8 list protocol
KR102085192B1 (en) Rendering time control
JP2014131253A (en) Content creation method and media cloud server
WO2011157212A1 (en) Processing system and method for video-on-demand in an interactive network television
JP4932435B2 (en) Content providing server and content providing program
US11818186B2 (en) Distributed network recording system with synchronous multi-actor recording
US9264746B2 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
US10567098B2 (en) Reception apparatus, transmission apparatus, and data processing method
KR20160077067A (en) Transmission device, transmission method, reception device, and reception method
WO2021101024A1 (en) Cloud-based video virtual studio service system
JP5208560B2 (en) Information video distribution apparatus, information video distribution method and program
JP7290260B1 (en) Servers, terminals and computer programs
KR20140134100A (en) Method for generating user video and Apparatus therefor
CN108156490B (en) Method, system and storage medium for playing back live television by using mobile terminal
US11910050B2 (en) Distributed network recording system with single user control
JP2008048091A (en) Motion picture tagging program, motion picture tag system, and motion picture distributing method
JP2012156808A (en) Image transmission system and image reproducing device
JP6275906B1 (en) Program and method for reproducing moving image content, and system for distributing and reproducing moving image content
KR102391755B1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12873722

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014508952

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12873722

Country of ref document: EP

Kind code of ref document: A1