JP5909546B2 - Apparatus and method for streaming video - Google Patents
Apparatus and method for streaming video Download PDFInfo
- Publication number
- JP5909546B2 JP5909546B2 JP2014508952A JP2014508952A JP5909546B2 JP 5909546 B2 JP5909546 B2 JP 5909546B2 JP 2014508952 A JP2014508952 A JP 2014508952A JP 2014508952 A JP2014508952 A JP 2014508952A JP 5909546 B2 JP5909546 B2 JP 5909546B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- clip
- metadata
- segment
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000002716 delivery method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本開示は、インターネットでの映像ストリーミング配信技術に関する。 The present disclosure relates to video streaming distribution technology over the Internet.
近年、インターネットでの映像ストリーミング配信方式として、専用プロトコルを利用する方式以外に、HTTP(hypertext transfer protocol)を利用する方式が注目されている。このHTTPを利用するストリーミング配信を、HTTPストリーミング(HTTP streaming)と総称する。 In recent years, as a video streaming distribution method on the Internet, a method using an HTTP (hypertext transfer protocol) has attracted attention in addition to a method using a dedicated protocol. This streaming distribution using HTTP is generically referred to as HTTP streaming.
HTTPストリーミングは、セグメント化されたストリームファイル群(映像・音声または音声)とプレイリスト(マニフェストファイル)を、HTTPを利用して配信する方式のため、既存のWebサーバによる通常のファイル転送と同様の方法で転送できる。これにより、ストリーミング配信のコスト低減を図ることが可能である。 HTTP streaming is a method of distributing segmented stream files (video / audio or audio) and playlists (manifest files) using HTTP, and is similar to normal file transfer by existing Web servers. Can be transferred by the method. Thereby, it is possible to reduce the cost of streaming distribution.
HTTPストリーミングには、各種の規格が提案されている。例えば、ISO MPEGの標準規格として、DASH(Dynamic Adaptive Streaming over HTTP)が策定されている。 Various standards have been proposed for HTTP streaming. For example, DASH (Dynamic Adaptive Streaming over HTTP) has been formulated as an ISO MPEG standard.
HTTPストリーミングを利用して、インターネットでの実況中継に相当するライブ配信やVOD(video on demand)配信を行なう映像配信サービスが実現されている。このようなサービスにおいて、ライブ配信をしながら、例えばハイライトシーンを即時に公開するなどのライブ配信とVOD配信の効用を兼ねた映像配信サービスが有用である。そこで、本発明の目的は、複雑な編集作業を要することなく、ライブ配信とVOD配信の効用を兼ねた映像配信サービスを実現することにある。 A video distribution service that performs live distribution equivalent to live broadcasting on the Internet and VOD (video on demand) distribution using HTTP streaming has been realized. In such a service, a video distribution service that combines the effects of live distribution and VOD distribution, for example, immediately releasing a highlight scene while live distribution is useful. Therefore, an object of the present invention is to realize a video distribution service that combines the effects of live distribution and VOD distribution without requiring complicated editing work.
本発明の観点は、HTTPストリーミング方式を適用する映像ストリーミング配信のための装置である。実施形態によれば、映像ストリーミング配信装置は、複数のセグメントファイルから構成されるストリーミングデータで、ネットワークを経由して送信される前記ストリーミングデータを記憶するストレージ装置と、前記各セグメントファイルを参照するための第1の参照情報、前記各セグメントファイルのサムネイルを参照するための第2の参照情報及びメタデータを格納するデータベースと、前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成するプロセッサとを具備し、前記プロセッサは、前記各セグメントファイルのサムネイルを生成して、前記ストレージ装置に格納し、前記生成されたサムネイルに対応する前記第2の参照情報を前記データベースに格納し、前記クリップを構成する各セグメントファイルを設定し、前記クリップのメタデータを生成して、前記データベースに格納し、前記第1の参照情報を使用して、前記設定された各セグメントファイルを連続して再生するための再生指示ファイルを生成し、前記設定された各セグメントファイルのサムネイルを参照するための第2の参照情報を設定し、前記データベースから前記クリップのメタデータを取得し、前記生成された再生指示ファイル、前記設定された第2の参照情報及び前記取得されたメタデータを含む前記クリップ情報ファイルを編集し、前記編集されたクリップ情報ファイルを、前記ネットワークの公開用サイトに転送するように構成されている。 An aspect of the present invention is an apparatus for video streaming distribution to which an HTTP streaming method is applied. According to the embodiment, the video streaming distribution device refers to the storage device that stores the streaming data transmitted via the network with the streaming data composed of a plurality of segment files, and the segment files. First reference information, second reference information for referring to the thumbnail of each segment file, and a database for storing metadata, and clip information for specifying a clip that is a playback video file extracted from the streaming data A processor for generating a file, wherein the processor generates a thumbnail of each segment file, stores the thumbnail in the storage device, and stores the second reference information corresponding to the generated thumbnail in the database. Store and Each segment file that constitutes a clip is generated, the metadata of the clip is generated, stored in the database, and the set segment files are continuously used by using the first reference information. Generate a playback instruction file for playback, set second reference information for referring to the thumbnails of each set segment file, acquire metadata of the clip from the database, and generate the generated The clip information file including the reproduction instruction file, the set second reference information and the acquired metadata is edited, and the edited clip information file is transferred to the public site of the network. Is configured .
以下、図面を参照して実施形態を説明する。 Hereinafter, embodiments will be described with reference to the drawings.
図1は、本実施形態のHTTPストリーミングのシステム構成を説明するためのブロック図である。 FIG. 1 is a block diagram for explaining a system configuration of HTTP streaming according to the present embodiment.
HTTPストリーミングにより、例えばスポーツ競技場での実況をカメラ11により撮影した映像を、インターネット1を介して配信するライブ配信が実現されている。このようなライブ配信では、図1に示すように、カメラにより撮影された映像は、エンコーダ12によりストリーミングデータに変換されてインターネット1上に送信される。エンコーダ12は、通常ではコンピュータと専用ソフトウェアにより実現されている。ストリーミングデータは映像データだけでなく、マイクロフォンにより集音される音声の音声データも含む。
With HTTP streaming, for example, live distribution in which a video taken by a
本実施形態のWebサーバ10は、エンコーダ12から送信されたストリーミングデータを取得し、HTTPストリーミングにより、インターネット1に接続された各ユーザ端末13に配信する。本実施形態のサーバ10は、HTTPストリーミング機能だけでなく、後述するように、クリップ情報ファイルの生成機能に含まれるプレイリスト(PL:playlist)生成機能を有する。
The
なお、放送局を中継してライブ配信を行なう場合には、エンコーダ12は、放送局のエンコーダセンターである。また、VOD(video on demand)配信の場合には、Webサーバが、ストレージから要求されたストリーミングデータを取り出して、インターネット1に送信する。これ以降の本実施形態の処理は、ライブ配信の場合と同様である。
In the case where live distribution is performed via a broadcast station, the
図2に示すように、本実施形態のWebサーバ10は、大別して、主要システム20と、アップロードサーバ21と、ストレージ22とを有する。アップロードサーバ21は、エンコーダ12から送信されるストリーミングデータを受け付ける。アップロードサーバ21は、通常のキャッシュサーバに相当し、アップロードしたストリーミングデータをキャッシングする。
As shown in FIG. 2, the
ストレージ22は、大容量のネットワーク記憶装置である。アップロードサーバ21は、ストレージ22のバッファ領域にストリーミングデータを一時的に格納する(キャッシング)。また、ストレージ22は、登録された映像ファイル(音声ファイルを含む)を保存する。
The
主要システム20はWebサーバ10のプラットフォーム(platform)であり、本実施形態のPLE(Playlist Editor)モジュール30と、PLE機能を支援するためのサポートモジュール40とを含む。主要システム20は、プロセッサと、記憶デバイスと、インターフェースとを有し、プロセッサが実行するアプリケーションによりPLEモジュール30及びサポートモジュール40を構成する。
The
図3に示すように、PLEモジュール30は、動画ファイル取込処理部31と、データベース32と、メタデータ取込処理部33と、クリップ情報ファイル生成部34と、付加情報生成部35と、ファイル転送処理部38と、GUI(graphical user interface)部39とを有する。
As shown in FIG. 3, the
動画ファイル取込処理部31は、アップロードサーバ21によりアップロードされたストリーミングデータである動画ファイル(映像ファイルと音声ファイル)を取り込む。データベース32は、後述するセグメントファイルを参照するための情報、生成されたサムネイルを参照するための情報、セグメントファイルの時刻情報などの参照情報を記憶デバイスに格納する。また、データベース32は各アプリケーションと連携し、記憶デバイスから必要な参照情報を検索する。
The moving image file
メタデータ取込処理部33は、映像コンテンツのカテゴリ等の初期設定メタデータをWebサイトから取り込み、データベース32に登録する。クリップ情報ファイル生成部34は、クリップ(clip)を定義するクリップ情報ファイルを生成する。クリップは、ストリーミングデータから抜き出した指定の動画ファイル(以下、音声ファイルも含めて映像ファイルと表記する場合がある)である。クリップ情報ファイル生成部34は、後述するように、プレイリスト(PL:Playlist)及び映像ファイルのタイトルなどのメタデータを編集してクリップ情報ファイルを生成する。
The metadata
付加情報生成部35は、サムネイル生成部36及びメタデータ生成部37を含む。サムネイル生成部36は、後述するセグメントファイル毎のサムネイルを生成する。メタデータ生成部37は、後述するように、映像認識(画像認識)処理及び音声認識処理を利用する各メタデータを生成する。ファイル転送処理部38は、クリップ情報ファイル、映像ファイル、音声ファイル、サムネイルなどを公開用サイトであるWebサイトに転送する。通常では、ファイル転送処理部38からのファイルは、トランスコーダ(transcoder)により所定のファイル形式に変換されて公開用サイトに転送される。
The additional
GUI部39は、編集用端末(コンピュータ)41のブラウザ上でクリップ(即ち、クリップ情報ファイル)の作成や登録の操作を行なうためのインターフェースである。さらに、GUI部39はサポートモジュール40に接続している。サポートモジュール40は、権限が限定された閲覧者用の端末42のブラウザ上で2次的な編集操作を支援する。具体的には、登録済みの映像コンテンツの一部を抜き出す処理や、映像シーン毎にコメントを付ける処理などの限定された編集処理を支援する。
The
次に、図4から図10を参照して、本実施形態のWebサーバ10の動作を説明する。
Next, the operation of the
例えばスポーツ競技場での実況をカメラ11により撮影した映像が、HTTPストリーミングにより配信されるライブ配信が行われている。図9のフローチャートに示すように、アップロードサーバ21は、配信されるストリーミングデータを受け付ける(ブロック100)。アップロードサーバ21は、受信したストリーミングデータをストレージ22のバッファ領域に蓄積する(ブロック101)。
For example, live distribution is performed in which video taken by a
ここで、図4に示すように、HTTPストリーミングにより、エンコーダ12から送信されるストリーミングデータ120は、複数のセグメントファイル(SF:segment file)TS−1〜TS−Nから構成されている。各セグメントファイルはそれぞれ、例えば再生時間が5秒〜10秒程度の映像ファイルである。各セグメントファイルはそれぞれ、多数の送信パケットからなる。
Here, as shown in FIG. 4, streaming
PLEモジュール30は、動画ファイル取込処理部31により、ストレージ22に格納されたセグメントファイル群を取り込む。サムネイル生成部36は、各セグメントファイルのサムネイルを生成する(ブロック102)。PLEモジュール30は、サムネイル生成部36により生成されたサムネイル(映像データ)をストレージ22に格納する。
The
一方、PLEモジュール30は、参照情報をデータベース32に登録する(ブロック103)。具体的には、動画ファイル取込処理部31は、各セグメントファイルを参照するための情報及び各セグメントファイルの時刻情報を含む参照情報をデータベース32に登録する。付加情報生成部35は、サムネイル生成部36により生成されたサムネイルを参照するための参照情報をデータベース32に登録する。
On the other hand, the
次に、PLEモジュール30は、後述するように、クリップ情報ファイル生成部34によるクリップ情報ファイルの生成処理を実行する(ブロック104)。ファイル転送処理部38は、生成されたクリップ情報ファイルを公開用サイトであるWebサイトに転送する(ブロック105)。ファイル転送処理部38は、クリップ情報ファイル以外にも、映像ファイル、音声ファイル、サムネイルなどを公開用サイトであるWebサイトに転送する。
Next, the
クリップ情報ファイルは、例えばライブ配信により配信される映像のクリップを特定する情報である。即ち、例えばスポーツ中継でライブ配信されている映像から、ハイライトシーンを抽出する場合、当該ハイライトシーンに対応する映像ファイルがクリップである。従って、クリップ情報ファイルを公開用サイトで公開することにより、ユーザは、ユーザ端末13のブラウザ上でクリップ情報ファイルを選択することで、該当するクリップを取得することが可能となる。ファイル転送処理部38は、該当するクリップに対応する映像ファイル(音声ファイルを含む)を公開用サイトに転送する。
The clip information file is information for specifying a clip of a video distributed by live distribution, for example. That is, for example, when a highlight scene is extracted from a video distributed live by sports broadcast, a video file corresponding to the highlight scene is a clip. Therefore, by publishing the clip information file on the publishing site, the user can acquire the corresponding clip by selecting the clip information file on the browser of the
クリップ情報ファイルは、プレイリスト(PL)と呼ぶクリップを定義する情報を含む。プレイリスト(PL)は、マニフェストリスト(manifesto list)とも呼ばれ、ストリーミングデータから抜き出した再生用映像ファイルであるクリップを定義する。 The clip information file includes information defining a clip called a playlist (PL). The playlist (PL) is also called a manifest list (manifesto list), and defines a clip that is a video file for reproduction extracted from the streaming data.
即ち、図5に示すように、プレイリストPL1〜PL3はそれぞれ、ライブ配信されている映像のシーン(クリップ)A〜Cに対応する。図6に示すように、ユーザ端末13のブラウザにより、再生画面130上で、プレイリストPL1〜PL3により指示されるシーンA〜Cに対応する映像60が再生される。なお、再生画面130上では、映像60と共に、シーンA〜C毎のタイトル61の表示が可能である。このタイトル61に対応するメタデータは、後述するように、クリップ情報ファイルの編集処理により設定される。
That is, as shown in FIG. 5, the playlists PL1 to PL3 respectively correspond to video scenes (clips) A to C that are being distributed live. As shown in FIG. 6, the
図7は、プレイリスト(PL1)の構成を示す。プレイリスト(マニフェストファイル)は、テキストファイル(XMLファイル:extensible markup language file)である。プレイリストは、連続して再生する各セグメントファイルを指示する再生指示ファイルである。具体的には、プレイリストは、再生時間701、各セグメントファイルのファイル名702、各セグメントファイルの記憶場所703などの情報を含む。各セグメントファイルのファイル名702は、図4に示すように、受信したストリーミングデータ120において、連続して再生するセグメントファイルの範囲を示す。各セグメントファイルの記憶場所703は、Web上のストレージの記憶場所(即ち、URL)である。ここでは、各セグメントファイルは、ストレージ22に保存されている。
FIG. 7 shows the structure of the playlist (PL1). The playlist (manifest file) is a text file (XML file: extensible markup language file). The playlist is a reproduction instruction file that indicates each segment file to be reproduced continuously. Specifically, the playlist includes information such as a
次に、図10のフローチャートを参照して、クリップ情報ファイルの生成(編集)処理の手順を説明する。 Next, a procedure of clip information file generation (editing) processing will be described with reference to the flowchart of FIG.
本実施形態では、図3に示すように、作業者が、編集用端末41のブラウザ上でクリップ情報ファイルを作成する。図8に示すように、編集用端末41は、表示画面410上に、ライブ配信されている映像(ストリーミングデータ120)を再生するウインドウ411と、各セグメントファイルのサムネイルを再生するウインドウ412を表示する。
In the present embodiment, as shown in FIG. 3, the worker creates a clip information file on the browser of the
編集用端末41は、ウインドウ411上にライブ配信されている映像(例えばスポーツ実況中継映像)を再生する(ブロック200)。同時に、ウインドウ412上には、サムネイル生成部36により生成された各セグメントファイルのサムネイルを再生する。編集用端末41は、ブラウザ上で再生されたサムネイルを指定することにより、指定のクリップの再生開始点と終了点を入力する。
The
クリップ情報ファイル生成部34は、編集用端末41により指定された再生開始点と終了点に応じて、データベース32を参照して、連続して再生するセグメントファイルの範囲を設定する(ブロック201)。前述したように、データベース32には、各セグメントファイルを参照するための情報、各セグメントファイルの時刻情報、及びサムネイルを参照するための参照情報が登録されている。サムネイルの参照情報は、各セグメントファイルの参照情報に対応付けされている。
The clip information
さらに、クリップ情報ファイル生成部34は、データベース32を参照して、設定した範囲の各セグメントファイルを指示する再生指示ファイルであるプレイリストを生成する(ブロック202)。次に、クリップ情報ファイル生成部34は、編集用端末41のウインドウ412上からサムネイルが選択されると、当該クリップのサムネイルを指示する参照情報を設定する(ブロック203)。
Further, the clip information
さらに、クリップ情報ファイル生成部34は、指定のクリップのタイトルなどのメタデータをデータベース32から取り込む(ブロック204)。クリップ情報ファイル生成部34は、データベース32から、メタデータ取込処理部33により取り込まれた初期設定メタデータを取り込む。また、クリップ情報ファイル生成部34は、編集用端末41または閲覧者用の端末42のブラウザ上で入力されたメタデータをデータベース32から取り込む。クリップ情報ファイル生成部34は、指定のクリップを再生するためのクリップ情報ファイルを、プレイリスト、メタデータ及びサムネイルを指示する参照情報を編集して生成する(ブロック205)。クリップ情報ファイル生成部34は、生成したクリップ情報ファイルをストレージ22に保存する(ブロック206)。
Further, the clip information
以上のようにして、本実施形態によれば、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンに対応するクリップを定義するプレイリストを含むクリップ情報ファイルをWeb上で公開できる。これにより、ユーザは、ユーザ端末13のブラウザ上でクリップ情報ファイルを指定することにより、当該ハイライトシーンを即時に視聴することが可能である。
As described above, according to the present embodiment, for example, in live sports broadcasting, a clip information file including a playlist that defines a clip corresponding to a highlight scene can be disclosed on the Web while the video is distributed live. . Thereby, the user can view the highlight scene immediately by designating the clip information file on the browser of the
ここで、本実施形態では、ライブ配信される映像ファイル(音声ファイルを含む)そのものを加工せずに、データベース32に格納された参照情報を使用して、プレイリストを含むクリップ情報ファイルの編集処理を行なう。即ち、本実施形態では、映像ファイル(音声ファイルを含む)そのものは、ストレージ22に格納される。これに対して、データベース32には、各セグメントファイルの参照情報やメタデータなど、映像ファイル以外の情報が格納される。従って、本実施形態は、従来の映像編集作業によりクリップを作成する場合と比較して、簡易かつ効率的な編集作業により、結果としてクリップを作成できる。具体的には、映像ファイル(音声ファイルを含む)そのものを加工しないため、複数の作業者が同時に編集作業を実行することが可能である。
Here, in this embodiment, editing processing of a clip information file including a playlist is performed using the reference information stored in the
本実施形態の構成により、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンを即時に公開することが可能になるため、ライブ配信とVOD配信の効用を兼ねた映像配信サービスを実現できる。即ち、VOD配信は、ストレージに録画した映像ファイル(音声ファイルを含む)を提供するサービスである。本実施形態では、ライブ配信時に、クリップ情報ファイルを簡易かつ効率的な編集作業により生成できる。このため、ライブ配信の映像を視聴しながら、配信後の映像ファイルからなるクリップを即時に視聴できる。 With the configuration of the present embodiment, for example, in live sports broadcasting, it is possible to immediately publish the highlight scene while live distributing the video, so a video distribution service that combines the effects of live distribution and VOD distribution is provided. realizable. That is, VOD distribution is a service that provides video files (including audio files) recorded in storage. In this embodiment, a clip information file can be generated by simple and efficient editing work during live distribution. Therefore, it is possible to immediately view a clip made up of the video file after distribution while viewing the video of live distribution.
なお、本実施形態では、ライブ配信のストリーミングデータの各セグメントファイルを参照して、クリップ情報ファイルを編集する場合について説明した。これに限ることなく、VOD配信のストリーミングデータの各セグメントファイルを参照し、クリップ情報ファイルを編集する場合にも適用できる。 In the present embodiment, the case where the clip information file is edited with reference to each segment file of streaming data for live distribution has been described. The present invention is not limited to this, and the present invention can also be applied to a case where a clip information file is edited by referring to each segment file of streaming data of VOD distribution.
また、本実施形態では、付加情報生成部35において、サムネイル生成部36がセグメントファイル毎のサムネイルを生成すると同時に、メタデータ生成部37は映像認識(画像認識)処理及び音声認識処理を利用して各メタデータを生成する処理を実行する構成でもよい。即ち、メタデータ生成部37は、ストリーミングデータの音声ファイルから音声認識処理を利用してキーワードを抽出し、当該キーワードを示すメタデータを生成してデータベース32に格納する。また、メタデータ生成部37は、映像認識(画像認識)処理を利用して、ストリーミングデータに含まれている字幕スーパーインポーズからキーワードを抽出し、当該キーワードを示すメタデータを生成してデータベース32に格納する。
In the present embodiment, in the additional
さらに、本実施形態は、ストリーミングデータがアダプティブ・ビットレートに対応している場合(例えば5Mbps、500kbps、300kbpsなど)、選択した1つのビットレートの各セグメントファイルのみを参照して、クリップを作成することもできる。また、異なるビットレートに対応する各プレイリストを生成して公開してもよい。 Furthermore, according to the present embodiment, when streaming data corresponds to an adaptive bit rate (for example, 5 Mbps, 500 kbps, 300 kbps, etc.), a clip is created by referring only to each segment file of one selected bit rate. You can also. Also, each playlist corresponding to a different bit rate may be generated and released.
本実施形態は、作成したクリップ(映像ファイル)をHTTPストリーミング形式で転送して公開する構成である。これに限ることなく、本実施形態のサーバ10は、クリップを構成する各セグメントファイルを1ファイルに統合する機能を有し、1映像ファイルとしてクリップを公開する構成でもよい。
In the present embodiment, the created clip (video file) is transferred in the HTTP streaming format and released. The
さらに、本実施形態は、クリップを構成する各セグメントファイルの中で、最初と最後のセグメントファイルに対するファイルカット編集処理を実行し、フレーム単位での編集処理を実行する構成でもよい。 Further, the present embodiment may be configured such that the file cut editing process is executed on the first and last segment files in each segment file constituting the clip, and the editing process is executed in units of frames.
さらに、本実施形態は、作成したクリップに対してファイル形式の変換や、ファイル暗号化を行なう機能を有する構成でもよい。 Furthermore, the present embodiment may be configured to have a function of performing file format conversion and file encryption on the created clip.
Claims (10)
前記各セグメントファイルを参照するための第1の参照情報、前記各セグメントファイルのサムネイルを参照するための第2の参照情報及びメタデータを格納するデータベースと、
前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成するプロセッサと、
を具備し、
前記プロセッサは、
前記各セグメントファイルのサムネイルを生成して、前記ストレージ装置に格納し、
前記生成されたサムネイルに対応する前記第2の参照情報を前記データベースに格納し、
前記クリップを構成する各セグメントファイルを設定し、
前記クリップのメタデータを生成して、前記データベースに格納し、
前記第1の参照情報を使用して、前記設定された各セグメントファイルを連続して再生するための再生指示ファイルを生成し、
前記設定された各セグメントファイルのサムネイルを参照するための第2の参照情報を設定し、
前記データベースから前記クリップのメタデータを取得し、
前記生成された再生指示ファイル、前記設定された第2の参照情報及び前記取得されたメタデータを含む前記クリップ情報ファイルを編集し、
前記編集されたクリップ情報ファイルを、前記ネットワークの公開用サイトに転送するように構成されている映像ストリーミング配信装置。 A storage device for storing the streaming data transmitted via a network with streaming data composed of a plurality of segment files;
A database for storing first reference information for referencing each segment file, second reference information for referencing a thumbnail of each segment file, and metadata;
A processor that generates a clip information file that identifies a clip that is a playback video file extracted from the streaming data;
Comprising
The processor is
Generate a thumbnail of each segment file, store it in the storage device,
Storing the second reference information corresponding to the generated thumbnail in the database;
Set each segment file that makes up the clip ,
Generate metadata for the clip, store it in the database,
Using the first reference information , generate a playback instruction file for continuously playing the set segment files ,
Setting second reference information for referring to the thumbnails of the set segment files;
Obtaining the metadata of the clip from the database;
Editing the generated playback instruction file, the set second reference information and the clip information file including the acquired metadata ;
A video streaming distribution device configured to transfer the edited clip information file to a public site on the network .
前記ストレージ装置を介して前記クリップ情報ファイルを前記公開用サイトに転送する手段を有する請求項1から4のいずれか1項に記載の映像ストリーミング配信装置。 The processor stores the edited clip information file in the storage device,
5. The video streaming distribution apparatus according to claim 1, further comprising a unit that transfers the clip information file to the public site via the storage device. 6.
端末のブラウザ上に表示されたサムネイルに基づいて、前記クリップの再生開始点と再生終了点を入力し、
前記再生開始点と再生終了点に基づいて連続して再生する前記各セグメントファイルを特定する請求項7に記載の映像ストリーミング配信装置。 The processor is
Based on the thumbnail displayed on the browser of the terminal, enter the playback start point and playback end point of the clip,
8. The video streaming distribution device according to claim 7, wherein each segment file to be continuously played back is specified based on the playback start point and the playback end point.
前記ネットワークを経由して送信される前記ストリーミングデータをストレージ装置に格納し、
前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルをプロセッサにより生成し、
前記プロセッサは、
前記各セグメントファイルのサムネイルを生成して前記ストレージ装置に格納し、
前記クリップを構成する各セグメントファイルを設定し、
前記クリップのメタデータを生成し、
前記各セグメントファイルを参照するための第1の参照情報、前記各セグメントファイルのサムネイルを参照するための第2の参照情報及び前記メタデータをデータベースに格納し、
前記第1の参照情報を使用して、前記設定された各セグメントファイルを連続して再生するための再生指示ファイルを生成し、
前記設定された各セグメントファイルのサムネイルを参照するための第2の参照情報を設定し、
前記データベースから前記クリップのメタデータを取得し、
前記生成された再生指示ファイル、前記設定された第2の参照情報及び前記取得されたメタデータを含む前記クリップ情報ファイルを編集し、
前記クリップ情報ファイルを、前記ネットワークの公開用サイトに転送する映像ストリーミング配信方法。 A video streaming delivery method for delivering streaming data composed of a plurality of segment files via a network,
Storing the streaming data transmitted via the network in a storage device;
A clip information file for specifying a clip that is a playback video file extracted from the streaming data is generated by a processor,
The processor is
Generate a thumbnail of each segment file and store it in the storage device,
Set each segment file that makes up the clip,
Generate metadata for the clip,
Storing first reference information for referring to each segment file, second reference information for referring to a thumbnail of each segment file, and the metadata in a database;
Using the first reference information , generate a playback instruction file for continuously playing the set segment files ,
Setting second reference information for referring to the thumbnails of the set segment files;
Obtaining the metadata of the clip from the database;
Editing the generated playback instruction file, the set second reference information and the clip information file including the acquired metadata ;
A video streaming distribution method for transferring the clip information file to a public site on the network .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/059085 WO2013150611A1 (en) | 2012-04-03 | 2012-04-03 | Device and method for video streaming distribution |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013150611A1 JPWO2013150611A1 (en) | 2015-12-14 |
JP5909546B2 true JP5909546B2 (en) | 2016-04-26 |
Family
ID=49300136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014508952A Active JP5909546B2 (en) | 2012-04-03 | 2012-04-03 | Apparatus and method for streaming video |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5909546B2 (en) |
WO (1) | WO2013150611A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022034814A1 (en) | 2020-08-11 | 2022-02-17 | コンテンツライツ合同会社 | Information processing device, information processing program, and recording medium |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6433151B2 (en) * | 2014-05-20 | 2018-12-05 | キヤノン株式会社 | Video supply device, video acquisition device, control method thereof, and video supply system |
JP2017199994A (en) * | 2016-04-26 | 2017-11-02 | 日本放送協会 | Video distribution device and video distribution method |
CN106412677B (en) * | 2016-10-28 | 2020-06-02 | 北京奇虎科技有限公司 | Method and device for generating playback video file |
JP6948934B2 (en) * | 2017-12-19 | 2021-10-13 | 日本放送協会 | Content processing systems, terminals, and programs |
JP7006387B2 (en) * | 2018-03-07 | 2022-01-24 | 株式会社Jvcケンウッド | Image distribution device, method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3276596B2 (en) * | 1997-11-04 | 2002-04-22 | 松下電器産業株式会社 | Video editing device |
JP2004173102A (en) * | 2002-11-21 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Video contents viewing method and system, video viewing terminal device, video distributing device, video contents viewing program and storage medium storing video contents viewing program |
JP2008159102A (en) * | 2006-12-21 | 2008-07-10 | Nec Corp | Information processing device, mixed content generation method, and program |
-
2012
- 2012-04-03 WO PCT/JP2012/059085 patent/WO2013150611A1/en active Application Filing
- 2012-04-03 JP JP2014508952A patent/JP5909546B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022034814A1 (en) | 2020-08-11 | 2022-02-17 | コンテンツライツ合同会社 | Information processing device, information processing program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013150611A1 (en) | 2015-12-14 |
WO2013150611A1 (en) | 2013-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11937010B2 (en) | Data segment service | |
JP5909546B2 (en) | Apparatus and method for streaming video | |
US10200723B2 (en) | Converting live streaming content to video-on-demand streaming content | |
EP2991341A1 (en) | Video playback method, media device, playback device, and multimedia system | |
JPWO2014084071A1 (en) | Receiving device, receiving method, transmitting device, and transmitting method | |
JP2013511201A (en) | Data transmission method and apparatus | |
JP2008078997A (en) | Information processor and method, program, and recording medium | |
CN107820115A (en) | Realize the method, apparatus and client and storage medium of video information preview | |
US9264746B2 (en) | Content distribution system, content distribution server, content distribution method, software program, and storage medium | |
KR101666918B1 (en) | Method and apparatus for skip and seek processing in streaming service | |
JP4932435B2 (en) | Content providing server and content providing program | |
JP2008027049A (en) | Information processing system, information processor, method, and program | |
KR20160077067A (en) | Transmission device, transmission method, reception device, and reception method | |
JP2007129636A (en) | Content providing server and content providing program | |
JP6948934B2 (en) | Content processing systems, terminals, and programs | |
US11069378B1 (en) | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams | |
JP5208560B2 (en) | Information video distribution apparatus, information video distribution method and program | |
WO2021101024A1 (en) | Cloud-based video virtual studio service system | |
JP2009267655A (en) | Program management system, program management server, program viewing terminal, program management program, and program viewing program | |
KR102069897B1 (en) | Method for generating user video and Apparatus therefor | |
JP2018098763A (en) | Book mark device, tag analysis system, book mark analysis system, scene sharing system, book mark method, and book mark program | |
JP2011119869A (en) | Program production system and program production program | |
CN108156490B (en) | Method, system and storage medium for playing back live television by using mobile terminal | |
KR101397183B1 (en) | Method and apparatus for managing playlist file in streaming service | |
JP2008048091A (en) | Motion picture tagging program, motion picture tag system, and motion picture distributing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5909546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |