JPWO2013150611A1

JPWO2013150611A1 - 映像ストリーミング配信のための装置及び方法

Info

Publication number: JPWO2013150611A1
Application number: JP2014508952A
Authority: JP
Inventors: 雅晴高野
Original assignee: BITMEDIA INC.
Current assignee: BITMEDIA INC.
Priority date: 2012-04-03
Filing date: 2012-04-03
Publication date: 2015-12-14
Anticipated expiration: 2032-04-03
Also published as: WO2013150611A1; JP5909546B2

Abstract

実施形態によれば、映像ストリーミング配信装置は、ストリーミングデータを記憶するストレージ装置と、プロセッサとを含む。ストレージ装置は、複数のセグメントファイルから構成されるストリーミングデータで、ネットワークを経由して送信される前記ストリーミングデータを記憶する。プロセッサは、前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成する。プロセッサは、前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、前記クリップ情報ファイルを転送する。

Description

本開示は、インターネットでの映像ストリーミング配信技術に関する。

近年、インターネットでの映像ストリーミング配信方式として、専用プロトコルを利用する方式以外に、ＨＴＴＰ（hypertext transfer protocol）を利用する方式が注目されている。このＨＴＴＰを利用するストリーミング配信を、ＨＴＴＰストリーミング（HTTP streaming）と総称する。

ＨＴＴＰストリーミングは、セグメント化されたストリームファイル群（映像・音声または音声）とプレイリスト（マニフェストファイル）を、ＨＴＴＰを利用して配信する方式のため、既存のＷｅｂサーバによる通常のファイル転送と同様の方法で転送できる。これにより、ストリーミング配信のコスト低減を図ることが可能である。

ＨＴＴＰストリーミングには、各種の規格が提案されている。例えば、ISO MPEGの標準規格として、ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）が策定されている。

ＨＴＴＰストリーミングを利用して、インターネットでの実況中継に相当するライブ配信やＶＯＤ(video on demand)配信を行なう映像配信サービスが実現されている。このようなサービスにおいて、ライブ配信をしながら、例えばハイライトシーンを即時に公開するなどのライブ配信とＶＯＤ配信の効用を兼ねた映像配信サービスが有用である。そこで、本発明の目的は、複雑な編集作業を要することなく、ライブ配信とＶＯＤ配信の効用を兼ねた映像配信サービスを実現することにある。

本発明の観点は、ＨＴＴＰストリーミング方式を適用する映像ストリーミング配信のための装置である。実施形態によれば、映像ストリーミング配信装置は、ストリーミングデータを記憶するストレージ装置と、プロセッサとを含む。ストレージ装置は、複数のセグメントファイルから構成されるストリーミングデータで、ネットワークを経由して送信される前記ストリーミングデータを記憶する。プロセッサは、前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成する。プロセッサは、前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、前記クリップ情報ファイルを転送する。

図１は、実施形態に係るＨＴＴＰストリーミングのシステム構成を説明するためのブロック図である。図２は、実施形態に係るサーバの要部を説明するためのブロック図である。図３は、実施形態に係るサーバに含まれるＰＬＥモジュールの構成を説明するためのブロック図である。図４は、実施形態に係るストリーミングデータの構成を説明するための図である。図５は、実施形態に係るプレイリストを説明するための図である。図６は、実施形態に係るプレイリストと再生画面との関連を説明するための図である。図７は、実施形態に係るプレイリストのファイル構成を説明するための図である。図８は、実施形態に係るクリップ情報ファイルの生成方法を説明するための図である。図９は、実施形態に係るサーバの処理を説明するためのフローチャートである。図１０は、実施形態に係るクリップ情報ファイルの生成手順を説明するためのフローチャートである。

以下、図面を参照して実施形態を説明する。

図１は、本実施形態のＨＴＴＰストリーミングのシステム構成を説明するためのブロック図である。

ＨＴＴＰストリーミングにより、例えばスポーツ競技場での実況をカメラ１１により撮影した映像を、インターネット１を介して配信するライブ配信が実現されている。このようなライブ配信では、図１に示すように、カメラにより撮影された映像は、エンコーダ１２によりストリーミングデータに変換されてインターネット１上に送信される。エンコーダ１２は、通常ではコンピュータと専用ソフトウェアにより実現されている。ストリーミングデータは映像データだけでなく、マイクロフォンにより集音される音声の音声データも含む。

本実施形態のＷｅｂサーバ１０は、エンコーダ１２から送信されたストリーミングデータを取得し、ＨＴＴＰストリーミングにより、インターネット１に接続された各ユーザ端末１３に配信する。本実施形態のサーバ１０は、ＨＴＴＰストリーミング機能だけでなく、後述するように、クリップ情報ファイルの生成機能に含まれるプレイリスト（ＰＬ:playlist）生成機能を有する。

なお、放送局を中継してライブ配信を行なう場合には、エンコーダ１２は、放送局のエンコーダセンターである。また、ＶＯＤ(video on demand)配信の場合には、Ｗｅｂサーバが、ストレージから要求されたストリーミングデータを取り出して、インターネット１に送信する。これ以降の本実施形態の処理は、ライブ配信の場合と同様である。

図２に示すように、本実施形態のＷｅｂサーバ１０は、大別して、主要システム２０と、アップロードサーバ２１と、ストレージ２２とを有する。アップロードサーバ２１は、エンコーダ１２から送信されるストリーミングデータを受け付ける。アップロードサーバ２１は、通常のキャッシュサーバに相当し、アップロードしたストリーミングデータをキャッシングする。

ストレージ２２は、大容量のネットワーク記憶装置である。アップロードサーバ２１は、ストレージ２２のバッファ領域にストリーミングデータを一時的に格納する（キャッシング）。また、ストレージ２２は、登録された映像ファイル（音声ファイルを含む）を保存する。

主要システム２０はＷｅｂサーバ１０のプラットフォーム（platform）であり、本実施形態のＰＬＥ（Playlist Editor）モジュール３０と、ＰＬＥ機能を支援するためのサポートモジュール４０とを含む。主要システム２０は、プロセッサと、記憶デバイスと、インターフェースとを有し、プロセッサが実行するアプリケーションによりＰＬＥモジュール３０及びサポートモジュール４０を構成する。

図３に示すように、ＰＬＥモジュール３０は、動画ファイル取込処理部３１と、データベース３２と、メタデータ取込処理部３３と、クリップ情報ファイル生成部３４と、付加情報生成部３５と、ファイル転送処理部３８と、ＧＵＩ（graphical user interface）部３９とを有する。

動画ファイル取込処理部３１は、アップロードサーバ２１によりアップロードされたストリーミングデータである動画ファイル（映像ファイルと音声ファイル）を取り込む。データベース３２は、後述するセグメントファイルを参照するための情報、生成されたサムネイルを参照するための情報、セグメントファイルの時刻情報などの参照情報を記憶デバイスに格納する。また、データベース３２は各アプリケーションと連携し、記憶デバイスから必要な参照情報を検索する。

メタデータ取込処理部３３は、映像コンテンツのカテゴリ等の初期設定メタデータをＷｅｂサイトから取り込み、データベース３２に登録する。クリップ情報ファイル生成部３４は、クリップ（clip）を定義するクリップ情報ファイルを生成する。クリップは、ストリーミングデータから抜き出した指定の動画ファイル（以下、音声ファイルも含めて映像ファイルと表記する場合がある）である。クリップ情報ファイル生成部３４は、後述するように、プレイリスト（ＰＬ：Playlist）及び映像ファイルのタイトルなどのメタデータを編集してクリップ情報ファイルを生成する。

付加情報生成部３５は、サムネイル生成部３６及びメタデータ生成部３７を含む。サムネイル生成部３６は、後述するセグメントファイル毎のサムネイルを生成する。メタデータ生成部３７は、後述するように、映像認識（画像認識）処理及び音声認識処理を利用する各メタデータを生成する。ファイル転送処理部３８は、クリップ情報ファイル、映像ファイル、音声ファイル、サムネイルなどを公開用サイトであるＷｅｂサイトに転送する。通常では、ファイル転送処理部３８からのファイルは、トランスコーダ（transcoder）により所定のファイル形式に変換されて公開用サイトに転送される。

ＧＵＩ部３９は、編集用端末（コンピュータ）４１のブラウザ上でクリップ（即ち、クリップ情報ファイル）の作成や登録の操作を行なうためのインターフェースである。さらに、ＧＵＩ部３９はサポートモジュール４０に接続している。サポートモジュール４０は、権限が限定された閲覧者用の端末４２のブラウザ上で２次的な編集操作を支援する。具体的には、登録済みの映像コンテンツの一部を抜き出す処理や、映像シーン毎にコメントを付ける処理などの限定された編集処理を支援する。

次に、図４から図１０を参照して、本実施形態のＷｅｂサーバ１０の動作を説明する。

例えばスポーツ競技場での実況をカメラ１１により撮影した映像が、ＨＴＴＰストリーミングにより配信されるライブ配信が行われている。図９のフローチャートに示すように、アップロードサーバ２１は、配信されるストリーミングデータを受け付ける（ブロック１００）。アップロードサーバ２１は、受信したストリーミングデータをストレージ２２のバッファ領域に蓄積する（ブロック１０１）。

ここで、図４に示すように、ＨＴＴＰストリーミングにより、エンコーダ１２から送信されるストリーミングデータ１２０は、複数のセグメントファイル（ＳＦ：segment file）ＴＳ−１〜ＴＳ−Ｎから構成されている。各セグメントファイルはそれぞれ、例えば再生時間が５秒〜１０秒程度の映像ファイルである。各セグメントファイルはそれぞれ、多数の送信パケットからなる。

ＰＬＥモジュール３０は、動画ファイル取込処理部３１により、ストレージ２２に格納されたセグメントファイル群を取り込む。サムネイル生成部３６は、各セグメントファイルのサムネイルを生成する（ブロック１０２）。ＰＬＥモジュール３０は、サムネイル生成部３６により生成されたサムネイル（映像データ）をストレージ２２に格納する。

一方、ＰＬＥモジュール３０は、参照情報をデータベース３２に登録する（ブロック１０３）。具体的には、動画ファイル取込処理部３１は、各セグメントファイルを参照するための情報及び各セグメントファイルの時刻情報を含む参照情報をデータベース３２に登録する。付加情報生成部３５は、サムネイル生成部３６により生成されたサムネイルを参照するための参照情報をデータベース３２に登録する。

次に、ＰＬＥモジュール３０は、後述するように、クリップ情報ファイル生成部３４によるクリップ情報ファイルの生成処理を実行する（ブロック１０４）。ファイル転送処理部３８は、生成されたクリップ情報ファイルを公開用サイトであるＷｅｂサイトに転送する（ブロック１０５）。ファイル転送処理部３８は、クリップ情報ファイル以外にも、映像ファイル、音声ファイル、サムネイルなどを公開用サイトであるＷｅｂサイトに転送する。

クリップ情報ファイルは、例えばライブ配信により配信される映像のクリップを特定する情報である。即ち、例えばスポーツ中継でライブ配信されている映像から、ハイライトシーンを抽出する場合、当該ハイライトシーンに対応する映像ファイルがクリップである。従って、クリップ情報ファイルを公開用サイトで公開することにより、ユーザは、ユーザ端末１３のブラウザ上でクリップ情報ファイルを選択することで、該当するクリップを取得することが可能となる。ファイル転送処理部３８は、該当するクリップに対応する映像ファイル（音声ファイルを含む）を公開用サイトに転送する。

クリップ情報ファイルは、プレイリスト（ＰＬ）と呼ぶクリップを定義する情報を含む。プレイリスト（ＰＬ）は、マニフェストリスト（manifesto list）とも呼ばれ、ストリーミングデータから抜き出した再生用映像ファイルであるクリップを定義する。

即ち、図５に示すように、プレイリストＰＬ１〜ＰＬ３はそれぞれ、ライブ配信されている映像のシーン（クリップ）Ａ〜Ｃに対応する。図６に示すように、ユーザ端末１３のブラウザにより、再生画面１３０上で、プレイリストＰＬ１〜ＰＬ３により指示されるシーンＡ〜Ｃに対応する映像６０が再生される。なお、再生画面１３０上では、映像６０と共に、シーンＡ〜Ｃ毎のタイトル６１の表示が可能である。このタイトル６１に対応するメタデータは、後述するように、クリップ情報ファイルの編集処理により設定される。

図７は、プレイリスト（ＰＬ１）の構成を示す。プレイリスト（マニフェストファイル）は、テキストファイル（ＸＭＬファイル：extensible markup language file）である。プレイリストは、連続して再生する各セグメントファイルを指示する再生指示ファイルである。具体的には、プレイリストは、再生時間７０１、各セグメントファイルのファイル名７０２、各セグメントファイルの記憶場所７０３などの情報を含む。各セグメントファイルのファイル名７０２は、図４に示すように、受信したストリーミングデータ１２０において、連続して再生するセグメントファイルの範囲を示す。各セグメントファイルの記憶場所７０３は、Ｗｅｂ上のストレージの記憶場所（即ち、ＵＲＬ）である。ここでは、各セグメントファイルは、ストレージ２２に保存されている。

次に、図１０のフローチャートを参照して、クリップ情報ファイルの生成（編集）処理の手順を説明する。

本実施形態では、図３に示すように、作業者が、編集用端末４１のブラウザ上でクリップ情報ファイルを作成する。図８に示すように、編集用端末４１は、表示画面４１０上に、ライブ配信されている映像（ストリーミングデータ１２０）を再生するウインドウ４１１と、各セグメントファイルのサムネイルを再生するウインドウ４１２を表示する。

編集用端末４１は、ウインドウ４１１上にライブ配信されている映像（例えばスポーツ実況中継映像）を再生する（ブロック２００）。同時に、ウインドウ４１２上には、サムネイル生成部３６により生成された各セグメントファイルのサムネイルを再生する。編集用端末４１は、ブラウザ上で再生されたサムネイルを指定することにより、指定のクリップの再生開始点と終了点を入力する。

クリップ情報ファイル生成部３４は、編集用端末４１により指定された再生開始点と終了点に応じて、データベース３２を参照して、連続して再生するセグメントファイルの範囲を設定する（ブロック２０１）。前述したように、データベース３２には、各セグメントファイルを参照するための情報、各セグメントファイルの時刻情報、及びサムネイルを参照するための参照情報が登録されている。サムネイルの参照情報は、各セグメントファイルの参照情報に対応付けされている。

さらに、クリップ情報ファイル生成部３４は、データベース３２を参照して、設定した範囲の各セグメントファイルを指示する再生指示ファイルであるプレイリストを生成する（ブロック２０２）。次に、クリップ情報ファイル生成部３４は、編集用端末４１のウインドウ４１２上からサムネイルが選択されると、当該クリップのサムネイルを指示する参照情報を設定する（ブロック２０３）。

さらに、クリップ情報ファイル生成部３４は、指定のクリップのタイトルなどのメタデータをデータベース３２から取り込む（ブロック２０４）。クリップ情報ファイル生成部３４は、データベース３２から、メタデータ取込処理部３３により取り込まれた初期設定メタデータを取り込む。また、クリップ情報ファイル生成部３４は、編集用端末４１または閲覧者用の端末４２のブラウザ上で入力されたメタデータをデータベース３２から取り込む。クリップ情報ファイル生成部３４は、指定のクリップを再生するためのクリップ情報ファイルを、プレイリスト、メタデータ及びサムネイルを指示する参照情報を編集して生成する（ブロック２０５）。クリップ情報ファイル生成部３４は、生成したクリップ情報ファイルをストレージ２２に保存する（ブロック２０６）。

以上のようにして、本実施形態によれば、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンに対応するクリップを定義するプレイリストを含むクリップ情報ファイルをＷｅｂ上で公開できる。これにより、ユーザは、ユーザ端末１３のブラウザ上でクリップ情報ファイルを指定することにより、当該ハイライトシーンを即時に視聴することが可能である。

ここで、本実施形態では、ライブ配信される映像ファイル（音声ファイルを含む）そのものを加工せずに、データベース３２に格納された参照情報を使用して、プレイリストを含むクリップ情報ファイルの編集処理を行なう。即ち、本実施形態では、映像ファイル（音声ファイルを含む）そのものは、ストレージ２２に格納される。これに対して、データベース３２には、各セグメントファイルの参照情報やメタデータなど、映像ファイル以外の情報が格納される。従って、本実施形態は、従来の映像編集作業によりクリップを作成する場合と比較して、簡易かつ効率的な編集作業により、結果としてクリップを作成できる。具体的には、映像ファイル（音声ファイルを含む）そのものを加工しないため、複数の作業者が同時に編集作業を実行することが可能である。

本実施形態の構成により、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンを即時に公開することが可能になるため、ライブ配信とＶＯＤ配信の効用を兼ねた映像配信サービスを実現できる。即ち、ＶＯＤ配信は、ストレージに録画した映像ファイル（音声ファイルを含む）を提供するサービスである。本実施形態では、ライブ配信時に、クリップ情報ファイルを簡易かつ効率的な編集作業により生成できる。このため、ライブ配信の映像を視聴しながら、配信後の映像ファイルからなるクリップを即時に視聴できる。

なお、本実施形態では、ライブ配信のストリーミングデータの各セグメントファイルを参照して、クリップ情報ファイルを編集する場合について説明した。これに限ることなく、ＶＯＤ配信のストリーミングデータの各セグメントファイルを参照し、クリップ情報ファイルを編集する場合にも適用できる。

また、本実施形態では、付加情報生成部３５において、サムネイル生成部３６がセグメントファイル毎のサムネイルを生成すると同時に、メタデータ生成部３７は映像認識（画像認識）処理及び音声認識処理を利用して各メタデータを生成する処理を実行する構成でもよい。即ち、メタデータ生成部３７は、ストリーミングデータの音声ファイルから音声認識処理を利用してキーワードを抽出し、当該キーワードを示すメタデータを生成してデータベース３２に格納する。また、メタデータ生成部３７は、映像認識（画像認識）処理を利用して、ストリーミングデータに含まれている字幕スーパーインポーズからキーワードを抽出し、当該キーワードを示すメタデータを生成してデータベース３２に格納する。

さらに、本実施形態は、ストリーミングデータがアダプティブ・ビットレートに対応している場合（例えば５Ｍbps、５００ｋbps、３００ｋbpsなど）、選択した１つのビットレートの各セグメントファイルのみを参照して、クリップを作成することもできる。また、異なるビットレートに対応する各プレイリストを生成して公開してもよい。

本実施形態は、作成したクリップ（映像ファイル）をＨＴＴＰストリーミング形式で転送して公開する構成である。これに限ることなく、本実施形態のサーバ１０は、クリップを構成する各セグメントファイルを１ファイルに統合する機能を有し、１映像ファイルとしてクリップを公開する構成でもよい。

さらに、本実施形態は、クリップを構成する各セグメントファイルの中で、最初と最後のセグメントファイルに対するファイルカット編集処理を実行し、フレーム単位での編集処理を実行する構成でもよい。

さらに、本実施形態は、作成したクリップに対してファイル形式の変換や、ファイル暗号化を行なう機能を有する構成でもよい。

Claims

複数のセグメントファイルから構成されるストリーミングデータで、ネットワークを経由して送信される前記ストリーミングデータを記憶するストレージ装置と、
前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルを生成するプロセッサとを具備し、
前記プロセッサは、
前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、
前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、
前記クリップ情報ファイルを転送するように構成されている映像ストリーミング配信装置。
前記各セグメントファイルを参照するための参照情報を格納するデータベースを有し、
前記プロセッサは、
複数のセグメントファイルを加工処理することなく、前記データベースから前記参照情報を使用して前記再生指示ファイルを生成する請求項１に記載の映像ストリーミング配信装置。
前記プロセッサは、
前記各セグメントファイルに対応するサムネイルを生成して前記ストレージ装置に格納し、
前記サムネイルを参照する参照情報を前記データベースに格納する請求項２に記載の映像ストリーミング配信装置。
前記プロセッサは、
前記クリップに対応するサムネイルを参照するための参照情報を含む前記クリップ情報ファイルを編集する請求項３に記載の映像ストリーミング配信装置。
前記プロセッサは、
前記クリップのメタデータを取得し、
前記メタデータを含む前記クリップ情報ファイルを編集する請求項１に記載の映像ストリーミング配信装置。
前記プロセッサは、
連続して再生する前記各セグメントファイルのファイル名と、
前記各セグメントファイルの記憶場合を指示する情報と
を含む前記再生指示ファイルを生成する請求項１に記載の映像ストリーミング配信装置。
前記プロセッサは、
前記データベースを参照して、前記クリップの再生開始点と再生終了点に基づいて連続して再生する前記各セグメントファイルを特定し、
前記再生指示ファイルを生成する請求項２に記載の映像ストリーミング配信装置。
前記プロセッサは、
端末のブラウザ上に表示されたサムネイルに基づいて、前記クリップの再生開始点と再生終了点を入力し、
前記再生開始点と再生終了点に基づいて連続して再生する前記各セグメントファイルを特定する請求項７に記載の映像ストリーミング配信装置。
前記ストリーミングデータ及び前記クリップをＨＴＴＰストリーミング方式により配信する請求項１に記載の映像ストリーミング配信装置。
複数のセグメントファイルから構成されるストリーミングデータを、ネットワークを経由して配信する映像ストリーミング配信方法であって、
前記ストリーミングデータをストレージ装置に格納し、
前記ストリーミングデータから抽出した再生用映像ファイルであるクリップを特定するクリップ情報ファイルをプロセッサにより生成し、
前記プロセッサは、
前記クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルを生成し、
前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、
前記クリップ情報ファイルを転送する映像ストリーミング配信方法。