JP7062328B1

JP7062328B1 - コンテンツ配信サーバ

Info

Publication number: JP7062328B1
Application number: JP2022503425A
Authority: JP
Inventors: 健史冨森; ▲隆▼俊桂; 浩昌倉内
Original assignee: Tomody
Current assignee: Tomody
Priority date: 2021-09-17
Filing date: 2021-09-17
Publication date: 2022-05-06
Anticipated expiration: 2041-09-17
Also published as: WO2023042403A1; JPWO2023042403A1

Abstract

ストリーミング配信を行う際のコンテンツ編集機能を、物理的な制限を受けることなく、低コストで提供可能なコンテンツ配信サーバを提供する。ネットワークを介して複数の配信者端末からの配信者動画を受信してバッファ部に一時記憶する。バッファ部内の複数の配信者動画を合成して編集画面を生成し、ネットワークを介して接続された編集者端末に送信する。編集者は編集画面により配信者動画の切替選択、画面構成の指示、テロップ入力などの編集操作を行い、編集情報として編集端末からコンテンツ配信サーバへ送信する。コンテンツ配信サーバは、編集情報に基づいて前記バッファ部内の配信者動画からストリーミングコンテンツを生成し、視聴者端末にストリーミングコンテンツを配信する。

Description

本発明は、複数台カメラからの動画像を中継して、複数の視聴者端末にライブストリーミング放送を配信する映像配信サーバに関する。

近年、携帯電話網等のネットワーク環境の充実や撮像装置の普及により、用いる端末の機種や場所を問わずに誰もが動画像によるストリーミング配信を行うことが可能になっている。特にオンラインのビデオ会議システムの発達により、オンラインのビデオ会議システムを用いて、互いに遠隔でネットワークで接続された複数の端末からの撮像動画を中継してストリーミング配信を行うオンライントーク配信やオンラインレッスンなどが行われるようになっている。

また一方で、従来のテレビ放送などの映像コンテンツ制作においては、複数のカメラ画像入力に対して切替操作を行い、放送用の映像を出力する装置として、スイッチャーと呼ばれる編集機器が用いられている。

特許文献１には、複数カメラによる映像を入力しながら、入力中の複数のカメラ映像データを編集してストリーミング配信をするライブストリーミング放送装置が開示されている。このライブストリーミング放送装置の編集機能の一つとしてスイッチャー機能が提供されている。

特開２００５－５１７０３号公報

本発明者は、ネットワーク上に分散する複数の動画像配信者が参加するようなオンライントーク配信やオンラインレッスンなどのライブストリーミング配信を、従来のビデオ会議システムを使って行う場合、映像の編集機能、特にスイッチャー機能を十分に提供することができないという新規の課題を見出した。

複数端末からの撮像動画によりストリーミング配信を行う方法としてビデオ会議システムを用いる場合、画面の切替や撮像動画の画面上の配置などは、ビデオ会議システムにて話者の検知による画面切替や画面構成があらかじめ固定されたものから自動で選択されるため、配信者側で任意に画面を切替たり画面構成を変更するなどの番組構成の意図が反映しづらいなどの問題点がある。

この問題点を解決するために、従来のテレビ放送用などのスイッチャーを組み合わせた場合には、以下の課題があることがわかった。従来のテレビ放送用などのスイッチャーは、ハードウエア機器として提供されており、複数のカメラからの映像をスイッチャーに集約して接続する必要がある。特許文献１においても映像の入力は複数のカメラから出力をスイッチャーの入力する構成となっている。いずれの構成もネットワークを介して送信された映像の直接入力には対応していないため、前述のような配信者同士が遠隔でネットワークを介して接続されている場合でスイッチングを実現しようとした場合、ネットワーク上の各配信者の端末との通信を中継する端末を配信者ごとに用意し、それらの中継端末を介して映像の入力をしなければならない。そのため機器の構成が大規模になり、機器の設置の手間やコストなどの面から一般のユーザが導入しづらいという問題点がある。また、機器の構成規模の問題からスイッチャーを含む編集機器が物理的に移動しづらいため、スイッチングを担当する編集者と配信者の少なくとも一人が同じ場所から配信したい場合、大規模な編集機材をその配信者が配信をしようとする場所に運搬するか、スイッチング機器を設置している編集者の場所にその配信者が移動するかしなければならず、物理的な制限が生じることになる。

本発明の目的は、サーバによる動画編集手段を提供し、ネットワークで接続された複数の配信者動画からストリーミング配信を行う際のコンテンツ編集機能を、物理的な制限を受けることなく、低コストで提供可能な映像配信サーバを提供することである。

このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

本発明の一実施の形態によれば、下記の通りである。

ネットワークを介して接続された複数の配信者端末からの配信者動画を受信してストリーミングコンテンツを生成し、視聴者端末に前記ストリーミングコンテンツを配信するコンテンツ配信サーバであって、以下の各構成を備える。
複数の配信者動画を受信する配信者動画受信部
複数の配信者動画を一時記憶するバッファ部
バッファ部内の複数の配信者動画を合成し、ネットワークを介して接続された編集者端末からストリーミングコンテンツの編集操作を受け付けるための編集画面を生成する編集画面生成部
編集者端末に編集画面を送信し、編集者端末から編集画面を介して入力された編集操作を編集情報として受信する編集情報送受信部
編集情報に基づいて、バッファ部内に保持された複数の配信者動画からストリーミングコンテンツを生成するストリーミングコンテンツ生成部
ネットワークを介して視聴者端末に前記ストリーミングコンテンツを配信するストリーミングコンテンツ配信部

前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。

本実施形態のコンテンツ配信サーバは、ネットワークで接続された複数の配信者端末からのストリーミングコンテンツ配信時に、ストリーミングコンテンツの編集手段をサーバからソフトウエアとして提供することができる。これにより、従来スイッチャーなどのストリーミングコンテンツ編集機能がハードウエア機器で提供されているために生じていた、配信者や編集者の場所の制限や機器の規模によるセッティングの煩雑さ、コストなどの問題を解消し、誰もが低コストで物理的な制限を受けず、容易に品質の高いストリーミングコンテンツを配信することができるようになる。

図１は、実施形態１に係るコンテンツ配信サーバと、それを用いたストリーミングコンテンツ配信方法の機器構成の一例を示す模式図である。図２は、実施形態１に係るコンテンツ配信サーバの機能構成の一例を示すブロック図である。図３は、編集画面の一例を示す模式図である。図４は、編集操作後の編集画面の一例を示す模式図である。図５は、配信者動画の切替処理のタイムチャートの一例を示す模式図である。図６は、実施形態２に係るコンテンツ配信サーバの機能構成の一例を示すブロック図である。図７は、実施形態３に係るコンテンツ配信サーバの機能構成の一例を示すブロック図である。

１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕＜動画切替手段を備えたコンテンツ配信サーバ＞
本発明の代表的な実施の形態は、ネットワーク（１００）を介して接続された複数の配信者端末（２）からの配信者動画を受信してストリーミングコンテンツを生成し、視聴者端末（４）に前記ストリーミングコンテンツを配信するコンテンツ配信サーバ（１）であって、以下の各構成を備える（図１および図２）。
複数の配信者動画を受信する配信者動画受信部（１１）
前記複数の配信者動画を一時記憶するバッファ部（１２）
前記バッファ部内の複数の配信者動画を合成し、前記ネットワークを介して接続された編集者端末（３）からストリーミングコンテンツの編集操作を受け付けるための編集画面を生成する編集画面生成部（１３）
編集者端末に前記編集画面を送信し、前記編集者端末から前記編集画面を介して入力された編集操作を編集情報として受信する編集情報送受信部（１４）
前記編集情報に基づいて、前記バッファ部内に保持された複数の配信者動画からストリーミングコンテンツを生成するストリーミングコンテンツ生成部（１５）
前記ネットワークを介して前記視聴者端末に前記ストリーミングコンテンツを配信するストリーミングコンテンツ配信部（１６）
ここで配信者端末（２）とは、撮像装置を有する端末装置を指す。具体的にはスマートフォンや携帯電話、ノートパソコンなどの撮像装置が端末装置と一体となった機器はもちろん、ネットワーク通信機能を備えたデジタルカメラやデジタルカメラが接続されたパソコン端末を含む意味である。また、ネットワーク（１００）とは、配信者端末、コンテンツ配信サーバ、編集者端末および視聴者端末とを相互に通信可能に接続するものであり、例えばインターネットあるいは携帯電話網などを指し、その通信は有線通信でも無線通信であってもよい。

これにより、ネットワークで接続された複数の配信者動画からストリーミング配信を行う際のコンテンツ編集機能をソフトウエアで提供することができ、配信者および編集者は配信場所の物理的な制限を受けることなく、かつ低コストでストリーミングコンテンツの編集と配信を行うことができる。

〔２〕＜スイッチャー機能＞
〔１〕項のコンテンツ配信サーバ（１）において、前記編集情報は、前記ストリーミングコンテンツにおける画面構成と、前記画面構成に配置される前記複数の配信者動画の切替指示を含む。

これにより、コンテンツ配信サーバ（１）は従来ハードウエアで提供されていたスイッチャーの機能をソフトウエアにて提供することができ、配信者および編集者は配信場所の物理的な制限を受けることなく、かつ低コストでストリーミングコンテンツの編集と配信を行うことができる。

〔３〕＜プレイバック機能＞
〔１〕項または〔２〕項のコンテンツ配信サーバは、配信者動画記憶手段（１７）をさらに有する。

前記配信者動画記憶手段は、前記バッファ部に記憶された前記複数の配信者動画のうちの一部または全部を記憶する。

前記編集情報送受信部は、前記編集者端末により前記編集画面を介して入力されたプレイバック指示を前記編集情報に含めて受信する機能をさらに有する。

前記プレイバック指示は、プレイバック対象となる前記配信者動画記憶手段内の配信者動画の指定と、前記ストリーミングコンテンツにおける切替挿入対象となる前記プレイバック対象動画の時間の範囲の指示とを含む。

前記ストリーミングコンテンツ生成部は、受信した前記編集情報に基づいて前記プレイバック指示で指定された前記配信者動画記憶手段内の指定された配信者動画の範囲を用いて前記ストリーミングコンテンツを生成する。

これにより、ストリーミングコンテンツに配信者動画の過去の一部分を配信内容に含めることができる。例えばスポーツなどのオンラインレッスンなどにおいて、配信者であるコーチの動作を即座に振り返り、ストリーミングコンテンツに含まれるよう編集端末から操作でき、ストリーミングコンテンツの内容をより充実させることができる。

〔４〕＜ジェスチャ機能＞
〔１〕項から〔３〕項のうちのいずれか１項のコンテンツ配信サーバはさらに、ジェスチャ認識部（１８）を有する。

前記ジェスチャ認識部は、前記バッファ部から受信した前記複数の配信者動画からいずれかの配信者が所定のジェスチャを行ったことを識別し、前記ジェスチャがストリーミングコンテンツにおける切替操作を要求するジェスチャである場合、検知したジェスチャに基づいて前記ストリーミングコンテンツ生成部に編集情報を送信する。

これにより、配信者は自身の意思で即座に画面の切替操作が可能となる。通常時の画面切替などの編集操作は、コンテンツの番組構成や編集者の裁量で行われるが、配信者の動作によって即座に切り替えられることでより配信者の意思を反映し、かつ視聴者からは臨場感を感じられるストリーミングコンテンツを生成することができる。また、配信者自らが配信者端末あるいは編集端末を操作することなくストリーミングコンテンツの切替編集作業を行うことができ、コンテンツ配信中に配信者の動作が中断されることがない。

２．実施の形態の詳細
実施の形態について更に詳述する。

〔実施形態１〕
図１は、実施形態１に係るコンテンツ配信サーバを含む、コンテンツ配信システムの構成例を示すブロック図である。

図１に示すように、コンテンツ配信サーバ１は、ネットワーク１００を介して複数の配信者端末２、編集者端末３に接続され、複数の視聴者端末４にストリーミングコンテンツを配信することができる。

配信者端末２は、コンテンツ配信者が動画を撮像し、撮像した動画を、ネットワーク１００を介してコンテンツ配信サーバ１に送信するものである。配信者端末２は、撮像機能とネットワーク通信機能を有する端末であり、例えばスマートフォンやカメラ付きの携帯電話、ノートパソコン、通信機能付きのデジタルカメラなどである。また、撮像機能とネットワーク通信機能が別の装置になっていて互いが接続されたものでもよく、デジタルカメラを接続したパソコン等の装置でもよい。

編集者端末３は、コンテンツ配信サーバ１から提供される編集画面を表示し、編集者が編集画面を介して入力した編集操作を編集情報としてコンテンツ配信サーバ１に送信するものである。編集者端末３は、ネットワーク１００との通信機能を有し、編集画面を表示する表示機能および編集者からの編集操作を受け付ける入力機能を有し、具体的にはタッチ操作可能なタブレットあるいはスマートフォンが好適である。また、表示機能、通信機能、入力機能はそれぞれ別筐体で実現されていてもよく、汎用のパソコンなどの端末でもよい。

視聴者端末４は、コンテンツ配信サーバ１から配信されるストリーミングコンテンツを表示、視聴するための端末である。視聴者端末４は、ネットワーク１００との通信機能を有し、ストリーミングコンテンツを表示する表示機能を有する。具体的にはスマートフォン、タブレット、ノートパソコン、テレビなどが挙げられる。また、表示機能、通信機能はそれぞれ別筐体で実現されていてもよく、汎用のパソコンなどの端末でもよい。なお、図１には複数の視聴者端末が例示されているが、１台でもよい。

ネットワーク１００は、コンテンツ配信サーバ１、配信者端末２、編集者端末３、視聴者端末４を通信可能に接続しており、好適には携帯電話網とインターネットが挙げられるが、ＬＡＮ（Local Area Network）などの閉じられた通信網でもよい。またその形態は有線、無線に限定されない。

＜コンテンツ配信サーバの構成＞
図２は、コンテンツ配信サーバ１の機能構成の一例を示すブロック図である。コンテンツ配信サーバ１は、配信者動画受信部１１と、バッファ部１２と、編集画面生成部１３と、編集情報送受信部１４と、ストリーミングコンテンツ生成部１５と、ストリーミングコンテンツ配信部１６とを備える。より具体的には、コンテンツ配信サーバ１はインターネットなどのネットワークに接続するためのインターフェースを配信者動画受信部１１、編集情報送受信部１４、ストリーミングコンテンツ配信部１６に備えたデータサーバであればよく、好適にはクラウドサーバーを使って実現される。このとき、配信者動画受信部１１、編集情報送受信部１４、ストリーミングコンテンツ配信部１６等は、クラウドサーバーを構成するコンピュータ上でプログラム（ソフトウェア）を動作させることによって求められる機能が実現されるとよい。

配信者動画受信部１１は、ネットワーク１００を介して複数の配信者端末２から配信者動画を受信する処理を行う。配信者動画受信部１１は、複数の配信者端末２から配信者動画を同時にかつ独立して受信することが可能に構成されている。

バッファ部１２は、配信者動画受信部１１にて受信した配信者動画を一時的に所定単位でバッファリングして蓄積する。具体的には、所定時間ごとにバッファ部１２内に記録する配信者動画が数秒から数十秒の長さとなるように随時更新しながら蓄積する。

編集画面生成部１３は、例えば図３（後述）に示す編集画面５のデータを生成する。編集画面５のデータは、編集画面５の構成を示す編集画面配置情報と、編集画面配置情報で指定された配信者動画をバッファ部１２から取得するための撮像者動画取得制御情報とから成る。編集画面情報５は、具体的には、編集画面配置情報がHTML、制御情報がJavaScriptなどのプログラミング言語から構成され、編集者端末３内のブラウザーにて表示、実行される。あるいは、編集者端末３内に編集画面表示用のアプリケーションがインストールされており、所定のプロトコルによる編集画面の情報を生成してもよい。

編集情報送受信部１４は、編集画面生成部１３によって生成された編集画面５を編集者端末３にネットワーク１００を介して送信する。また編集画面５に表示する複数の配信者動画を、編集者端末３から撮像者動画取得制御情報に従った要求を受信し、それに基づいて編集者端末３にリアルタイムで送信する。送信される複数の配信者動画は、通信容量を抑制するためにサムネイルサイズに縮小されて送信されるのが好適である。また、編集者端末３において編集者から編集画面を介して入力された前記編集操作を編集者端末３から編集情報として受信する。編集情報とは具体的には、ストリーミングコンテンツにおける配信者動画の画面上の配置情報、表示される配信者動画の切替情報、表示された複数の配信者動画の音声制御情報などである。

ストリーミングコンテンツ生成部１５は、編集情報送受信部１４にて受信した編集情報に基づいてストリーミングコンテンツを作成する。編集情報は、ストリーミングコンテンツにおける配信者動画の画面上の配置情報、表示される配信者動画の切替情報、表示された複数の配信者動画の音声制御情報の情報を含み、ストリーミングコンテンツ生成部１５はバッファ部１２から配信者動画を取得し、取得した編集情報に基づいて画面上の動画の配置、切替、音声調整を行ってストリーミングコンテンツを作成する。

ストリーミングコンテンツ配信部１６は、ストリーミングコンテンツ生成部１５からストリーミングコンテンツを受信し、ネットワーク１００を介して視聴者端末にストリーミングコンテンツを配信する。

＜編集画面の構成＞
図３は、編集者端末３で表示される編集画面５の一例を示す模式図である。編集画面５は前述したように、コンテンツ配信サーバ１の編集画面生成部１３によって生成され、編集情報送受信部１４からネットワーク１００を介して編集者端末３に送信され、編集者端末３の表示画面に表示される。

編集者端末３は、複数の配信者動画を編集画面生成部１３からリアルタイムで受信して編集画面５として表示する機能を有しており、受信した配信者動画をサムネイル表示部５２に一覧表示する。サムネイル表示部５２には、リアルタイムに受信した配信者動画のサムネイルが表示され、随時更新される。編集者は、サムネイル表示部５２に表示された任意の配信者動画を表示画面へのタッチ操作やマウスカーソルによる選択動作で選択することができ、サムネイル表示部５２は入力を受け付ける。選択された配信者動画は図３に示すように外枠が強調表示され、選択されたことがわかるようになる。なお、配信者動画の選択方法、選択表示方法は一例であり、この構成に限定されるものではない。

レイアウト選択部５３は、ストリーミングコンテンツの画面構成を選択、指示を受け付ける。本実施形態では、レイアウト選択部５３には同時に表示する配信者動画の形式が表示されており、それぞれ１つの撮像者動画を画面のフルサイズで表示するレイアウト、画面を２分割ないし４分割するレイアウトの設定がアイコンにより選択可能となっている。レイアウトはこれに限らず縦２分割、８分割、ワイプインなど他のバリエーションを用意して選択できるようにしてもよい。なお、図３の例では、１つの配信者動画が１画面での表示が選択され、レイアウト選択部５３の該当するアイコンの外枠が強調表示され視認可能となっている。

テロップ入力部５５は、画面に表示するテロップに対する入力を編集者から受け付ける。本実施形態では図示しないが、テロップの表示個所を指定する入力部やテロップのフォントや色を指定するための入力部がさらに設けられていてもよい。

プレビュー表示部５１には、サムネイル表示部５２、レイアウト選択部５３およびテロップ入力部５５への編集者の入力結果を反映したストリーミングコンテンツのプレビューが表示される。プレビュー表示には、サムネイル表示部５２に表示された複数の配信者動画を適宜配置して合成された動画を表示する。視聴者端末４に配信されるストリーミングコンテンツは、後述する配信サーバでの処理によるものであり、プレビューはストリーミングコンテンツの編集者端末での確認のために生成、表示されるものである。

＜コンテンツ配信サーバの動作＞
次に、コンテンツ配信サーバ１が配信者端末２によって撮像された配信者動画を受け取って、視聴者端末４にストリーミングを配信するまでのコンテンツ配信サーバ１の一連の動作について具体的な例を挙げながら説明する。なお、この具体例は本発明における配信コンテンツの内容、コンテンツ配信サーバ1の動作を説明するための一例であり、配信コンテンツの内容、コンテンツ配信サーバ1の動作を限定するものではない。

本実施形態では、配信者らはオンラインでのレッスンをストリーミング配信するものとする。配信者の一人は、レッスンのインストラクターであり、複数の生徒がオンラインでのレッスンを受講している。つまりオンラインレッスンのインストラクターおよび生徒らは配信者であり、オンラインレッスンを配信者端末２にて実施している。配信者端末２はカメラおよび通信機能を備えており、撮像動画を配信者動画としてコンテンツ配信サーバ１に送信する。配信者らのオンラインレッスンによるコミュニケーションは、図示しない既存のビデオ会議システムを利用して行われ、ビデオ会議システムは、コンテンツ配信サーバ１とは別のサーバによって提供されてもよいし、コンテンツ配信サーバ１によって提供されてもよい。

オンラインレッスン中の各配信者端末２からの配信者動画は、ビデオ会議システムで利用される撮像動画であり、配信者端末ごとに独立してコンテンツ配信サーバ１に送信される。

配信者動画受信部１１は、複数の配信者端末２から配信者動画を受信する。配信者動画受信部１１は、受信した配信者動画がどの端末から来たかを識別して受信し、識別した情報とともにバッファ部１２に記録する。配信者動画の送信元の識別には、配信者端末２に設定されたユーザ情報、ビデオ会議システムで用いられているユーザ名などが好適であるが、配信者端末のIPアドレス、端末名などでもよい。

続いて、編集画面生成部１３は、図３に例示する編集画面５のデータを生成する。編集画面５のデータは、あらかじめ編集画面５の構成を示す編集画面配置情報と、編集者端末３から配信者動画をバッファ部１２から取得するための撮像者動画取得制御情報とから成る。編集画面５のデータは、具体的には、編集画面配置情報がHTML、撮像者動画制御情報がJavaScriptなどのプログラミング言語から構成され、編集者端末３内のブラウザーにて表示、実行される。あるいは、編集者端末３内に編集画面表示用のアプリケーションがインストールされており、所定のプロトコルによる編集画面の情報を生成してもよい。

編集情報送受信部１４は、編集画面５のデータを編集者端末３に送信し、編集者端末３は編集画面５のデータを受信し、表示装置に編集画面５を表示する。編集者端末３は編集画面５のデータの撮像者動画取得制御情報に従って、編集情報送受信部１４を介してバッファ部１２から配信者動画をリアルタイムで受信する。受信した配信者動画は、編集画面５において編集画面配置情報に従って配置し、表示される。また、表示の際には、配信者動画の有する時間情報に従って各動画が同期されるように表示される。また、編集画面配置情報は、初期設定の情報を持つ。例えば本実施形態の場合では、インストラクターの映像が一画面に映っている。

編集者は編集画面５により、ストリーミングコンテンツの編集を行う。編集者は、レイアウト選択部５３から画面構成を選択する。図３の例では１画面に１動画のレイアウトが選択されており、レイアウト選択部５３から任意の構成を選ぶことにより、プレビュー部５１の表示が切替えられる。編集者はレイアウト選択後、各表示個所に表示する動画を選択する。選択は、プレビュー部５１の該当箇所を選択し、その個所に表示したい動画をサムネイル表示部５２から選択する。また、サムネイル表示部５２から表示対象となる動画を選択し、プレビュー部５１の該当箇所にドラッグアンドドロップして選択されてもよい。図４はレイアウトが変更された編集画面５の表示例で、レイアウト選択部５３で左右画面分割のレイアウトが選択されハイライト表示され、プレビュー部５１の表示が左右２分割されて表示されている。編集者は破線部で示す音量調節部５４により表示対象とした動画の音量調節を行う。また、テロップ入力部５５によりテロップを編集、挿入することができる。

編集者端末３は、編集画面５により編集操作が行われると随時、編集操作の内容を編集情報としてコンテンツ配信サーバ１に送信する。編集情報の内容としては、レイアウト選択部５３で選択した画面レイアウト情報、指定した画面レイアウトに表示する配信者動画の指示情報、音量調節指示情報、テロップ情報と、これらの情報のもととなった各編集操作が行われた配信者動画における時間情報とが含まれる。時間情報は、編集者によって編集操作が行われた時刻の情報ではなく、編集画面５のサムネイル表示部５２で表示されている配信者動画上の時間軸における編集操作の時間情報である。

コンテンツ配信サーバ１は、編集者端末３より送信された編集情報を編集情報送受信部１４により受信する。受信された編集情報はストリーミングコンテンツ生成部１５に送信される。

ストリーミングコンテンツ生成部１５は、受信した編集情報に基づいてストリーミングコンテンツを生成する。ストリーミングコンテンツ生成部１５は、ストリーミングコンテンツ配信開始時から編集情報の受信の有無によらずリアルタイムにバッファ部１２から配信者動画を常時取得し、ストリーミングコンテンツを生成しており、編集情報を受け取ったタイミングで配信者動画の指示情報、音量調節指示情報、テロップ情報およびそれらの操作がなされた時間情報を参照し、バッファ部１２から受信する複数の配信者動画に対して編集情報で指示された編集内容を適切なタイミングで適用しながらストリーミングコンテンツを生成する。

図５は、編集情報に従ってストリーミングコンテンツが生成される動作のタイムチャートの一例を示す模式図である。横軸の時間は配信開始時からの経過時間であり、各配信者動画が有する時間情報と一致している。換言すると、ストリーミングコンテンツ生成部１５は時間情報をもとに各配信者動画を同期処理している。タイムライン５０３は各配信者動画のストリームを表現しており、配信者端末２の各端末を便宜的に１ないし４の番号で表している。このタイムチャートにおける処理の流れは以下のとおりである。
（１）開始６０秒までは初期状態の設定に従い動画１が画面全体に表示される。
（２）編集情報５０１に基づいて開始６０秒の時点で左右２分割の画面にレイアウトが変更され、左側領域に動画１、右側領域に動画３が表示される。
（３）編集情報５０２に基づいて開始１８０秒の時点で画面を３分割し、左の領域から順に動画２、動画３、動画４を表示する。

なお、このタイムチャートは時間経過と編集操作の関係を示すものであり、バッファ部１２に格納された配信者動画が配信時間分保存されていることを示すものではない。バッファ部１２には数秒から数十秒程度分の配信者動画が一時記憶され、随時更新される。

ストリーミングコンテンツの生成では、バッファ部１２への配信者動画の記録の最新時間から２秒程度遅れたタイミングで随時ストリーミングコンテンツの生成を行う。これは編集者端末３への編集画面の送信、編集者端末３での編集画面の表示、編集情報の受信までの一連の処理に時間がかかるため、ストリーミングコンテンツ生成部１５での編集情報における時間指定とストリーミングコンテンツ生成のタイミングを同期させるためである。

ストリーミングコンテンツ生成部１５は、ストリーミングコンテンツを生成し、ストリーミングコンテンツ配信部１６へ送信する。ストリーミングコンテンツ配信部１６は、ネットワーク１００を介して視聴者端末４にストリーミングコンテンツを配信する。

本実施形態によれば、ネットワークで接続された複数の配信者動画からストリーミング配信を行う際のコンテンツ編集機能をソフトウエアで提供することができ、配信者および編集者は配信場所の物理的な制限を受けることなく、かつ低コストでストリーミングコンテンツの編集と配信を行うことが可能となる。

〔実施形態２〕
本実施形態では、コンテンツ配信サーバ１はさらに動画記憶部（配信者動画記憶手段）１７を有し、永続的に配信者動画を保存する。また、編集画面５により、動画記憶部１７内の配信者動画の所定の時間範囲を指定することでストリーミングコンテンツに配信者動画の過去動画（プレイバック動画）を含めることができる。

図６は本実施形態におけるコンテンツ配信サーバ１の構成例を示すブロック図である。図２の構成例に動画記憶部１７が追加されている。動画記憶部１７は、配信者動画を記録し、バッファ部１２からリアルタイムに配信者動画を受け取り、追記する形で配信者動画を記録する。バッファ部１２は一時的に所定範囲の配信者動画を記録するのに対して、動画記憶部１７では配信開始から最新更新分までの配信者動画を継続的に記録し、配信終了後も保持し続ける。動画記憶部１７に記憶した配信者動画は、編集画面５内の図示しない指示手段で消去の指示を受け付け、動画記憶部１７から消去される。また、ストリーミングコンテンツ配信後所定時間経過後に自動的に消去されてもよい。

図３の編集画面５の下部破線で囲まれた領域はプレイバック指示手段５５０である。編集者端末３は、編集者がプレイバック指示手段５５０を介して配信者動画の過去の一部分をプレイバック動画としてストリーミングコンテンツに含むよう編集する指示を受け付ける。編集者は、プルダウン５５２によりプレイバック対象となる配信者撮像撮像動画を選択する。このときプルダウン５５２には配信者端末におけるユーザ名が表示されて選択可能となっている。プレイバック対象となる動画が選択されると、タイムラインプレビュー領域５５１に該当する配信者動画が時系列にてサムネイル表示される。時系列の表示は動画の初めから最後まで全体を表示していてもよいし、所定時間前から現在までの範囲や過去の所定の時間範囲で表示してもよい。

編集者はタイムラインプレビュー領域５５１からプレイバック対象となる時間範囲を設定する。設定はタイムラインプレビュー領域５５１の時間軸範囲をマウスのドラッグアンドドロップやクリック操作などで指定する。図３の例では７秒から２０秒までの範囲が選択されている。時間範囲の選択後、ボタン５５３を押下することにより、選択した配信者動画の指定範囲がプレイバック対象となったことを表すように、サムネイル画像がストリーミングコンテンツの切替表示候補としてサムネイル表示部５２に表示される。本実施形態では時間範囲の最初のフレームの静止画サムネイルが表示されている。プレイバック対象であることを示すためにサムネイルには図３に示すように「REPLAY」の文字が重畳して表示されている。一方ストリーミングで受信している配信者動画のサムネイルには「LIVE」の文字が重畳されている。このようにストリーミング動画とプレイバック対象の動画が区別できるようにサムネイル部５２、プレビュー部５１、ストリーミングコンテンツで「LIVE」、「REPLAY」などの文字が重畳して表示されると、視聴者にもどのタイミングでの動画であるのかわかりやすく好適である。

編集者は、プレイバック対象の動画を切替え表示したい任意のタイミングで、該当するサムネイル部５２内のサムネイル画像をプレビュー部の表示したい箇所にドラッグアンドドロップする。例えば、図４に示す編集画面において、プレビュー部５１の右半分領域に現在Aさんの配信者動画が表示されているが、これに替えてサムネイル部５２のBさんのプレイバック動画を表示したい場合は、サムネイル部５２のBさんのプレイバック動画のサムネイルをプレビュー部５１の右半分領域の所定の位置にドラッグアンドドロップする。これにより、プレビュー部にプレイバック対象の動画がプレビュー部５１に表示され、編集情報として、プレイバック対象の動画となる配信者動画の識別情報および時間範囲の指示情報、レイアウト選択部５３で選択した画面レイアウト情報、音量調節指示情報、テロップ情報と、これらの情報のもととなった各編集操作が行われた配信者動画における時間情報とが含まれる。

ストリーミングコンテンツ生成部１５は、受信した編集情報に基づいてストリーミングコンテンツを生成する。生成方法は実施形態１とほぼ同様であるが、プレイバック対象の動画が編集情報内で指定されている場合は、動画記憶部１７から指定された配信者動画を取得し、指定された時間範囲の映像を編集情報の切替時間、レイアウトに応じて表示する。

ストリーミングコンテンツ生成部１５は、配信中は継続的にストリーミングコンテンツを生成し、ストリーミングコンテンツ配信部１６へ送信する。ストリーミングコンテンツ配信部１６は、ネットワーク１００を介して視聴者端末４にストリーミングコンテンツを配信する。

本実施形態によれば、リアルタイムのストリーミングコンテンツ配信において、プレイバック用の録画機器や編集機器を別途用意することなく、容易な操作で即時に、配信者動画の過去の場面をさかのぼって切替表示することが可能となる。

なお、本実施形態では、動画記憶部（配信者動画記憶手段）１７は、永続的に配信者動画を保存する例を示したが、最新の画像から遡って所定の範囲（例えば、時間範囲、または記憶容量によって許容される範囲）にのみを保存するように変更することができる。これにより、記憶容量が抑えられ、また記憶すべき時間の長さ（例えば配信するストリームコンテンツ全体の時間）に依存して使用される記憶容量が変動する問題が解決される。

〔実施形態３〕
本実施形態では、コンテンツ配信サーバ１はさらにジェスチャ認識部１８を有し、配信者は所定のジェスチャにより動画切替などの編集操作を行うことができる。

図７は本実施形態におけるコンテンツ配信サーバ１の構成例を示すブロック図である。本実施形態のコンテンツ配信サーバ１は、ジェスチャ認識部１８を有する。

ジェスチャ認識部１８は、バッファ部１２からストリーミングコンテンツ配信中は継続的に配信者動画を受信し、いずれかの配信者動画に写っている配信者が所定のジェスチャを行っているかを検出する。ジェスチャの認識手段は既存の骨格認識モジュールを利用し、所定のジェスチャをあらかじめ学習する。検出したジェスチャがストリーミングコンテンツの編集に関する動作である場合には、検出したジェスチャに基づいて編集情報を生成し、ストリーミングコンテンツ生成部１５に送信する。またインタラクティブ性を高めるために、前述の配信者どうしのビデオ会議システム上でもジェスチャ動作に基づいて表示動画切替などの動作をすることが好適である。

ジェスチャの例としては、配信者が頭上で両手を交差させて手を振り、自身の配信者動画への切り替えを希望するなどの動作が考えられる。また、画面の四隅のいずれかを手で指し示して手を振るなどのジェスチャを配信者動画の切り替えジェスチャとして、あらかじめ各四隅に対応する切換対象の配信者動画を定義しておき、該当する配信者動画への切り替えを行ってもよい。いずれにしても配信者がストリーミングコンテンツ配信時に行いうる動作とは識別可能なジェスチャを任意に設定することが好適である。

編集情報にはジェスチャが行われた時間情報、ジェスチャによって指定された配信者動画の切替情報が含まれ、内容としては編集情報送受信部１４から送られる編集情報と共通した内容が含まれる。ストリーミングコンテンツ生成部１５は、ジェスチャ認識部１８から送信された編集情報に基づいてストリーミングコンテンツを生成する。

ストリーミングコンテンツ生成部１５には、編集情報が編集情報送受信部１４とジェスチャ認識部１８の両方から送信されることになるが、特に区別することなく受信した時点で随時編集情報を適用してストリーミングコンテンツを生成してもよいし、いずれかを優先して、例えば数秒の間にジェスチャ認識部１８と編集情報送受信部１４の両方から編集情報を受信した時には、ジェスチャ認識部１８からの編集情報のみを優先して適用するなどとしてもよい。

なお、図７に示した構成例では、コンテンツ配信サーバ１が動画記憶部１７を備えるが、動画記憶部１７は省略されてもよい。

〔実施形態４〕
コンテンツ配信サーバ１は、実施形態３の構成から生成部１３および編集情報送受信部１４を有さず、編集者端末との接続がない構成となってもよい。ストリーミングコンテンツ配信中の画面切替は配信者のジェスチャのみによって行われる。配信者のジェスチャによる編集操作、ストリーミングコンテンツの生成については実施形態３で述べた方法と同様である。

これにより、編集用の端末を用意することなく、より簡易な構成でコンテンツ配信サーバ１を実現することができる。また、配信者自らが配信者端末あるいは編集端末を操作することなくストリーミングコンテンツの切替編集作業を行うことができ、コンテンツ配信中に配信者の動作が中断されることがない。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

本発明は、複数台カメラからの動画像を中継して、複数の視聴者端末にライブストリーミング放送を配信する映像配信サーバに利用することができる。

１コンテンツ配信サーバ
１１配信者動画受信部
１２バッファ部
１３編集画面生成部
１４編集情報送受信部
１５ストリーミングコンテンツ生成部
１６ストリーミングコンテンツ配信部
１７配信者動画記憶部
１８ジェスチャ認識部
２配信者端末
３編集者端末
４視聴者端末
５編集画面
５０１、５０２編集情報
５０３タイムライン
５１プレビュー部
５２サムネイル表示部
５３レイアウト選択部
５４音量調節部
５５テロップ入力部
５５０プレイバック指示手段
５５１タイムラインプレビュー領域
５５２プルダウン
５５３ボタン
１００ネットワーク

Claims

ネットワークを介して接続された複数の配信者端末からの配信者動画を受信してストリーミングコンテンツを生成し、視聴者端末に前記ストリーミングコンテンツを配信するコンテンツ配信サーバであって、
前記複数の配信者動画を受信する配信者動画受信部と、
前記複数の配信者動画を一時記憶するバッファ部と、
前記バッファ部内の複数の配信者動画を一覧表示し、一覧表示された前記複数の配信者動画を対象とする前記ストリーミングコンテンツの編集操作を、前記ネットワークを介して接続された編集者端末から受け付けるための編集画面を生成する編集画面生成部と、
前記編集者端末に前記編集画面を送信し、前記編集者端末から前記編集画面を介して入力された前記編集操作を編集情報として受信する編集情報送受信部と、
前記編集情報に基づいて、前記バッファ部内に保持された前記複数の配信者動画から前記ストリーミングコンテンツを生成するストリーミングコンテンツ生成部と、
前記ネットワークを介して視聴者端末に前記ストリーミングコンテンツを配信するストリーミングコンテンツ配信部と、
を備え、
前記編集情報は、前記ストリーミングコンテンツにおける画面構成と、前記画面構成に配置される前記複数の配信者動画の切替指示を含み、
前記コンテンツ配信サーバは配信者動画記憶手段を有し、
前記配信者動画記憶手段は、前記バッファ部に記憶された前記複数の配信者動画のうちの一部または全部を記憶し、
前記編集情報送受信部は、前記編集者端末により前記編集画面を介して入力されたプレイバック指示を前記編集情報に含めて受信する機能を有し、
前記プレイバック指示は、プレイバック対象となる前記配信者動画記憶手段内の配信者動画の指定と、前記ストリーミングコンテンツにおける切替挿入対象となる前記プレイバック対象動画の時間の範囲の指示を含み、
前記ストリーミングコンテンツ生成部は、受信した前記編集情報に基づいて前記プレイバック指示で指定された前記配信者動画記憶手段内の指定された配信者動画の範囲を用いて前記ストリーミングコンテンツを生成することを特徴とするコンテンツ配信サーバ。
ネットワークを介して接続された複数の配信者端末からの配信者動画を受信してストリーミングコンテンツを生成し、視聴者端末に前記ストリーミングコンテンツを配信するコンテンツ配信サーバであって、
前記複数の配信者動画を受信する配信者動画受信部と、
前記複数の配信者動画を一時記憶するバッファ部と、
前記バッファ部内の複数の配信者動画を一覧表示し、一覧表示された前記複数の配信者動画を対象とする前記ストリーミングコンテンツの編集操作を、前記ネットワークを介して接続された編集者端末から受け付けるための編集画面を生成する編集画面生成部と、
前記編集者端末に前記編集画面を送信し、前記編集者端末から前記編集画面を介して入力された前記編集操作を編集情報として受信する編集情報送受信部と、
前記編集情報に基づいて、前記バッファ部内に保持された前記複数の配信者動画から前記ストリーミングコンテンツを生成するストリーミングコンテンツ生成部と、
前記ネットワークを介して視聴者端末に前記ストリーミングコンテンツを配信するストリーミングコンテンツ配信部と、
ジェスチャ認識部を備え、
前記ジェスチャ認識部は、前記バッファ部から受信した前記複数の配信者動画からいずれかの配信者が所定のジェスチャを行ったことを識別し、前記ジェスチャがストリーミングコンテンツにおける切替操作を要求するジェスチャである場合、検知したジェスチャに基づいて前記ストリーミングコンテンツ生成部に編集情報を送信することを特徴とするコンテンツ配信サーバ。