JP6426136B2 - 動画を配信するためのシステム、方法、及び、これらに用いられるプログラム - Google Patents

Description

本発明は、動画を配信するためのシステム、方法、及び、これらに用いられるプログラムに関するものである。

従来、配信者端末から送信される動画を複数の視聴者端末に配信する動画配信サービスにおいて、配信者と視聴者との間のコミュニケーションを可能とすることが行われている。例えば、下記特許文献１は、配信者端末から送信されるライブ映像を配信するコンテンツサーバが、ライブ映像と共に、配信者と特定の視聴者との間の音声通話の内容を配信することを開示する。こうしたシステムは、視聴者が、音声通話を介して配信者のライブ映像に参加することを可能とする。

特開２０１１−１７２２００号公報

しかしながら、上述した従来のシステムでは、ライブ映像への参加者と配信者との間の音声通話の内容が、コンテンツサーバを介してライブ映像と共に参加者自身の端末にも送信されることに起因する不具合を生じ得る。具体的には、例えば、配信者端末においてスピーカーを介して出力された参加者の音声がマイクを介して入力されると、当該参加者の音声は、一定の遅延を伴ってライブ映像と共に参加者端末において出力されることになる。このように遅延して出力される参加者自身の音声（エコー）は、ハウリング等の音声品質の悪化をもたらし、参加者と配信者との間の円滑なコミュニケーションを阻害してしまう。

本発明の実施形態は、動画を配信する配信者端末と当該動画を視聴するための視聴者端末との間で行われる通話の音声品質の悪化を抑制することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

本発明の一実施形態に係るシステムは、配信者端末と、配信サーバと、複数の視聴者端末と、を備え、動画を配信するためのシステムであって、前記配信者端末が、マイクを介して入力されるリアルタイムの音声を少なくとも含む配信動画を前記配信サーバに送信するステップと、前記配信サーバが、前記配信者端末から受信する前記配信動画を前記複数の視聴者端末の各々に送信するステップと、前記複数の視聴者端末の各々が、前記配信サーバから受信する前記配信動画に含まれる画像及び音声を出力するステップと、前記複数の視聴者端末に含まれる参加者端末、及び、前記配信者端末の間で、少なくとも通話を実行可能な所定のコミュニケーションを開始するステップと、前記参加者端末が、前記所定のコミュニケーションの開始に応じて、前記配信サーバから受信する前記配信動画に含まれる音声に代えて、前記所定のコミュニケーションにおいて受信する音声を出力するステップと、を実行する。

本発明の一実施形態に係る方法は、配信者端末と、配信サーバと、複数の視聴者端末と、を備えるシステムが、動画を配信するための方法であって、前記配信者端末が、マイクを介して入力されるリアルタイムの音声を少なくとも含む配信動画を前記配信サーバに送信するステップと、前記配信サーバが、前記配信者端末から受信する前記配信動画を前記複数の視聴者端末の各々に送信するステップと、前記複数の視聴者端末の各々が、前記配信サーバから受信する前記配信動画に含まれる画像及び音声を出力するステップと、前記複数の視聴者端末に含まれる参加者端末、及び、前記配信者端末の間で、少なくとも通話を実行可能な所定のコミュニケーションを開始するステップと、前記参加者端末が、前記所定のコミュニケーションの開始に応じて、前記配信サーバから受信する前記配信動画に含まれる音声に代えて、前記所定のコミュニケーションにおいて受信する音声を出力するステップと、を備える。

本発明の一実施形態に係る第１のプログラムは、配信者端末と、配信サーバと、複数の視聴者端末と、を備え、動画を配信するためのシステムにおいて、前記配信者端末上で実行されるプログラムであって、前記配信者端末に、マイクを介して入力されるリアルタイムの音声を少なくとも含む配信動画を前記配信サーバに送信する処理と、前記配信サーバから受信する前記配信動画に含まれる画像及び音声を出力する前記複数の視聴者端末に含まれる参加者端末との間で、少なくとも通話を実行可能な所定のコミュニケーションを開始する処理と、前記所定のコミュニケーションの開始に応じて、前記配信サーバに送信する前記配信動画に対して、マイクを介して入力されるリアルタイムの音声に加えて、前記所定のコミュニケーションにおいて受信する音声を付加する処理と、を実行させ、前記受信する音声を付加する処理は、マイクを介して入力される音声から、前記所定のコミュニケーションにおいて受信する音声のエコー成分を除去する処理を実行することを含む。

本発明の一実施形態に係る第２のプログラムは、配信者端末と、配信サーバと、複数の視聴者端末と、を備え、動画を配信するためのシステムにおいて、前記視聴者端末上で実行されるプログラムであって、前記視聴者端末に、前記配信サーバから受信する配信動画であって、前記配信サーバが前記配信者端末から受信すると共に前記配信者端末のマイクを介して入力されるリアルタイムの音声を少なくとも含む前記配信動画に含まれる画像及び音声を出力する処理と、前記配信者端末との間で、少なくとも通話を実行可能な所定のコミュニケーションを開始する処理と、前記所定のコミュニケーションの開始に応じて、前記配信サーバから受信する前記配信動画に含まれる音声に代えて、前記所定のコミュニケーションにおいて受信する音声を出力する処理と、を実行させる。

本発明の様々な実施形態は、動画を配信する配信者端末と当該動画を視聴するための視聴者端末との間で行われる通話の音声品質の悪化を抑制する。

本発明の一実施形態に係る動画配信システム１のネットワークの構成を概略的に示す構成図。 動画配信システム１の機能を概略的に示すブロック図。 メイン画面６０の一例を示す図。 配信準備画面７０の一例を示す図。 配信画面８０の一例を示す図。 視聴画面９０の一例を示す図。 視聴者が画面動画へ参加する際に配信者端末３０と視聴者端末３０との間で実行される処理の一例を示すシーケンス図。 視聴者端末３０からの参加要求を受信したときの配信画面８０の一例を示す図。 通常時の配信者端末３０及び視聴者端末３０それぞれにおける音声の入出力を説明するための図。 参加者が画面動画に参加している期間の配信者端末３０、参加者端末３０、及び他の視聴者端末３０それぞれにおける音声の入出力を説明するための図。 配信者端末３０のコミュニケーション制御部５７における音声の入出力の詳細を説明するための図。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る動画配信システム１のネットワークの構成を概略的に示す構成図である。動画配信システム１は、図示するように、配信サーバ１０と、当該配信サーバ１０とインターネット等のネットワーク２０を介して通信可能に接続されたユーザ端末３０とを備える。図１においては、１つのユーザ端末３０のみが図示されているが、動画配信システム１は、複数のユーザ端末３０を備える。配信サーバ１０は、配信者のユーザ端末３０（以下、「配信者端末３０」と言うことがある。）が送信する配信動画を視聴者のユーザ端末３０（以下、「視聴者端末３０」と言うことがある。）に配信する動画配信サービスを提供する。本実施形態において、動画配信サービスのユーザは、配信者として動画を配信することができ、また、視聴者として他のユーザによって配信される動画を視聴することもできる。

配信サーバ１０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ（コンピュータプロセッサ）１１と、メインメモリ１２と、ユーザＩ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

ＣＰＵ１１は、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

ユーザＩ／Ｆ１３は、ユーザとの間で情報をやり取りするための各種の入出力装置を含む。ユーザＩ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン（マイク）等の音声入力装置、カメラ等の画像入力装置を含む。また、ユーザＩ／Ｆ１３は、ディスプレイ等の画像出力装置、スピーカー等の音声出力装置を含む。

通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク２０等を介した有線又は無線の通信を実現できるように構成されている。

ストレージ１５は、例えば磁気ディスク、フラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム、及び各種データ等を記憶する。

本実施形態において、配信サーバ１０は、それぞれが上述したハードウェア構成を有する複数のコンピュータを用いて構成され得る。例えば、配信サーバ１０は、１又は複数のサーバ装置によって構成され得る。

このように構成された配信サーバ１０は、ウェブサーバ及びアプリケーションサーバとしての機能を有し、ユーザ端末３０にインストールされているウェブブラウザ及びその他のアプリケーション（例えば、動画配信サービス用のアプリケーション）からの要求に応答して各種の処理を実行し、当該処理の結果に応じた画面データ（例えば、ＨＴＭＬデータ）及び制御データ等をユーザ端末３０に送信する。ユーザ端末３０では、受信したデータに基づくウェブページ又はその他の画面が表示される。

ユーザ端末３０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ（コンピュータプロセッサ）３１と、メインメモリ３２と、ユーザＩ／Ｆ３３と、通信Ｉ／Ｆ３４と、ストレージ（記憶装置）３５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

ＣＰＵ３１は、ストレージ３５等に記憶されている様々なプログラムをメインメモリ３２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ３２は、例えば、ＤＲＡＭ等によって構成される。

ユーザＩ／Ｆ３３は、ユーザとの間で情報をやり取りするための各種の入出力装置である。ユーザＩ／Ｆ３３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン（マイク）等の音声入力装置、カメラ等の画像入力装置を含む。また、ユーザＩ／Ｆ３３は、ディスプレイ等の画像出力装置、スピーカー等の音声出力装置を含む。

通信Ｉ／Ｆ３４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク２０等を介した有線又は無線の通信を実現できるように構成されている。

ストレージ３５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ３５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。ストレージ３５が記憶するプログラムは、アプリケーションマーケット等からダウンロードされてインストールされ得る。

本実施形態において、ユーザ端末３０は、スマートフォン、タブレット端末、ウェアラブルデバイス、パーソナルコンピュータ、ゲーム専用端末、及びＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）装置（ヘッドマウントディスプレイ等）等として構成され得る。

このように構成されたユーザ端末３０のユーザは、ストレージ３５等にインストールされているウェブブラウザ又は動画配信サービス用のアプリケーションを介した配信サーバ１０との通信を実行することによって、配信サーバ１０が提供する動画配信サービスを利用することができる。動画配信サービス用のアプリケーションは、本発明のプログラムの一部又は全部を実装するプログラムの一例となり得る。

次に、本実施形態の動画配信システム１が有する機能について説明する。図２は、配信サーバ１０及びユーザ端末３０がそれぞれ有する機能を概略的に示すブロック図である。配信サーバ１０は、図示するように、様々な情報を記憶及び管理する情報記憶管理部４１と、動画配信サービスの基本機能を制御する基本機能制御部４３と、動画の配信を制御する動画配信制御部４５とを有する。これらの機能は、ＣＰＵ１１及びメインメモリ１２等のハードウェア、並びに、ストレージ１５等に記憶されている各種プログラムやデータ等が協働して動作することによって実現され、例えば、メインメモリ１２に読み込まれたプログラムに含まれる命令をＣＰＵ１１が実行することによって実現される。また、図２に示す配信サーバ１０の機能の一部又は全部は、配信サーバ１０とユーザ端末３０とが協働することによって実現され、又は、ユーザ端末３０によって実現され得る。

ユーザ端末３０は、図２に示すように、様々な情報を記憶及び管理する情報記憶管理部５１と、動画配信サービスにおける配信機能を制御する配信機能制御部５３と、動画配信サービスにおける視聴機能を制御する視聴機能制御部５５と、配信者と視聴者との間で行われる所定のコミュニケーションを制御するコミュニケーション制御部５７とを有する。これらの機能は、ＣＰＵ３１及びメインメモリ３２等のハードウェア、並びに、ストレージ３５等に記憶されている各種プログラム（例えば、動画配信サービス用のアプリケーション）やデータ等が協働して動作することによって実現され、例えば、メインメモリ３２に読み込まれたプログラムに含まれる命令をＣＰＵ３１が実行することによって実現される。また、図２に示すユーザ端末３０の機能の一部又は全部は、サーバ１０とユーザ端末３０とが協働することによって実現され、又は、サーバ１０によって実現され得る。

配信サーバ１０の情報記憶管理部４１は、ストレージ１５等において様々な情報を記憶及び管理する。サーバ１０の基本機能制御部４３は、動画配信サービスの基本機能の制御に関する様々な処理を実行する。例えば、基本機能制御部４３は、基本機能に関する様々な画面のＨＴＭＬデータ又は制御データをユーザ端末３０に送信し、ユーザ端末３０で表示される当該画面を介したユーザによる操作入力に応答して様々な処理を実行し、当該処理の結果に応じたＨＴＭＬデータ又は制御データをユーザ端末３０に送信する。基本機能制御部４３によって制御される基本機能は、例えば、ログイン認証（ユーザ認証）、課金制御、ユーザに関する情報の管理、及び、個別の動画配信に関する情報の管理を含む。ユーザ及び個別の動画配信に関する情報は、情報記憶管理部４１（ストレージ１５等）において管理され得る。

配信サーバ１０の動画配信制御部４５は、動画の配信の制御に関する様々な処理を実行する。例えば、動画配信制御部４５は、配信者端末３０から受信する配信動画を複数の視聴者端末３０の各々に送信する。具体的には、動画配信制御部４５は、例えば、配信者端末３０から送信される配信動画の動画データを受信し、当該受信した動画データを視聴者端末３０に送信する。こうした動画の配信は、例えば、ＲＴＭＰ（Ｒｅａｌ Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ）等のプロトコルを用いたストリーミング方式にて行われる。

本実施形態の動画配信サービスにおける配信動画は、配信者端末３０のマイクを介して入力されるリアルタイムの音声を含むことができる。また、当該配信動画は、例えば、配信者端末３０のディスプレイ等を介して表示されるリアルタイムの表示画面に対応する画像を含む。以下、当該表示画面に対応する画像を含む動画を「画面動画」と言うことがある。また、配信動画は、例えば、配信者端末３０のカメラを介してリアルタイムに撮影（入力）される画像を含む。更に、配信動画は、マイクを介して入力されるリアルタイムの音声、及び、非リアルタイムの動画（例えば、配信者端末３０のストレージ３５に記憶されている動画）によっても構成され得る。

ユーザ端末３０の情報記憶管理部５１は、ストレージ３５等において様々な情報を記憶及び管理する。ユーザ端末３０の配信機能制御部５３は、動画配信サービスの配信機能の制御に関する様々な処理を実行する。当該配信機能は、ユーザ端末３０のユーザが配信者として動画を配信するための機能である。例えば、配信機能制御部５３は、配信動画を配信サーバ１０に送信する。具体的には、例えば、配信機能制御部５３は、マイクを介して入力されるリアルタイムの音声に少なくとも基づいて配信動画の動画データを生成し、当該生成した動画データを配信サーバ１０に送信する。例えば、配信動画が上記画面動画である場合において、配信機能制御部５３は、ユーザ端末３０のディスプレイ等を介して表示される表示画面に対応する画像、及び、マイクを介して入力される音声によって構成される画面動画の動画データをリアルタイムに生成し、当該生成した動画データを配信サーバ１０に送信する。

ユーザ端末３０の視聴機能制御部５５は、動画配信サービスの視聴機能の制御に関する様々な処理を実行する。当該視聴機能は、ユーザ端末３０のユーザが視聴者として他のユーザによって配信される動画を視聴するための機能である。例えば、視聴機能制御部５５は、配信サーバ１０から受信する配信動画に含まれる画像及び音声を出力する。例えば、視聴機能制御部５５は、配信サーバ１０から送信される配信動画の動画データを受信し、当該受信した動画データに基づいて、動画に含まれる画像を、ディスプレイ等を介して表示すると共に、動画に含まれる音声を、スピーカー等を介して出力する。

ユーザ端末３０のコミュニケーション制御部５７は、配信者端末３０と配信動画への参加者のユーザ端末３０（以下、「参加者端末３０」と言うことがある。）との間で行われる所定のコミュニケーションの制御に関する様々な処理を実行する。本実施形態において、所定のコミュニケーションは、少なくとも通話を実行可能なコミュニケーションである。例えば、コミュニケーション制御部５７は、所定のコミュニケーションを行う相手のユーザ端末３０との間の通信（セッション）の確立に関する処理を実行し、当該コミュニケーション用のセッションを確立後、マイクを介して入力される音声の音声データを、当該セッションを介して送信する一方、当該セッションを介して受信する音声データに対応する音声を、スピーカー等を介して出力する。

本実施形態において、参加者端末３０は、所定のコミュニケーションの開始に応じて、配信サーバ１０から受信する配信動画に含まれる音声に代えて、所定のコミュニケーションにおいて受信する音声を出力するように構成されている。例えば、視聴機能制御部５５は、所定のコミュニケーションの開始に応じて、配信サーバ１０から受信する配信動画に含まれる音声をミュート（消音）するように構成されており、この結果、参加者端末３０では、配信動画に含まれる音声に代えて、所定のコミュニケーションにおいて受信する音声が出力される。

このように、本実施形態における動画配信システム１は、所定のコミュニケーションの開始に応じて、参加者端末３０が、配信サーバ１０から受信する配信動画に含まれる音声に代えて、所定のコミュニケーションにおいて受信する音声を出力する。従って、参加者端末３０と配信者端末３０との間の音声通話の内容が、配信動画に含まれる音声として配信サーバ１０を介して参加者端末３０に送信され、当該参加者端末３０において出力される場合と比較して、参加者端末３０における参加者自身の音声の遅延した出力（エコーの発生）が抑制され、この結果、通話の音声品質の悪化が抑制される。

本実施形態において、配信者端末３０は、所定のコミュニケーションの開始に応じて、配信サーバ１０に送信する配信動画に対して、マイクを介して入力されるリアルタイムの音声に加えて、所定のコミュニケーションにおいて受信する音声を付加するように構成され得る。例えば、コミュニケーション制御部５７は、マイクを介して入力される音声の音声データと、所定のコミュニケーションにおいて受信する音声の音声データとを合成するように構成され、配信機能制御部５３は、当該合成した音声データに基づいて配信動画の動画データを生成するように構成される。こうした構成は、所定のコミュニケーションにおいて受信する音声が、配信者端末３０のマイクを介することなく配信動画に付加されるから、配信動画に含まれる音声（当該音声は、他の視聴者端末３０においては出力される。）の品質を向上させる。また、所定のコミュニケーションを介して受信する音声が、配信者端末３０のマイクを介することなく配信動画に付加されるから、配信者端末３０においてヘッドフォン等を使用する場合であっても、参加者端末３０と配信者端末３０との間の音声通話の内容を含む配信動画が他の視聴者端末３０に配信される。

また、配信者端末３０は、マイクを介して入力されるリアルタイムの音声から所定のコミュニケーションにおいて受信する音声のエコー成分を除去する処理を実行するように構成され得る。例えば、コミュニケーション制御部５７は、一般的なエコーキャンセル技術を適用し、所定のコミュニケーションにおいて受信する音声の音声データに基づいて、マイクを介して入力される音声の音声データから、当該受信する音声のエコー成分を除去する処理を実行するように構成される。この場合、配信機能制御部５３は、エコー成分を除去する処理が実行された音声データに基づいて配信動画の動画データを生成及び送信し、コミュニケーション制御部５７は、エコー成分を除去する処理が実行された音声データを所定のコミュニケーションにおいて送信する。こうした構成は、配信動画に含まれる音声、及び、所定のコミュニケーションにおける通話音声の、エコー成分による品質の悪化を抑制する。

本実施形態において、所定のコミュニケーションは、配信サーバ１０を介することなく行われ、例えば、Ｐ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）通信を用いて行われるように構成され得る。この場合、配信者端末３０及び参加者端末３０それぞれのコミュニケーション制御部５７は、例えば、図示しないシグナリングサーバを介したシグナリングを実行した後に、Ｐ２Ｐ通信を用いた所定のコミュニケーションを開始する。Ｐ２Ｐ通信を用いたコミュニケーションは、例えば、ＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ−Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を適用して実現することができる。ここで、本実施形態において、所定のコミュニケーションは、Ｐ２Ｐ通信を用いて行われるものに限定されず、例えば、クライアントサーバ型の通信を用いて行われるものも含まれる。

本実施形態において、所定のコミュニケーションは、通話（音声の送受信）に加えて、他の情報の送受信が実行可能なものを含む。例えば、所定のコミュニケーションは、画像の送受信が実行可能であり、この場合、配信者端末３０は、所定のコミュニケーションの開始に応じて、配信サーバ１０に送信する配信動画に対して、所定のコミュニケーションにおいて受信する画像を付加するように構成され得る。例えば、配信機能制御部５３は、所定のコミュニケーションにおいて受信する画像を、コミュニケーション制御部５７を介して取得し、取得した画像を、配信動画の表示領域における一部の領域に付加するように構成される。ここで、所定のコミュニケーションにおいて受信する画像は、例えば、参加者端末３０のディスプレイ等を介して表示されるリアルタイムの表示画面に対応する画像、参加者端末３０のカメラ等を介してリアルタイムに撮影（入力）される画像、及び、その他の様々な画像を含み得る。こうした構成は、音声による配信動画への参加に加えて、画像による配信動画への参加を可能とする。

本実施形態において、参加者端末３０は、所定のコミュニケーションの終了に応じて、所定のコミュニケーションにおいて受信する音声に代えて、配信サーバ１０から受信する配信動画に含まれる音声を出力するように構成され得る。例えば、視聴機能制御部５５は、所定のコミュニケーションの終了に応じて、配信サーバ１０から受信する配信動画に含まれる音声のミュートを解除するように構成される。

本実施形態において、所定のコミュニケーションは、複数の視聴者端末３０に含まれる特定の視聴者端末３０からの参加要求の配信者端末３０における承諾に応じて、当該特定の視聴者端末３０（参加者端末３０）及び配信者端末３０の間で開始されるように構成され得る。例えば、視聴者端末３０の視聴機能制御部５５が、視聴者端末３０において表示される画面を介した視聴者からの参加要求を受け付け、当該参加要求を、配信サーバ１０を介して配信者端末３０に送信し、配信者端末３０の配信機能制御部５３が、配信者端末３０において表示される画面を介した配信者による参加要求の承諾を受け付け、当該参加要求の承諾の受付に応じて、配信者端末３０及び参加者端末３０それぞれのコミュニケーション制御部５７が所定のコミュニケーションを開始する、ように構成される。

次に、このような機能を有する本実施形態の動画配信システム１の具体例について説明する。この具体例における動画配信サービスでは、配信者端末３０の表示画面に対応する画像を含むリアルタイムの画面動画が、配信動画として、複数の視聴者端末３０に配信される。こうした画面動画の配信は、「画面の生配信」と呼ばれることがある。

図３は、この例において、動画配信サービスのユーザが当該サービスを利用するときの起点となるメイン画面６０の一例を示す。このメイン画面６０は、例えば、動画配信サービス用のアプリケーションがユーザ端末３０上で起動されたとき、又は、配信サーバ１０が提供する動画配信サービス用のウェブサイトにユーザ端末３０がウェブブラウザを介してアクセスしたとき等に表示される。

メイン画面６０は、図３に示すように、お薦めの動画を表示する推奨領域６１と、配信中の動画を一覧表示する動画一覧領域６２とを有し、下端に基本メニュ領域１００が配置されている。推奨領域６１及び動画一覧領域６２に表示される動画に関する情報には、動画のタイトル（配信タイトル。図３の例では「ＹＹＹ」、「ＸＸＸ」等と表示されている。）、及び、配信者情報が含まれる。ユーザは、推奨領域６１及び動画一覧領域６２に表示されている動画の何れかを選択することにより、視聴者として、当該動画の視聴を開始することができる。

基本メニュ領域１００は、動画配信サービスを利用するときの基本となるメニュによって構成されており、メイン画面６０以外の主要な画面においても同様に配置されている。基本メニュ領域１００は、具体的には、メイン画面６０を表示するためのメインメニュ１０２と、ユーザや動画を検索するための検索メニュ１０４と、動画の配信を開始するための配信メニュ１０６と、ユーザに対するお知らせを表示するためのお知らせメニュ１０８と、自身のユーザページ（マイページ）を表示するためのマイページメニュ１０９とによって構成されている。

ユーザが検索メニュ１０４を選択すると、例えば、キーワード等を用いて他のユーザ又は動画を検索するための検索用画面が表示される。また、ユーザがマイページメニュ１０９を選択すると、ユーザ自身のユーザページ（マイページ）を表示するマイページ画面が表示され、ユーザは当該画面を介して、例えば、自身の基本情報等を閲覧及び編集することができ、又、配信履歴や視聴履歴を閲覧することができる。

ユーザが配信メニュ１０６を選択すると、図４に例示する配信準備画面７０がユーザ端末３０に表示される。配信準備画面７０は、図示するように、配信タイトルを入力するためのタイトル入力領域７２と、「配信開始！」と表示された配信開始ボタン７４とを有し、下端に基本メニュ領域１００が配置されている。この配信準備画面７０は、ユーザが動画の配信の開始を指示するための画面である。

ユーザが、タイトル入力領域７２に所望の配信タイトル（例えば、「ゲームＸの生配信！」等）を入力した上で、配信開始ボタン７４を選択すると、配信準備画面７０が閉じられて、画面動画の配信が開始される。具体的には、配信者のユーザ端末３０（配信者端末３０）における表示画面に対応する画像、及び、マイクを介して入力される音声によって構成される画面動画の動画データの生成及び配信サーバ１０への送信が開始される。画面動画の配信が開始されると、視聴者からの視聴要求に応答して、配信サーバ１０から当該視聴者のユーザ端末３０（視聴者端末３０）に画面動画の動画データが送信されるようになる。

図５は、動画の配信中において配信者端末３０に表示される配信画面８０の一例を示す。当該配信画面８０は、配信開始ボタン７４が選択されて配信準備画面７０が閉じられたときに表示される。この具体例では、動画の配信中において、動画配信サービス用のアプリケーション等のプログラムはバックグラウンドで動作し、配信画面８０の画面全体に対応する表示領域２１０には、例えば、ＯＳのホーム画面、又は、起動中の他のアプリケーションの画面が表示される。

配信画面８０には、図５に示すように、画面上端のコメント入力領域８２、その左下側のカメラ画像表示領域８４、並びに、画面右下隅の設定ボタン８６及び終了ボタン８８が、それぞれ表示領域２１０に重畳して配置されている。コメント入力領域８２は、配信者が文字列等のコメントを入力できるように構成されている。また、カメラ画像表示領域８４は、配信者端末３０のフロントカメラ等を介して入力される画像（具体的には、例えば、配信者の映像）が表示される。

配信者が設定ボタン８６を選択すると、図示しない設定用画面を介して各種の配信設定を行うことができる。例えば、マイクの無効化（ミュート）、カメラの無効化（カメラ画像表示領域８４の非表示を含む。）、コメントの閲覧、コメント欄の非表示（コメント入力領域８２の非表示）等の設定を行うことができる。ここで、「コメントの閲覧」は、配信者自身が入力したコメント、及び、視聴者が入力したコメントを表示するための設定である。

ここで、コメント入力領域８２、カメラ画像表示領域８４、設定ボタン８６、及び終了ボタン８８は、バックグラウンドで動作する動画配信サービス用のアプリケーション等によって制御されるウィジェット形式のオブジェクトである。配信者は、配信画面８０の表示領域２１０全体のうち、オブジェクト８２、８４、８６及び８８以外の領域をタップ操作等することによって、表示領域２１０に表示されている画面を介した操作（ＯＳ、又は、起動中の他のアプリケーションに対する操作）を実行することができる。また、配信者はコメント入力領域８２及びカメラ画像表示領域８４をスライド操作等することによって、これらの表示位置を変更する（オブジェクトを移動させる）こともできる。

図６は、画面動画を視聴する視聴者のユーザ端末３０（視聴者端末３０）に表示される視聴画面９０の一例を示す。視聴者は、例えば、メイン画面６０の推奨領域６１及びコンテンツ一覧領域６２に表示されている動画の何れかを選択すること、又は、検索メニュ１０４を介して検索した動画の何れかを選択すること等によって、視聴する動画を選択することができ、こうした動画の選択に応じて、対応する画面動画の動画データが配信サーバ１０から視聴者端末３０に送信され、当該動画データに対応する動画を表示する視聴画面９０が視聴者端末３０において表示される。

視聴画面９０は、図６に示すように、画面動画を表示する動画表示領域９２と、画面左下隅に位置するコメント入力領域９３と、画面右下隅に位置する設定ボタン９４及び参加要求ボタン９５とを有する。図示するように、動画表示領域９２は、配信者端末３０における表示画面（配信画面８０）に対応する画像を含む画面動画が表示される。

コメント入力領域９３は、視聴者が文字列等のコメントを入力できるように構成されている。視聴者が設定ボタン９４を選択すると、図示しない設定用画面を介して各種の視聴設定を行うことができ、例えば、コメントの閲覧等の設定を行うことができる。

視聴画面９０の参加要求ボタン９５は、視聴者が、配信者との通話を介した画面動画への参加を要求するためのボタンである。以下、視聴者が画面動画へ参加する際の動作について説明する。図７は、視聴者が画面動画へ参加する際に配信者端末３０と視聴者端末３０との間で実行される処理の一例を示すシーケンス図である。まず、図示するように、視聴者による参加要求ボタン９５の選択に応じて、視聴者端末３０が、配信者端末３０に対する参加要求を送信する（ステップＳ１００）。当該参加要求は、参加要求を送信した視聴者に関する情報を含み、配信サーバ１０を介して配信者端末３０に送信される。

そして、参加要求を受信した配信者端末３０は、参加要求の配信者による承諾を受け付ける（ステップＳ１１０）。図８は、参加要求を受信したときの配信画面８０を例示する。図示するように、配信画面８０は、参加要求の受信に応じて、通知オブジェクト８９を表示するように構成されている。当該通知オブジェクト８９は、カメラ画像表示領域８４の右側に位置し、参加要求を行った視聴者に関する情報を表示すると共に、承諾ボタン８９１を有する。配信者は、承諾ボタン８９１を選択することにより、視聴者からの参加要求を承諾することができる。なお、この例において、通知オブジェクト８９は、配信者によって承諾ボタン８９１が選択されないと、所定の期間（例えば、１０秒）表示された後に消える。

こうして通知オブジェクト８９の承諾ボタン８９１の選択に応じて参加要求の承諾が受け付けられると、配信者端末３０と視聴者端末３０（参加者端末３０）との間で通話のための通信（セッション）が確立される（ステップＳ１２０）。具体的には、この例では、配信者端末３０及び参加者端末３０が図示しないシグナリングサーバを介してシグナリングを実行した後に、配信者端末３０と参加者端末３０との間でＰ２Ｐ通信を用いた通話用のセッションが確立される。当該セッションの確立に応じて、配信者端末３０及び参加者端末３０の間の通話（音声の送受信）が可能となる。

ここで、配信者端末３０、視聴者端末３０、及び参加者端末３０それぞれにおける音声の入出力について説明する。まず、通常時（画面動画に参加する参加者が存在しない期間）における音声の入出力について説明する。図９は、通常時の配信者端末３０及び視聴者端末３０それぞれにおける音声の入出力を説明するための図である。図示するように、配信者端末３０においては、配信機能制御部５３が、マイクを介して入力される音声（マイク音声）及び表示画面に対応する画像によって構成される画面動画の動画データを生成して配信サーバ１０に送信し、視聴者端末３０においては、視聴機能制御部５５が、配信サーバ１０を介して受信する動画データに対応する画面動画（画像及び音声）をそのまま出力する。

図１０は、参加者が画面動画に参加している期間（通話用のセッションが確立されている期間）の配信者端末３０、参加者端末３０、及び他の視聴者端末３０それぞれにおける音声の入出力を説明するための図である。図示するように、参加者が画面動画に参加している期間において、配信者端末３０及び参加者端末３０それぞれのコミュニケーション制御部５７が、マイクを介して入力されるマイク音声の音声データを、通話用のセッションを介して送信し、当該セッションを介して受信する音声データに対応する通話音声を、スピーカー等を介して出力する。

図１１は、図１０の配信者端末３０のコミュニケーション制御部５７における音声の入出力の詳細を説明するための図である。図示するように、この例において、コミュニケーション制御部５７はエコーキャンセラー５７２を有する。当該エコーキャンセラー５７２は、通話用のセッションを介して受信する音声データに基づいて、マイクを介して入力されるマイク音声の音声データから、当該受信する音声データのエコー成分を除去する機能を有する。コミュニケーション制御部５７が通話用のセッションを介して送信する音声データは、エコーキャンセラー５７２によって上記エコー成分を除去する処理が実行された音声データである。なお、参加者端末３０のコミュニケーション制御部５７においても、同様に、エコーキャンセラー５７２によるエコー成分を除去する処理が実行される。

また、図１１に示すように、この例において、コミュニケーション制御部５７はミキサー５７４を有する。当該ミキサー５７４は、エコーキャンセラー５７２によって上記エコー成分を除去する処理が実行されたマイク音声の音声データと、通話用のセッションを介して受信する音声データとを合成する機能を有する。配信機能制御部５３は、当該合成音声の音声データをコミュニケーション制御部５７４から取得して、当該合成音声の音声データを含む動画データを生成及び送信する。

図１０に戻り、配信サーバ１０は、配信者端末３０から送信される画面動画の動画データを、参加者端末３０を含む複数の視聴者端末３０に送信する。参加者端末３０以外の視聴者端末３０（画面動画に参加していない視聴者端末３０）においては、受信する動画データに対応する画面動画に含まれる画像及び音声がそのまま出力される。一方、参加者端末３０は、画面動画に参加している期間において、画面動画に含まれる音声がミュート（消音）され、画面動画に含まれる画像のみが出力（表示）される。この結果、参加者端末３０では、画面動画に含まれる画像が表示されると共に、通話用のセッションを介した通話音声が出力される。

このように、参加者が画面動画に参加している期間において、参加者端末３０は、配信サーバ１０を介して配信される画面動画に含まれる音声を出力せずに、通話用のセッションを介した通話音声を出力する。当該通話音声は、配信サーバ１０を介して配信される画面動画に含まれる音声と比較して、その遅延が抑制されている。また、配信者端末３０及び参加者端末３０それぞれのコミュニケーション制御部５７のエコーキャンセラー５７２によって、マイク音声に含まれるエコー成分を除去する処理が実行されるから、エコー成分による通話音声の品質の悪化が抑制されている。さらに、配信者端末３０において、エコー成分を除去する処理が実行されたマイク音声と通話用のセッションを介した通話音声との合成音声を含む画面動画の動画データが生成及び送信されるから、画面動画に参加していない視聴者端末３０において出力される音声も、その品質の悪化が抑制されている。

なお、配信者及び参加者は、配信画面８０又は視聴画面９０を介して通話の終了（セッションの解除）を指示することができる。通話の終了に応じて、参加者端末３０は、画面動画に参加していない状態に戻り、具体的には、画面動画に含まれる音声のミュート（消音）が解除される。

上述した例では、１の視聴者のみが画面動画に参加する場合について説明したが、複数の視聴者が画面動画に参加することもできる。この場合、配信者端末３０と複数の参加者端末３０との間でメッシュ型のＰ２Ｐ通信ネットワークを用いた通話用のセッションが確立され、当該セッションを介して、配信者端末３０と複数の参加者端末３０との間の通話（グループ通話）が行われる。

また、上述した例では、配信者端末３０と参加者端末３０との間で、通話用のセッションを介した通話（音声の送受信）が行われるようにしたが、通話に加えて、画像の送受信を行うようにしても良い。例えば、上述したＷｅｂＲＴＣは、音声以外の様々な情報の送受信を伴うコミュニケーションに適用することができる。この場合、配信者端末３０において、確立されたセッションを介して受信する画像を画面動画の表示領域の一部の領域に付加するようにしても良い。更に、参加者端末３０において、確立されたセッションを介して、配信者端末３０から画面動画自体を受信するようにしても良い。この場合、参加者端末３０においては、配信サーバ１０が配信する画面動画の出力を行うことなく、当該セッションを介して受信する画面動画を出力することになる。

以上説明した本実施形態の動画配信システム１は、視聴者端末３０及び参加者端末３０の間で行われる所定のコミュニケーションの開始（例えば、通話用のセッションの確立）に応じて、参加者端末３０が、配信サーバ１０から受信する配信動画に含まれる音声に代えて、所定のコミュニケーションにおいて受信する音声を出力する。従って、参加者端末３０と配信者端末３０との間の音声通話の内容が、配信動画に含まれる音声として配信サーバ１０を介して参加者端末３０に送信され、当該参加者端末３０において出力される場合と比較して、参加者端末３０における参加者自身の音声の遅延した出力（エコーの発生）が抑制され、この結果、通話の音声品質の悪化が抑制される。つまり、本発明の実施形態は、動画を配信する配信者端末と当該動画を視聴するための視聴者端末との間で行われる通話の音声品質の悪化を抑制する。

上述した実施形態では、ユーザ端末３０が、配信者端末３０及び視聴者端末３０として機能するように構成したが、本発明の実施形態において、各端末を専用の端末として構成しても良い。例えば、配信者専用の端末は、視聴機能制御部５５を有しないように構成され、視聴者専用の端末は、配信機能制御部５３を有しないように構成され得る。

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

１ 動画配信システム
１０ 配信サーバ
２０ ネットワーク
３０ ユーザ端末（配信者端末、視聴者端末、参加者端末）
４１ 情報記憶管理部
４３ 基本機能制御部
４５ 動画配信制御部
５１ 情報記憶管理部
５３ 配信機能制御部
５５ 視聴機能制御部
５７ コミュニケーション制御部
６０ メイン画面
７０ 配信準備画面
８０ 配信画面
９０ 視聴画面

Claims (9)

1. 配信者端末と、配信サーバと、複数の視聴者端末と、を備え、動画を配信するためのシステムであって、
   前記配信者端末が、マイクを介して入力されるリアルタイムの音声及び前記配信者端末の表示画面に対応する画像を少なくとも含む配信動画を前記配信サーバに送信するステップと、
   前記配信サーバが、前記配信者端末から受信する前記配信動画を前記複数の視聴者端末の各々に送信するステップと、
   前記複数の視聴者端末の各々が、前記配信サーバから受信する前記配信動画に含まれる画像及び音声を出力するステップと、
   前記複数の視聴者端末に含まれる参加者端末、及び、前記配信者端末の間で、少なくとも通話を実行可能な所定のコミュニケーションを開始するステップと、
   前記参加者端末が、前記所定のコミュニケーションの開始に応じて、前記配信サーバから受信する前記配信動画に含まれる音声に代えて、前記所定のコミュニケーションにおいて受信する音声を出力するステップと、を実行し、
   前記所定のコミュニケーションは、前記配信者端末から前記参加者端末に対する前記配信動画の送信が少なくとも可能であり、
   前記参加者端末が前記所定のコミュニケーションにおいて受信する音声を出力するステップは、前記配信サーバから受信する前記配信動画に含まれる画像に代えて、前記所定のコミュニケーションにおいて前記配信者端末から受信する前記配信動画に含まれる画像を出力することを含む、
   システム。
2. 前記配信者端末が、前記所定のコミュニケーションの開始に応じて、前記配信サーバに送信する前記配信動画に対して、マイクを介して入力されるリアルタイムの音声に加えて、前記所定のコミュニケーションにおいて受信する音声を付加するステップを更に実行する請求項１のシステム。
3. 前記配信者端末が、前記所定のコミュニケーションの開始に応じて、マイクを介して入力される音声から、前記所定のコミュニケーションにおいて受信する音声のエコー成分を除去する処理を実行するステップを更に実行する請求項１又は２のシステム。
4. 前記所定のコミュニケーションは、Ｐ２Ｐ通信を用いて行われる請求項１ないし３何れかのシステム。
5. 前記参加者端末が、前記所定のコミュニケーションの終了に応じて、前記所定のコミュニケーションにおいて受信する音声に代えて、前記配信サーバから受信する前記配信動画に含まれる音声を出力するステップを更に実行する請求項１ないし４何れかのシステム。
6. 請求項１ないし５何れかのシステムであって、
   前記所定のコミュニケーションは、画像の送受信が可能であり、
   前記配信者端末が、前記所定のコミュニケーションの開始に応じて、前記配信サーバに送信する前記配信動画に対して、前記所定のコミュニケーションにおいて受信する画像を付加するステップを更に実行する、
   システム。
7. 前記所定のコミュニケーションを開始するステップは、前記複数の視聴者端末に含まれる１の視聴者端末からの参加要求の前記配信者端末における承諾に応じて、前記参加者端末としての前記１の視聴者端末及び前記配信者端末の間で、前記所定のコミュニケーションを開始することを含む請求項１ないし６何れかのシステム。
8. 配信者端末と、配信サーバと、複数の視聴者端末と、を備えるシステムが、動画を配信するための方法であって、
   前記配信者端末が、マイクを介して入力されるリアルタイムの音声及び前記配信者端末の表示画面に対応する画像を少なくとも含む配信動画を前記配信サーバに送信するステップと、
   前記配信サーバが、前記配信者端末から受信する前記配信動画を前記複数の視聴者端末の各々に送信するステップと、
   前記複数の視聴者端末の各々が、前記配信サーバから受信する前記配信動画に含まれる画像及び音声を出力するステップと、
   前記複数の視聴者端末に含まれる参加者端末、及び、前記配信者端末の間で、少なくとも通話を実行可能な所定のコミュニケーションを開始するステップと、
   前記参加者端末が、前記所定のコミュニケーションの開始に応じて、前記配信サーバから受信する前記配信動画に含まれる音声に代えて、前記所定のコミュニケーションにおいて受信する音声を出力するステップと、を備え、
   前記所定のコミュニケーションは、前記配信者端末から前記参加者端末に対する前記配信動画の送信が少なくとも可能であり、
   前記参加者端末が前記所定のコミュニケーションにおいて受信する音声を出力するステップは、前記配信サーバから受信する前記配信動画に含まれる画像に代えて、前記所定のコミュニケーションにおいて前記配信者端末から受信する前記配信動画に含まれる画像を出力することを含む、
   方法。
9. 配信者端末と、配信サーバと、複数の視聴者端末と、を備え、動画を配信するためのシステムにおいて、前記視聴者端末上で実行されるプログラムであって、前記視聴者端末に、
   前記配信サーバから受信する配信動画であって、前記配信サーバが前記配信者端末から受信すると共に前記配信者端末のマイクを介して入力されるリアルタイムの音声及び前記配信者端末の表示画面に対応する画像を少なくとも含む前記配信動画に含まれる画像及び音声を出力する処理と、
   前記配信者端末との間で、少なくとも通話を実行可能な所定のコミュニケーションを開始する処理と、
   前記所定のコミュニケーションの開始に応じて、前記配信サーバから受信する前記配信動画に含まれる音声に代えて、前記所定のコミュニケーションにおいて受信する音声を出力する処理と、を実行させ、
   前記所定のコミュニケーションは、前記配信者端末から前記視聴者端末に対する前記配信動画の送信が少なくとも可能であり、
   前記所定のコミュニケーションにおいて受信する音声を出力する処理は、前記配信サーバから受信する前記配信動画に含まれる画像に代えて、前記所定のコミュニケーションにおいて前記配信者端末から受信する前記配信動画に含まれる画像を出力することを含む、
   プログラム。

Images