JP7351140B2 - 配信装置、配信システムおよび配信プログラム - Google Patents

Description

本発明は、配信装置等に関する。

ＭＰＥＧ（Moving Picture Experts Group）－ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）、ＨＬＳ（HTTP Live Streaming）等の、セグメントベースの映像配信方式がインターネット環境で一般的に用いられている。

たとえば、セグメントベースの映像配信を行う配信サーバは、映像データを分割することで複数のセグメントファイルを生成する。以下、セグメントファイルを単に、ファイルと表記する。配信サーバは、生成した各ファイルに対してメタデータ管理を含めたエンコード処理を行い、ユーザが操作するクライアント端末からの要求に応じて、各ファイルを連続して配信する。このように、各ファイルを連続して配信することを、ストリーミング配信と表記する。

なお、ユーザが視聴する映像の形式が多様化しており、配信サーバは、クライアント端末から指定される映像の形式に合わせて映像データを変換し、変換した映像データの各ファイルをストリーミング配信する場合がある。配信サーバが行う変換処理には、映像の視認性を向上させる処理、フィルタ処理、エフェクト処理等が含まれる。

また、配信サーバは、現在撮影中の映像データをリアルタイムにストリーミング配信するサービス（ライブストリーミング配信）を行っている。ここで、ユーザは、ライブストリーミング配信される映像を参照しつつ、ＳＮＳ（Social Networking Service）等によって、他のユーザと映像に関する意見交換をリアルタイムに行う場合がある。

特開２０１６－１００６３５号公報 特開２００６－２１１６１５号公報 特開２００７－０１９５８９号公報

しかしながら、上述した従来技術では、映像データの変換処理に伴う遅延時間を削減することができないという問題がある。

たとえば、配信サーバがクライアント端末にストリーミング配信を行っている間に、映像の形式変更をクライアント端末によって指定される場合がある。配信サーバが、かかる指定を受け付けると、ファイルの変換処理を行うため、遅延時間が発生する。

ここで、配信サーバが複数のクライアント端末に対して、ライブストリーミング配信を行っており、第１のユーザが映像の形式変更を指定すると、第１のユーザのクライアント端末に映像を配信する時間が、第２のユーザのクライアント端末よりも遅れてしまう。そうすると、第１のユーザが第２のユーザよりも遅延時間分だけ遅れて映像を参照することになり、ＳＮＳ等によって、複数のユーザがリアルタイムに意見交換する場合に、好ましくない。

１つの側面では、本発明は、映像データの変換処理に伴う遅延時間を削減することができる配信装置、配信システム、クライアント端末および配信プログラムを提供することを目的とする。

第１の案では、配信装置は、変換部と、抽出部と、配信部とを有する。変換部は、映像データに対して変換処理を実行することで、変換映像データを生成する。抽出部は、映像データと、変換映像データとの差分データを抽出する。配信部は、差分データが抽出されると、映像データと差分データとをクライアント端末に配信する。

映像データの変換処理に伴う遅延時間を削減することができる。

図１は、本実施例に係る配信システムの一例を示す図である。 図２は、本実施例に係る配信装置の処理の一例を説明するための図である。 図３は、ライブストリーミング配信されるデータのデータ構造の一例を示す図である。 図４は、本実施例に係る配信装置の構成を示す機能ブロック図である。 図５は、差分データテーブルのデータ構造の一例を示す図である。 図６は、抽出部の処理の一例を説明するための図である。 図７は、本実施例に係るクライアント端末の構成を示す機能ブロック図である。 図８は、復元部の処理の一例を説明するための図である。 図９は、本実施例に係る配信装置の処理手順を示すフローチャートである。 図１０は、本実施例に係るクライアント端末の処理手順を示すフローチャートである。 図１１は、本実施例に係る配信装置のその他の構成を示す機能ブロック図である。 図１２は、従来方式の遅延時間と本方式の遅延時間とを示す図である。 図１３は、クライアント端末と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１４は、配信装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する配信装置、配信システム、クライアント端末および配信プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る配信システムの一例を示す図である。図１に示すように、この配信システムは、クライアント端末５０ａ，５０ｂ，５０ｃと、カメラ６０と、配信装置１００とを有する。クライアント端末５０ａ～５０ｃは、ネットワーク５を介して、配信装置１００に接続される。配信装置１００は、カメラ６０に接続される。

図１では、クライアント端末５０ａ～５０ｃを示すが、配信システムは、他のクライアント端末を更に含んでいてもよい。以下の説明では、クライアント端末５０ａ～５０ｃをまとめて、「クライアント端末５０」と表記する。

クライアント端末５０は、配信装置１００から、ライブストリーミング配信されるデータを受信し、受信したデータを基にして映像を再生する端末装置である。ライブストリーミング配信されるデータには、後述するように、映像データおよび差分データが含まれる。クライアント端末５０は、ＰＣ（Personal Computer）、ノートＰＣ、タブレット端末、スマートフォン等に対応する。クライアント端末５０は、有線または無線によって、ネットワーク５に接続する。

カメラ６０は、映像を撮影する撮影装置である。カメラ６０は、撮影した映像データを、配信装置１００に出力する。カメラ６０は、有線または無線によって、配信装置１００に接続されてもよいし、ネットワークを介して、配信装置１００に接続されてもよい。

配信装置１００は、映像データを用いて、クライアント端末５０にライブストリーミング配信を行う装置である。図２は、本実施例に係る配信装置の処理の一例を説明するための図である。配信装置１００は、映像データ１１に対して、所定の変換処理を実行することで、変換映像データ１２を生成する。本実施例では、配信装置１００が実行する所定の変換処理を、映像の視認性を向上させる処理、フィルタ処理、エフェクト処理等のうち、いずれかの変換処理とする。配信装置１００は、映像データ１１と変換映像データ１２との差分を抽出することで、差分データ１３を生成する。

映像データ１１には、複数の画像フレーム１１_ｎ～１１_ｎ＋４が含まれる（ｎは自然数）。図２では、画像フレーム１１_ｎ～１１_ｎ＋４以外の画像フレームの図示を省略する。画像フレーム１１_ｎ～１１_ｎ＋４は、それぞれ静止画像に対応するものである。画像フレーム１１_ｎ～１１_ｎ＋４には、時系列にフレーム番号が割り当てられる。

変換映像データ１２には、複数の変換フレーム１２_ｎ～１２_ｎ＋４が含まれる。図２では、変換フレーム１２_ｎ～１２_ｎ＋４以外の変換フレームの図示を省略する。配信装置１００が、画像フレーム１１_ｎ～１１_ｎ＋４に対してそれぞれ変換処理を実行することで、変換フレーム１２_ｎ～１２_ｎ＋４が生成される。変換フレーム１２_ｎ～１２_ｎ＋４には、変換元の画像フレームと同一のフレーム番号が割り当てられる。

差分データ１３には、複数の差分フレーム１３_ｎ～１３_ｎ＋４が含まれる。図２では、差分フレーム１３_ｎ～１３_ｎ＋４以外の差分フレームの図示を省略する。配信装置１００は、画像フレーム１１_ｎ～１１_ｎ＋４と、変換フレーム１２_ｎ～１２_ｎ＋４との差分を抽出することで、差分フレーム１３_ｎ～１３_ｎ＋４を生成する。差分フレーム１３_ｎ～１３_ｎ＋４には、対応する画像フレームと同一のフレーム番号が割り当てられる。たとえば、差分フレーム１３_ｎ～１３_ｎ＋４のフレーム番号は、画像フレーム１１_ｎ～１１_ｎ＋４のフレーム番号にそれぞれ対応する。

配信装置１００は、映像データ１１および差分データ１３を、クライアント端末５０にライブストリーミング配信する。

図３は、ライブストリーミング配信されるデータのデータ構造の一例を示す図である。図３に示すように、配信装置１００から、ライブストリーミング配信されるデータ１０には、映像データ１１と、差分データ１３とが含まれる。

クライアント端末５０は、ライブストリーミング配信によってデータ１０を受信すると、データ１０に含まれる映像データ１１を用いて、映像を再生する。クライアント端末５０は、ユーザから、変換映像データの再生要求を受け付けた場合、映像データ１１と、差分データ１３とを基にして、変換映像データ１２を復元し、復元した変換映像データを用いて、映像を再生する。

上記のように、本実施例に係る配信システムは、配信装置１００が、映像データ１１をクライアント端末５０に配信する際に、変換処理を並行して実行し、映像データ１１と変換映像データ１２との差分データ１３を、映像データ１１と共に配信する。なお、差分データ１３は、映像データ１１よりも処理時間分遅れて、クライアント端末５０に配信される。

クライアント端末５０は、映像データ１１によって、映像を再生し、ユーザから、変換映像データの再生要求を受け付けた場合に、映像データ１１と、差分データ１３とを基にして、変換映像データ１２を復元し、復元した変換映像データを用いて、映像を再生する。これによって、映像データを再生中にユーザから、変換映像データの再生要求を受け付けた場合でも、映像データ１１の変換処理に伴う遅延時間を削減することができる。

次に、図１に示した配信装置１００の構成の一例について説明する。図４は、本実施例に係る配信装置の構成を示す機能ブロック図である。図４に示すように、この配信装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、ネットワーク５を介して、クライアント端末５０との間でデータ通信を実行する処理部である。また、通信部１１０は、カメラ６０との間でデータ通信を実行する。後述する制御部１５０は、通信部１１０を介して、クライアント端末５０、カメラ６０とデータをやり取りする。通信部１１０は、通信装置の一例である。

入力部１２０は、各種のデータを、配信装置１００に入力するための入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力されるデータを表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、映像バッファ１４１、変換映像バッファ１４２、差分データテーブル１４３を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

映像バッファ１４１は、カメラ６０から受信する映像データを格納するバッファである。たとえば、映像バッファ１４１に格納される映像データは、図２に示した映像データ１１に対応する。

変換映像バッファ１４２は、変換映像データを格納するバッファである。たとえば、変換映像バッファ１４２に格納される変換映像データは、図２に示した変換映像データ１２に対応する。

差分データテーブル１４３は、差分データに関する各種のデータを保持するテーブルである。差分データテーブル１４３によって保持されるデータは、図２に示した差分データ１３に対応する。

図５は、差分データテーブルのデータ構造の一例を示す図である。図５に示すように、この差分データテーブル１４３は、フレーム番号、差分画像座標、差分画像サイズ、差分画像を対応付ける。フレーム番号毎の各レコード（差分画像座標、差分画像サイズ、差分画像）が、図２に示した差分データ１３の各差分フレームに対応する。差分画像座標、差分画像サイズ、差分画像に関する説明は後述する。

図４の説明に戻る。制御部１５０は、取得部１５１と、変換部１５２と、抽出部１５３と、配信部１５４とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

取得部１５１は、カメラ６０から映像データを受信する処理部である。取得部１５１は、映像データを、映像バッファ１４１に格納する。カメラ６０から取得する映像データには、複数の画像フレームが含まれ、時系列にフレーム番号が付与されているものとする。

変換部１５２は、映像バッファ１４１に格納された映像データに対して、所定の変換処理を実行することで、変換映像データを生成する処理部である。たとえば、変換部１５２は、変換処理として、映像の視認性を向上させる処理、フィルタ処理、エフェクト処理のうち、いずれかの処理を実行する。変換部１５２は、変換映像データを、変換映像バッファ１４２に格納する。

たとえば、変換部１５２が、所定の変換処理として、エフェクト処理を実行する場合について説明する。変換部１５２は、映像データに含まれる複数の画像フレームから、未選択の画像フレームを選択し、画像フレームと、対象物の特徴を定義したテンプレートとを比較して、画像フレームに対象物が含まれるか否かを判定する。変換部１５２は、画像フレームに対象物が含まれる場合に、対象物に対して所定のエフェクトを付与することで、画像フレームを変換フレームに変換する。変換部１５２は、どのようなエフェクトを付与しても良いが、たとえば、対象物を強調表示する。

変換部１５２は、映像データに含まれる複数の画像フレームに対して、上記の処理を繰り返し実行することで、映像データを変換映像データに変換する。変換部１５２は、変換映像データに含まれる各変換フレームに対して、変換元の画像フレームのフレーム番号をそれぞれ付与するものとする。

抽出部１５３は、映像バッファ１４１に格納された映像データと、変換映像バッファ１４２に格納された変換映像データとの差分データを抽出する処理部である。抽出部１５３は、差分データに関するデータを、差分データテーブル１４３に登録する。

図６は、抽出部の処理の一例を説明するための図である。図６では一例として、画像フレーム１１_ｎと、変換フレーム１２_ｎとを用いて説明を行う。画像フレーム１１_ｎには、選手１ａと、ボール１ｂとが含まれており、変換フレーム１２_ｎでは、選手１ａの領域にエフェクト２が付与されている。

抽出部１５３は、画像フレーム１１_ｎと、変換フレーム１２_ｎとの差分を取ることで、差分フレーム１３_ｎを生成する。差分フレーム１３_ｎには、差分画像３が含まれる。抽出部１５３は、差分フレーム１３ｎを基にして、差分データテーブル１４３に登録するための、差分画像座標、差分画像サイズ、差分画像を抽出する。

図６に示す差分フレーム１３_ｎでは、差分画像座標は、差分画像３の左上端の座標（ｘ、ｙ）となる。差分画像サイズは、差分画像３の「横幅ｗ×高さｈ」となる。差分画像は、差分画像３となる。抽出部１５３は、画像フレーム１１ｎに付与されたフレーム番号と対応付けて、差分画像座標、差分画像サイズ、差分画像（差分画像のバイナリデータ）を、差分データテーブル１４３に登録する。

抽出部１５３は、他の画像フレームと、他の変換フレームとを基にして、他の差分フレームを抽出し、フレーム番号と対応づけて、差分画像座標、差分画像サイズ、差分画像を、差分データテーブル１４３に登録する処理を繰り返し実行する。

配信部１５４は、映像データと、差分データとをクライアント端末５０に配信（ライブストリーミング配信）する処理部である。ライブストリーミング配信されるデータは、図３で説明したように、映像データ１１と、差分データ１３とが含まれる。差分データに含まれる各差分フレームの情報は、差分データテーブル１４３の各フレーム番号に対応付けられた、差分画像座標、差分画像サイズ、差分画像（差分画像のバイナリデータ）に対応する。

配信部１５４は、映像データ１１に含まれる各映像フレームのフレーム番号と、差分データ１３に含まれる各差分フレームのフレーム番号と同一のタイミングで、クライアント端末５０に配信してもよい。または、配信部１５４は、映像データ１１を、先行して配信し、差分データ１３の差分フレームについては、差分データテーブル１４３に差分フレームのデータが登録された時点で、順次、配信してもよい。

次に、図１に示したクライアント端末５０ａの構成の一例について説明する。図７は、本実施例に係るクライアント端末の構成を示す機能ブロック図である。図７では、一例として、クライアント端末５０ａの構成について説明するが、クライアント端末５０ｂ，５０ｃの構成は、クライアント端末５０ａの構成と同様である。

図７に示すように、クライアント端末５０ａは、通信部５１と、入力部５２と、表示部５３と、記憶部５４と、制御部５５とを有する。

通信部５１は、ネットワーク５を介して、配信装置１００との間でデータ通信を実行する処理部である。通信部５１は、通信装置の一例である。後述する制御部５５は、通信部５１を介して、配信装置１００とデータをやり取りする。

入力部５２は、各種のデータを、クライアント端末５０ａに入力するための入力装置である。入力部５２は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、入力部５２を操作して、閲覧中の映像の変換要求を行う。

表示部５３は、制御部５５から出力される映像データ（または、変換映像データ）を表示する表示装置である。表示部５３は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。

記憶部５４は、バッファ５４ａと、変換データバッファ５４ｂを有する。記憶部５４は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

バッファ５４ａは、ライブストリーミング配信されるデータを格納するバッファである。図３で説明したように、ライブストリーミング配信されるデータ１０には、映像データ１１と、差分データ１３とが含まれる。

変換データバッファ５４ｂは、映像データ１１と、差分データ１３とを基にして復元される変換映像データ１２を格納するバッファである。後述するように、変換映像データ１２は、制御部５５の復元部５５ｂによって復元される。

制御部５５は、受信部５５ａと、復元部５５ｂと、表示制御部５５ｃとを有する。制御部５５は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部５５は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

受信部５５ａは、配信装置１００から、ライブストリーミング配信されるデータ（映像データおよび差分データ）を受信する処理部である。受信部５５ａは、ライブストリーミング配信されるデータを、バッファ５４ａに格納する。

復元部５５ｂは、入力部５２を操作するユーザから、映像の変換要求を受け付けた場合、変換映像データ１２を復元する処理部である。復元部５５ｂは、復元した変換映像データ１２を、変換データバッファ５４ｂに格納する。復元部５５ｂは、バッファ５４ａに格納された映像データ１１の各画像フレームのうち、表示制御部５５ｃによって、表示部５３に出力されてない画像フレーム以降について、変換フレームを順次生成し、変換データバッファ５４ｂに変換フレームを格納する。

たとえば、映像データ１１の画像フレーム１１_ｎ－１が、表示制御部５５ｃによって表示部５３に出力された時点において、入力部５２を操作するユーザから、映像の変換要求を受け付けた場合について説明する。この場合、復元部５５ｂは、バッファ５４ａから、画像フレーム１１_ｎを取得する。また、復元部５５ｂは、画像フレーム１１_ｎのフレーム番号に対応する差分フレーム１３_ｎの差分画像座標、差分画像サイズ、差分画像を基にして、差分フレーム１３_ｎを復元する。

図８は、復元部の処理の一例を説明するための図である。復元部５５ｂは、画像フレーム１１_ｎと、復元した差分フレーム１３_ｎとを加算することで、変換フレーム１２_ｎを復元する。復元部５５ｂは、画像フレーム１１_ｎ＋１以降の画像フレームに対しても、差分フレーム１３_ｎ＋１以降の差分フレームを加算することで、変換フレーム１２_ｎ＋１以降の変換フレームを順次復元し、変換データバッファ５４ｂに格納する。

表示制御部５５ｃは、バッファ５４ａに格納された映像データを、フレーム番号の順に読み出して、表示部５３に出力する処理部である。表示制御部５５ｃは、入力部５２を操作するユーザから、映像の変換要求を受け付けた場合、変換データバッファ５４ｂに格納された変換フレームを順に読み出し、表示部５３に出力することで、変換映像データを表示させる。

次に、本実施例に係る配信装置１００の処理手順の一例について説明する。図９は、本実施例に係る配信装置の処理手順を示すフローチャートである。図９に示すように、配信装置１００の配信部１５４は、クライアント端末５０に対して、映像データの配信を開始する（ステップＳ１０１）。

配信装置１００の変換部１５２は、映像データに対して変換処理を実行し、変換映像データを生成する（ステップＳ１０２）。変換部１５２は、変換処理が終了していない場合には（ステップＳ１０３，Ｎｏ）、再度、ステップＳ１０２に移行する。

一方、変換部１５２による変換処理が終了している場合には（ステップＳ１０３，Ｙｅｓ）、配信装置１００の抽出部１５３は、映像データと変換映像データとを基にして、差分データを抽出する（ステップＳ１０４）。抽出部１５３は、抽出が完了していない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０４に移行する。

一方、抽出部１５３による抽出が完了している場合には（ステップＳ１０５，Ｙｅｓ）、配信部１５４は、差分データの配信を開始する（ステップＳ１０６）。配信部１５４は、映像データが終了した場合に、映像データおよび差分データの配信を停止する（ステップＳ１０７）。

次に、本実施例に係るクライアント端末５０ａの処理手順の一例について説明する。なお、クライアント端末５０ｂ、５０ｃの処理手順は、クライアント端末５０ａの処理手順と同様である。図１０は、本実施例に係るクライアント端末の処理手順を示すフローチャートである。図１０に示すように、クライアント端末５０ａの受信部５５ａは、映像データの受信を開始する（ステップＳ２０１）。また、受信部５５ａは、差分データの受信を開始する（ステップＳ２０２）。

クライアント端末５０ａの受信部５５ａは、映像データと差分データとの受信が完了していない場合には（ステップＳ２０３，Ｎｏ）、再度、ステップＳ２０３に移行する。

一方、受信部５５ａによって、映像データと差分データとの受信が完了した場合には（ステップＳ２０３，Ｙｅｓ）、クライアント端末５０ａの表示制御部５５ｃは、入力部５２から変換要求を受け付けたか否かを判定する（ステップＳ２０４）。

表示制御部５５ｃは、入力部５２から変換要求を受け付けていない場合には（ステップＳ２０４，Ｎｏ）、映像データを表示部５３に出力することで、映像データを表示させ（ステップＳ２０５）、ステップＳ２０８に移行する。

一方、入力部５２から変換要求を受け付けた場合には（ステップＳ２０４，Ｙｅｓ）、クライアント端末５０ａの復元部５５ｂは、映像データと差分データとを基にして、変換映像データを復元する（ステップＳ２０６）。

表示制御部５５ｃは、変換映像データを表示部５３に出力することで、変換映像データを表示させる（ステップＳ２０７）。表示制御部５５ｃは、映像データが終了した場合に、映像データまたは変換映像データの出力を停止する（ステップＳ２０８）。

次に、本実施例に係る配信システムの効果について説明する。配信装置１００は、映像データ１１をクライアント端末５０に配信する際に、変換処理を並行して実行し、映像データ１１と変換映像データ１２との差分データ１３を、映像データ１１と共に配信する。クライアント端末５０は、映像データ１１によって、映像を再生し、ユーザから、変換要求を受け付けた場合に、映像データ１１と、差分データ１３とを基にして、変換映像データ１２を復元し、復元した変換映像データを用いて、映像を再生する。これによって、ユーザ固有の変換処理を実行する場合に、システム全体の遅延時間を削減することができる。また、ユーザが、クライアント端末５０側で、差分データ１３のあり、無しの切り替えることもできる。

また、配信装置１００は、差分データ１３をクライアント端末５０に配信する場合に、差分データ１３の各差分フレームから、差分画像座標、差分画像サイズ、差分画像を抽出する。配信装置１００は、抽出した差分画像座標、差分画像サイズ、差分画像の組を、差分データとして、クライアント端末５０に配信することで、差分データのデータ量を削減することができる。

ところで、上述した配信装置１００の処理は一例であり、配信装置１００は他の処理を実行してもよい。図１１は、本実施例に係る配信装置のその他の構成を示す機能ブロック図である。図１１に示す配信装置２００は、図４に示した配信装置１００と比較して、制御部１５０に、推定部１５５を有する。

推定部１５５は、映像変換時間、映像通信時間、差分生成時間、差分通信時間、復元時間を推定する処理部である。映像変換時間は、「第１時間」に対応する。映像通信時間は、「第２時間」に対応する。差分生成時間、差分通信時間、復元時間は、「第３時間」に対応する。

映像変換時間は、変換部１５２が、映像データ１１を基にして変換映像データ１２を生成する時間を示すものである。たとえば、推定部１５５は、映像データ１１のデータ量と、このデータ量に要する変換部１５２の処理時間との関係を示す情報を保持しており、かかる情報と、映像データ１１のデータ量とから、映像変換時間を算出する。

映像通信時間は、配信対象のデータ（映像データあるいは変換映像データ）をクライアント端末５０に配信する際の通信時間を示すものである。たとえば、推定部１５５は、ネットワーク５の通信速度の情報を保持しており、かかる情報と、配信対象のデータ量とから、映像通信時間を算出する。

差分生成時間は、映像データ１１と変換映像データ１２とを基にして、差分データ１３を生成する時間を示すものである。推定部１５５は、映像データ１１および変換映像データ１２のデータ量と、このデータ量に要する抽出部１５３の処理時間との関係を示す情報を保持しており、かかる情報と、映像データ１１および変換映像データ１２のデータ量とから、差分生成時間を算出する。

差分通信時間は、差分データ１３をクライアント端末５０に配信する際の通信時間を示すものである。たとえば、推定部１５５は、ネットワーク５の通信速度の情報を保持しており、かかる情報と、差分データ１３のデータ量とから、差分通信時間を算出する。

復元時間は、クライアント端末５０が、映像データ１１と差分データ１３とを基にして変換映像データ１２を復元する時間を示すものである。たとえば、推定部１５５は、映像データ１１および差分データ１３のデータ量と、このデータ量に要する復元部５５ｂの復元時間との関係を示す情報を保持しており、かかる情報と、映像データ１１および差分データ１３のデータ量とから、復元時間を算出する。

図１２は、従来方式の遅延時間と本方式の遅延時間とを示す図である。図１２の横軸は、時間軸である。時刻ｔｓを、クライアント端末５０から、変換要求を受け付けた時刻とする。図１２では一例として、変換前の映像データ１１のデータ量と、変換映像データ１２のデータ量とが同一であるものとする。

従来方式では、クライアント端末５０から、変換要求を受け付けた場合に、映像データ１１を変換映像データ１２に変換する映像変換時間Ａと、変換映像データ１２を配信する映像通信時間Ｂが発生する。このため、従来方式の遅延時間Ｘは、式（１）に示される。

Ｘ＝Ａ＋Ｂ・・・（１）

一方、本方式では、映像データ１１を配信する処理（映像通信時間Ｂ）と、映像データ１１の変換処理（映像変換処理Ａ）、差分データ１３の抽出処理（差分作成時間Ｄ）、差分データ１３の配信処理（差分通信時間Ｅ）とを並行して行う。また、差分データは、クライアント端末５０で復元される（復元時間Ｆ）。このため、本方式の遅延時間Ｙは、式（２）によって示される。

Ｙ＝ｍａｘ（Ｂ、Ａ＋Ｄ＋Ｅ）＋Ｆ・・・（２）

推定部１５５は、Ｘ＞Ｙとなる場合に、本方式を採用すると判定し、変換部１５２、抽出部１５３、配信部１５４に上述した処理を実行させる。一方、推定部１５５は、Ｘ≦Ｙとなる場合に、従来方式を採用すると判定し、制御信号を、抽出部１５３、配信部１５４に出力することで、従来方式による処理を実行させる。

制御信号を受信した抽出部１５３は、差分データ１３を抽出する処理をスキップする。制御信号を受信した配信部１５４は、映像データ１１をクライアント端末５０に配信する処理を停止し、変換映像バッファ１４２に格納される変換映像データ１２を、クライアント端末５０に配信する。

上記のように、推定部１５５が、映像変換時間、映像通信時間、差分生成時間、差分通信時間、復元時間を推定し、本方式による配信を実行するか否かを判定することで、最適なデータ配信を実行することができる。たとえば、クライアント端末５０の性能が低く、復元時間Ｆが想定よりも大きい場合には、かかる状況を事前に予測し、従来方式に切り替えて、遅延時間を短縮することができる。

図１１の配信装置２００を用いて、配信装置１００の他の処理を説明したが、配信装置１００は、更に他の処理を実行してもよい。以下において、配信装置１００のその他の処理（１）、（２）について説明する。

配信装置１００のその他の処理（１）について説明する。上記の説明では、配信装置１００の抽出部１５３は、差分フレーム１３_ｎを基にして、差分画像座標、差分画像サイズ、差分画像を抽出し、フレーム番号と対応付けて、差分データテーブル１４３に登録する場合について説明したがこれに限定されるものではない。抽出部１５３は、差分フレーム１３_ｎをそのまま差分バッファ（図示略）に格納してもよい。すなわち、抽出部１５３は、差分データ１３を、差分バッファに格納する。

配信装置１００の配信部１５４は、映像バッファ１４１に格納された映像データ１１と、差分バッファに格納された差分データ１３とを、クライアント端末５０に配信する。

配信装置１００のその他の処理（２）について説明する。上記の説明では、変換部１５２は、映像データ１１に単一の変換処理を実行することで、一種類の変換映像データ１２を生成していたがこれに限定されるものではない。変換部１５２は、複数種類の変換処理を実行することで、複数種類の変換映像データを生成してもよい。

抽出部１５３は、複数種類の変換映像データそれぞれから、複数の差分データを抽出し、配信部１５４は、映像データ１１と共に、複数の差分データを、クライアント端末５０に配信する。

たとえば、変換部１５２は、映像データ１１に対して、第１、２、３の変換処理を実行して、変換映像データ１２Ａ，１２Ｂ，１２Ｃを生成する。抽出部１５３は、映像データ１１と、変換映像データ１２Ａから、差分データ１３Ａを抽出する。抽出部１５３は、映像データ１１と、変換映像データ１２Ｂから、差分データ１３Ｂを抽出する。抽出部１５３は、映像データ１１と、変換映像データ１２Ｃから、差分データ１３Ｃを抽出する。配信部１５４は、映像データ１１と、差分データ１３Ａ，１３Ｂ，１３Ｃとを、クライアント端末５０に配信する。

クライアント端末５０は、配信装置１００からの配信を受信し、映像データ１１を基にして、映像を再生する。クライアント端末５０は、ユーザによって、第１の変換要求を受け付けた場合には、映像データ１１と、差分データ１３Ａとを基にして、変換映像データ１２Ａを復元し、復元した変換映像データ１２Ａを再生する。

クライアント端末５０は、ユーザによって、第２の変換要求を受け付けた場合には、映像データ１１と、差分データ１３Ｂとを基にして、変換映像データ１２Ｂを復元し、復元した変換映像データ１２Ｂを再生する。

クライアント端末５０は、ユーザによって、第３の変換要求を受け付けた場合には、映像データ１１と、差分データ１３Ｃとを基にして、変換映像データ１２Ｃを復元し、復元した変換映像データ１２Ｃを再生する。

上記のように、配信装置１００は、複数種類の変換処理を実行することで、複数種類の変換映像データを生成し、映像データと各変換映像データとの各差分データを配信することで、ユーザが各種の変更要求のいずれかを選択する場合でも、遅延時間を削減することができる。

次に、上記実施例に示したクライアント端末５０、配信装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について順に説明する。

図１３は、クライアント端末と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。図１３に示すように、コンピュータ２００ａは、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３と、読み取り装置２０４とを有する。また、コンピュータ３００は、ネットワークを介して、配信装置１００等との間でデータの授受を行う通信装置２０５とを有する。コンピュータ２００ａは、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、受信プログラム２０７ａ、復元プログラム２０７ｂ、表示制御プログラム２０７ｃを有する。ＣＰＵ２０１は、受信プログラム２０７ａ、復元プログラム２０７ｂ、表示制御プログラム２０７ｃを読み出してＲＡＭ２０６に展開する。

受信プログラム２０７ａは、受信プロセス２０６ａとして機能する。復元プログラム２０７ｂは、復元プロセス２０６ｂとして機能する。表示制御プログラム２０７ｃは、表示制御プロセス２０６ｃとして機能する。

受信プロセス２０６ａの処理は、受信部５５ａの処理に対応する。復元プロセス２０６ｂの処理は、復元部５５ｂの処理に対応する。表示制御プロセス２０６ｃの処理は、表示制御部５５ｃの処理に対応する。

なお、各プログラム２０７ａ～２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００ａに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００ａが各プログラム２０７ａ～２０７ｃを読み出して実行するようにしてもよい。

図１４は、配信装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。図１４に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３と、読み取り装置３０４とを有する。また、コンピュータ３００は、ネットワークを介して、クライアント端末５０等との間でデータの授受を行う通信装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

ハードディスク装置３０７は、取得プログラム３０７ａ、変換プログラム３０７ｂ、抽出プログラム３０７ｃ、配信プログラム３０７ｄ、推定プログラム３０７ｅを有する。ＣＰＵ３０１は、取得プログラム３０７ａ、変換プログラム３０７ｂ、抽出プログラム３０７ｃ、配信プログラム３０７ｄ、推定プログラム３０７ｅを読み出してＲＡＭ３０６に展開する。

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。変換プログラム３０７ｂは、変換プロセス３０６ｂとして機能する。抽出プログラム３０７ｃは、抽出プロセス３０６ｃとして機能する。配信プログラム３０７ｄは、配信プロセス３０６ｄとして機能する。推定プログラム３０７ｅは、推定プロセス３０６ｅとして機能する。

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。変換プロセス３０６ｂの処理は、変換部１５２の処理に対応する。抽出プロセス３０６ｃの処理は、抽出部１５３の処理に対応する。配信プロセス３０６ｄの処理は、配信部１５４の処理に対応する。推定プロセス３０６ｅの処理は、推定部１５５の処理に対応する。

なお、各プログラム３０７ａ～３０７ｅについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｅを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）映像データに対して変換処理を実行することで、変換映像データを生成する変換部と、
前記映像データと、前記変換映像データとの差分データを抽出する抽出部と、
前記差分データが抽出されると、前記映像データと前記差分データとをクライアント端末に配信する配信部と
を有することを特徴とする配信装置。

（付記２）前記変換部が前記変換映像データを生成する処理と、前記配信部が前記映像データを前記クライアント端末に前記映像データを配信する処理は、並行して実行されることを特徴とする付記１に記載の配信装置。

（付記３）前記変換処理に要する時間を示す第１時間と、前記変換映像データを前記クライアント端末に配信する時間を示す第２時間と、前記差分データに関連する処理に要する時間を示す第３時間とを推定する推定部を更に有し、前記配信部は、前記第１時間、前記第２時間、前記第３時間を基にして、前記映像データと前記差分データとをクライアント端末に配信するか否かを判定することを特徴とする付記１または２に記載の配信装置。

（付記４）前記抽出部は、前記映像データのフレームと、前記変換映像データのフレームとの差分領域を特定し、前記差分領域の座標および前記差分領域のサイズを、前記差分データとして抽出することを特徴とする付記１、２または３に記載の配信装置。

（付記５）前記変換部は、前記映像データに対して複数種類の変換処理を実行することで、複数種類の変換データを生成し、前記抽出部は、前記複数種類の変換データそれぞれから、複数の差分データを抽出し、前記配信部は、前記映像データと、前記複数の差分データとを前記クライアント端末に配信することを特徴とする付記１～４のいずれか一つに記載の配信装置。

（付記６）配信装置とクライアント端末とを含む配信システムであって、
前記配信装置は、
映像データに対して変換処理を実行することで、変換映像データを生成する変換部と、
前記映像データと、前記変換映像データとの差分データを抽出する抽出部と、
前記差分データが抽出されると、前記映像データと前記差分データとを前記クライアント端末に配信する配信部とを有し、
前記クライアント端末は、
前記映像データと前記差分データとを受信する受信部と、
前記映像データと前記差分データとを基にして、前記変換映像データを復元する復元部と
を有することを特徴とする配信システム。

（付記７）前記復元部は、映像データの変換要求を受け付けた場合、前記変換映像データを復元し、前記変換要求を受け付けていない場合、前記変換映像データを復元する処理をスキップすることを特徴とする付記６に記載の配信システム。

（付記８）映像データに対して変換処理を実行することで生成される変換映像データと前記映像データとの差分データ、および、前記映像データを受信する受信部と、
前記映像データと前記差分データとを基にして、前記変換映像データを復元する復元部と
を有することを特徴とするクライアント端末。

（付記９）コンピュータに、
映像データに対して変換処理を実行することで、変換映像データを生成し、
前記映像データと、前記変換映像データとの差分データを抽出し、
前記差分データが抽出されると、前記映像データと前記差分データとをクライアント端末に配信する
処理を実行させることを特徴とする配信プログラム。

（付記１０）前記変換映像データを生成する処理と、前記映像データを前記クライアント端末に配信する処理は並行して実行されることを特徴とする付記９に記載の配信プログラム。

（付記１１）前記変換処理に要する時間を示す第１時間と、前記変換映像データを前記クライアント端末に配信する時間を示す第２時間と、前記差分データに関連する処理に要する時間を示す第３時間とを推定し、前記第１時間、前記第２時間、前記第３時間を基にして、前記映像データと前記差分データとをクライアント端末に配信するか否かを判定する処理を更に実行することを特徴とする付記９または１０に記載の配信プログラム。

（付記１２）前記抽出する処理は、前記映像データのフレームと、前記変換映像データのフレームとの差分領域を特定し、前記差分領域の座標および前記差分領域のサイズを、前記差分データとして抽出することを特徴とする付記９、１０または１１に記載の配信プログラム。

（付記１３）前記変換部する処理は、前記映像データに対して複数種類の変換処理を実行することで、複数種類の変換データを生成し、前記抽出する処理は、前記複数種類の変換データそれぞれから、複数の差分データを抽出し、前記配信する処理は、前記映像データと、前記複数の差分データとを前記クライアント端末に配信することを特徴とする付記９～１２のいずれか一つに記載の配信プログラム。

５ ネットワーク
５０ａ，５０ｂ，５０ｃ クライアント端末
５１，１１０ 通信部
５２，１２０ 入力部
５３，１３０ 表示部
５４，１４０ 記憶部
５４ａ バッファ
５４ｂ 変換データバッファ
５５、１５０ 制御部
５５ａ 受信部
５５ｂ 復元部
５５ｃ 表示制御部
６０ カメラ
１００ 配信装置
１４１ 映像バッファ
１４２ 変換映像バッファ
１４３ 差分データテーブル
１５１ 取得部
１５２ 変換部
１５３ 抽出部
１５４ 配信部
１５５ 推定部

Claims (7)

1. 映像データに対して変換処理を実行することで、変換映像データを生成する変換部と、
   前記映像データと、前記変換映像データとの差分データを抽出する抽出部と、
   前記変換処理に要する時間を示す第１時間と、前記変換映像データをクライアント端末に配信する時間を示す第２時間と、前記差分データに関連する処理に要する時間を示す第３時間とを推定する推定部と、
   前記第１時間、前記第２時間、前記第３時間を基にして、前記映像データと前記差分データとを前記クライアント端末に配信するか否かを判定し、判定結果を基にして、前記映像データと前記差分データとを前記クライアント端末に配信する配信部と
   を有することを特徴とする配信装置。
2. 前記変換部が前記変換映像データを生成する処理と、前記配信部が前記映像データを前記クライアント端末に前記映像データを配信する処理は、並行して実行されることを特徴とする請求項１に記載の配信装置。
3. 前記抽出部は、前記映像データのフレームと、前記変換映像データのフレームとの差分領域を特定し、前記差分領域の座標および前記差分領域のサイズを、前記差分データとして抽出することを特徴とする請求項１または２に記載の配信装置。
4. 前記変換部は、前記映像データに対して複数種類の変換処理を実行することで、複数種類の変換データを生成し、前記抽出部は、前記複数種類の変換データそれぞれから、複数の差分データを抽出し、前記配信部は、前記映像データと、前記複数の差分データとを前記クライアント端末に配信することを特徴とする請求項１、２または３に記載の配信装置。
5. 配信装置とクライアント端末とを含む配信システムであって、
   前記配信装置は、
   映像データに対して変換処理を実行することで、変換映像データを生成する変換部と、
   前記映像データと、前記変換映像データとの差分データを抽出する抽出部と、
   前記変換処理に要する時間を示す第１時間と、前記変換映像データを前記クライアント端末に配信する時間を示す第２時間と、前記差分データに関連する処理に要する時間を示す第３時間とを推定する推定部と、
   前記第１時間、前記第２時間、前記第３時間を基にして、前記映像データと前記差分データとを前記クライアント端末に配信するか否かを判定し、判定結果を基にして、前記映像データと前記差分データとを前記クライアント端末に配信する配信部とを有し、
   前記クライアント端末は、
   前記映像データと前記差分データとを受信する受信部と、
   前記映像データと前記差分データとを基にして、前記変換映像データを復元する復元部と
   を有することを特徴とする配信システム。
6. 前記復元部は、映像データの変換要求を受け付けた場合、前記変換映像データを復元し、前記変換要求を受け付けていない場合、前記変換映像データを復元する処理をスキップすることを特徴とする請求項５に記載の配信システム。
7. コンピュータに、
   映像データに対して変換処理を実行することで、変換映像データを生成し、
   前記映像データと、前記変換映像データとの差分データを抽出し、
   前記変換処理に要する時間を示す第１時間と、前記変換映像データをクライアント端末に配信する時間を示す第２時間と、前記差分データに関連する処理に要する時間を示す第３時間とを推定し、
   前記第１時間、前記第２時間、前記第３時間を基にして、前記映像データと前記差分データとを前記クライアント端末に配信するか否かを判定し、
   判定結果を基にして、前記映像データと前記差分データとを前記クライアント端末に配信する
   処理を実行させることを特徴とする配信プログラム。

Images