JP7382689B1 - ストリーミング配信システム、配信サーバおよび撮影者端末 - Google Patents

Abstract

ストリーミング配信を行う際のアーカイブ記録を、通信環境の悪い環境下でも高品質で行うことが可能な配信サーバ、撮影者端末およびストリーミング配信システムを提供する。撮影者端末は、撮像した動画を複数解像度にて動画データ記録部に記録し、ストリーミング配信サーバとの通信速度に応じて最適な解像度の動画データをストリーミング送信する。配信サーバは受信した動画データを視聴者端末にストリーミング配信しながら動画データをアーカイブ記録部に保存する。ストリーミング配信終了後に、ストリーミング配信サーバあるいは撮影者端末にてストリーミング送信した動画データの解像度が最大でなかった時間帯を検出し、撮影者端末に当該時間帯についての最大解像度のデータを送信するよう要求する。撮影者端末は要求された時間帯および解像度の動画データをアップロード送信し、配信サーバはアップロード送信された動画データをアーカイブ記録部に保存する。

Description

本発明は、撮影者端末からの動画像を中継して、複数の視聴者端末にライブストリーミング放送を配信するストリーミング配信システム、配信サーバおよび撮影者端末に関する。

近年、携帯電話網等のネットワーク環境の充実や撮像装置の普及により、用いる端末の機種や場所を問わずに誰もが動画像によるストリーミング配信を行うことが可能になっている。特にオンラインのビデオ会議システムの発達により、オンラインのビデオ会議システムを用いて、互いに遠隔でネットワークで接続された複数の端末からの撮像動画を中継してストリーミング配信を行うオンライントーク配信やオンラインレッスンなどが行われている。また、ストリーミング配信にリアルタイムに参加できない視聴者へのオンデマンド配信あるいはストリーミング配信時の動画を利用したコンテンツ作成のためにストリーミング配信された動画データを配信サーバにてアーカイブ蓄積することが行われている。

特許文献１には、撮像した動画像データをストリーミング送信する記録装置において、ユーザからの動画像データの継続的な記録の指示によって動画像データを記録し、記録終了の指示によって当該継続的に記録された動画像データをストリーミング送信とは異なる転送方式にて送信することが開示されている。

特許文献２には、撮像した動画像データを撮影中リアルタイムに受信装置へ送信する送信装置において、リアルタイム送信時には回線状態に応じて低画質のＭＰＥＧデータと高画質のＭＰＥＧデータのいずれかを選択して送信し、撮影終了後に低画質のＭＰＥＧデータが送信された箇所について高画質のＭＰＥＧデータを追加送信し、受信装置は撮影中と撮影後に受信したＭＰＥＧデータをマージして高画質の動画像データを記録し、事後的に視聴するための高画質の動画像データが記録されることが開示されている。

なお、「ストリーミング送信」と「リアルタイム送信」は、上記先行技術である特許文献にそれぞれ記載の通りに示すもので、本明細書中では「撮影者の端末で撮影している動画を即時に、配信サーバを介して視聴者への端末へ配信すること」を意味するもので同じ意味の用語である。

特許６１０２６４７号公報 特開２００７－２７４４４３号公報

特許文献１に記載の技術では、ストリーミング送信をしながら別途指定された期間について高画質の動画データをＦＴＰ送信することができる。しかしながら、送信される高画質の動画データは、ユーザによって継続的な記録の指示による一部の時間範囲のみの動画データであり、事後的に視聴するためのアーカイブ動画を作成するには不十分である。

特許文献２に記載の技術では、リアルタイム伝送時に通信状態に応じた品質の動画データを送信し、リアルタイム伝送後に高画質にて送信できなかったフレームについて事後的にサーバに送信する。そのため、高画質のアーカイブ蓄積動画データしかサーバ内に記録されない。

特許文献２にあるように、ストリーミング配信サーバで蓄積された動画は、事後的な視聴に利用される。このとき視聴者の端末とストリーミング配信サーバとの間の通信回線の状態が高画質の動画データを送信するのに不十分である場合に、視聴者の端末側での視聴が停止したり、画像が乱れたりする問題が生じていた。

これを解決する方法として、高画質の動画データから低画質の動画データを生成するコンバートの手法が知られている。サーバに蓄積された高画質の動画データから低解像度の動画データの生成、いわゆるコンバート処理によって複数解像度の蓄積動画データを生成することが行われている。

ストリーミングの配信中において、視聴者端末と配信サーバの間の通信状態が悪く、かつ配信サーバ側に低解像度の動画データがサーバにないときに、低動画解像度の動画データを都度一定時間帯ごとに生成しながらストリーミングを送信する。コンバート処理は配信サーバの処理負荷が大きく、またバッファに一旦動画データの一部を蓄積し、それを読み込んで変換処理を行ったのちに送信するため、撮影者端末から視聴者端末までのストリーミング配信の時間に数秒程度のタイムラグが生じることが知られている。

さらにこの課題を解決するために、配信サーバに蓄積された高画像のアーカイブ動画データから、コンバート処理によって低画像のアーカイブ動画データを作成することが行うことが考えられる。しかしながら、撮影者端末が多数存在してストリーミング配信が同時に複数行なわれた場合、コンバート処理も同時に多数発生する。動画データのコンバート処理には必要とされるメモリおよびCPUのスペックは高いものが要求されるため、コンバート処理が多数発生した場合、サーバの負荷が大きく、それに対応可能なサーバを用意するにはコストが高くなるという問題点があった。
本発明者は、ネットワーク上に分散する複数の動画像配信者が参加するようなオンライントーク配信やオンラインレッスンなどのライブストリーミング配信を、従来のシステムで行う場合、サーバにて最適なアーカイブ動画の保存を行うことについて新規の課題を見出した。

このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

本発明の一実施の形態によれば、下記の通りである。

本発明に係るストリーミング配信システムは、通信回線を介して互いに接続された撮影者端末と配信サーバとを含むストリーミング配信システムであって、撮影者端末は、
撮像した動画から動画データを生成する動画撮像部と、動画データを所定の時間帯ごとに複数の解像度で記録する動画データ記録部と、配信サーバへストリーミング送信する通信回線の伝送レートを測定する測定部と、測定された伝送レートの範囲内でストリーミング送信可能な解像度の組み合わせを所定の時間ごとに複数の解像度から決定するストリーミング送信決定部と、当該決定された解像度の組み合わせの動画データを配信サーバへストリーミング送信するストリーミング送信部と、ストリーミング送信後に、配信サーバからのアップロード要求を受け付けるアップロード要求受信部と、アップロード要求にしたがって、動画データ記録部からアップロード要求で指定された時間帯および解像度の動画データを配信サーバへアップロード送信するアップロード送信部と、を備え、配信サーバは、撮影者端末からストリーミング送信された動画データを受信するストリーミング受信部と、受信した動画データの少なくとも一部を視聴者端末へストリーミング配信するストリーミング配信部と、受信した動画データを時間帯と解像度ごとに記録するアーカイブ記録部と、ストリーミング配信後に、アーカイブ記録部内の動画データのうち、複数の解像度のぞれぞれで欠落している時間帯を検出し、当該検出された時間帯と解像度の動画データを送信するよう要求するアップロード要求を、撮影者端末に送信するアップロード要求部と、撮影者端末からアップロード送信された動画データを受信し、アーカイブ記録部に記録するアップロード動画受信部と、を備えることを特徴とする。

本発明に係る撮影者端末は、撮像した動画から動画データを生成する動画撮像部と、動画データを所定の時間帯ごとに複数の解像度で記録する動画データ記録部と、配信サーバへストリーミング送信する通信回線の伝送レートを測定する測定部と、測定された伝送レートの範囲内でストリーミング送信可能な解像度の組み合わせを所定の時間ごとに複数の解像度から決定するストリーミング送信決定部と、当該決定された解像度の組み合わせの動画データを配信サーバへストリーミング送信するストリーミング送信部と、ストリーミング送信後に、配信サーバからのアップロード要求を受け付けるアップロード要求受信部と、動画データ記録部の複数解像度の動画データのうち、アップロード要求によって指定された時間帯と解像度の動画データを配信サーバに送信するアップロード送信部と、
を備えることを特徴とする。

本発明に係る配信サーバは、撮影者端末からストリーミング送信された１または複数の解像度の動画データを受信するストリーミング受信部と、受信した動画データの少なくとも一部を視聴者端末にストリーミング配信するストリーミング配信部と、受信した動画データを所定の時間帯と解像度ごとに記録するアーカイブ記憶部と、ストリーミング配信後に、アーカイブ記録部内の動画データのうち、複数の解像度のぞれぞれで欠落している時間帯を検出し、当該検出された時間帯および解像度の動画データを送信するよう要求するアップロード要求を、撮影者端末に送信するアップロード要求部と、撮影者端末からアップロード送信された動画データを受信し、アーカイブ記録部に記録するアップロード動画受信部と、を備えることを特徴とする。

本発明に係る配信サーバは、視聴者端末との間の通信回線の伝送レートを測定し、測定された伝送レートの範囲内でストリーミング送信可能な最大の解像度を決定し、視聴者端末にアーカイブ記録部内の決定された解像度の動画データを送信するアーカイブ送信部をさらに備えることを特徴とする。

前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。

本実施形態の配信サーバは、通信回線で接続された配信者端末からのストリーミングコンテンツ配信時に、複数解像度のアーカイブ蓄積動画データを受信、配信および記録することができる。これにより、従来配信サーバで行っていた高画質動画から低画質動画へのコンバート処理を行う必要がなく、タイムラグの少ないストリーミング送信が可能であり、またサーバへの負荷が少なく複数解像度のアーカイブ蓄積動画データを記録することができるようになる。

図１は、実施形態１に係る配信サーバと、それを用いたストリーミングコンテンツ配信システムの機器構成の一例を示す模式図である。 図２は、動画データ記録部２２に記録される動画像データの構成の一例を示す模式図である。 図３は、伝送レートと動画データのフレーム、ＧＯＰ、解像度フラグデータの関係を示す図である。 図４は、ストリーミング送信部２５から送信される動画データの構成の一例を示す模式図である。 図５は、ストリーミング配信終了時における、アーカイブ記録部１３に記録された動画データの構成の一例を示す模式図である。 図６は、撮影者端末２０のストリーミング配信時の動作フローチャートである。 図７は、配信サーバ１０のストリーミング配信時およびストリーミング終了後の動作フローチャートである。 図８は、撮影者端末２０のアーカイブ動画データ送信時の動作フローチャートである。 図９は、配信サーバ１０のアーカイブ動画データの蓄積時の動作フローチャートである。

１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕＜アーカイブ記録部を備えたストリーミング配信システム＞
本発明の代表的な実施の形態は、通信回線を介して互いに接続された撮影者端末（２０）と配信サーバ（１０）とを含むストリーミング配信システムであって、以下の各構成を備える。
次の構成からなる撮影者端末（２０）。
撮像した動画から動画データを生成する動画撮像部（２１）、
動画データを所定の時間帯ごとに複数の解像度で記録する動画データ記録部（２２）、
配信サーバ（１０）へストリーミング送信する通信回線の伝送レートを測定する測定部（２３）、
測定された伝送レートの範囲内でストリーミング送信可能な解像度の組み合わせを所定の時間ごとに前記複数の解像度から決定するストリーミング送信決定部（２４）、
当該決定された解像度の組み合わせの動画データを配信サーバ（１０）へストリーミング送信するストリーミング送信部（２５）、
ストリーミング送信後に、配信サーバ（１０）からのアップロード要求を受け付けるアップロード要求受信部（２６）、
アップロード要求にしたがって、動画データ記録部（２２）からアップロード要求で指定された時間帯および解像度の動画データを配信サーバ（１０）へアップロード送信するアップロード送信部。
次の構成からなる配信サーバ（１０）。
撮影者端末（２０）からストリーミング送信された動画データを受信するストリーミング受信部（１１）、
受信した動画データの少なくとも一部を視聴者端末（３０）へストリーミング配信するストリーミング配信部（１２）、
受信した動画データを時間帯と解像度ごとに記録するアーカイブ記録部（１３）、
ストリーミング配信後に、アーカイブ記録部（１３）内の動画データのうち、複数の解像度のぞれぞれで欠落している時間帯を検出し、当該検出された時間帯と解像度の動画データを送信するよう要求するアップロード要求を、撮影者端末（２０）に送信するアップロード要求部（１４）、
撮影者端末（２０）からアップロード送信された動画データを受信し、アーカイブ記録部（１３）に記録するアップロード動画受信部（１５）。

ここで撮影者端末（２０）とは、撮像装置を有する端末装置を指す。具体的にはスマートフォンや携帯電話、ノートパソコンなどの撮像装置が端末装置と一体となった機器はもちろん、ネットワーク通信機能を備えたデジタルカメラやデジタルカメラが接続されたパソコン端末を含む意味である。また、通信回線とは、撮影者端末（２０）と配信サーバ（１０）を相互に通信可能に接続するものであり、例えばインターネットあるいは携帯電話網などを指し、その通信は有線通信でも無線通信であってもよい。

これにより、通信回線で接続された複数の配信者動画からストリーミング配信を行う際に、配信サーバでのコンバート処理を行うことないため、ストリーミング配信時の配信サーバから視聴者端末への配信の差異のタイムラグを少なくすることができ、また、配信サーバのＣＰＵおよび記憶装置への負荷をすることができるため、複数解像度のアーカイブ動画データを記録する配信サーバを低コストで実現することができる。

〔２〕＜撮影者端末（２０）＞
以下の構成を備える撮影者端末（２０）。
撮像した動画から動画データを生成する動画撮像部（２１）、
動画データを所定の時間帯ごとに複数の解像度で記録する動画データ記録部（２２）、
配信サーバ（１０）へストリーミング送信する通信回線の伝送レートを測定する測定部（２３）、
測定された伝送レートの範囲内でストリーミング送信可能な解像度の組み合わせを所定の時間ごとに複数の解像度から決定するストリーミング送信決定部（２４）、
当該決定された解像度の組み合わせの動画データを配信サーバ（１０）へストリーミング送信するストリーミング送信部（２５）、
ストリーミング送信後に、配信サーバ（１０）からのアップロード要求を受け付けるアップロード要求受信部（２６）、
動画データ記録部（２２）の複数解像度の動画データのうち、アップロード要求によって指定された時間帯と解像度の動画データを配信サーバ（１０）に送信するアップロード送信部。

これにより、通信回線で接続された複数の配信者動画からストリーミング配信を行う際に、配信サーバでのコンバート処理を行うことないため、ストリーミング配信時の配信サーバから視聴者端末への配信の差異のタイムラグを少なくすることができ、また、配信サーバのＣＰＵおよび記憶装置への負荷をすることができるため、複数解像度のアーカイブ動画データを記録する配信サーバを低コストで実現することができる。

これにより、通信回線で接続された複数の配信者動画からストリーミング配信を行う際に、サーバでのコンバート処理を行うことなく、サーバへの負荷が少なく、低コストで複数解像度のアーカイブ動画データをサーバ上に記録することができる。

〔３〕＜配信サーバ（１０）＞
以下の構成を備える配信サーバ（１０）。
撮影者端末（２０）からストリーミング送信された１または複数の解像度の動画データを受信するストリーミング受信部（１１）、
受信した動画データの少なくとも一部を視聴者端末（３０）にストリーミング配信するストリーミング配信部（１２）、
受信した動画データを所定の時間帯と解像度ごとに 記録するアーカイブ記憶部、
ストリーミング配信後に、アーカイブ記録部（１３）内の動画データのうち、複数の解像度のぞれぞれで欠落している時間帯を検出し、当該検出された時間帯および解像度の動画データを送信するよう要求するアップロード要求を、撮影者端末（２０）に送信するアップロード要求部（１４）、
撮影者端末（２０）からアップロード送信された動画データを受信し、アーカイブ記録部（１３）に記録するアップロード動画受信部（１５）。

これにより、通信回線で接続された複数の配信者動画からストリーミング配信を行う際に、サーバでのコンバート処理を行うことなく、サーバへの負荷が少なく、低コストで複数解像度のアーカイブ動画データをサーバ上に記録することができる。

〔４〕＜視聴者端末（３０）への配信＞
〔１〕から〔３〕に記載の配信サーバ（１０）はさらに以下の構成を備える。
視聴者端末（３０）との間の通信回線の伝送レートを測定し、測定された伝送レートの範囲内でストリーミング送信可能な最大の解像度を決定し、視聴者端末（３０）にアーカイブ記録部（１３）内の決定された解像度の動画データを送信するアーカイブ送信部（１６）。

これにより、視聴者端末が配信サーバ内のアーカイブ蓄積動画データを視聴する際に、配信サーバと視聴者端末との間の通信回線の状態に応じた最適な解像度によってアーカイブ視聴することができる配信サーバを提供できる。
­ ２．実施の形態の詳細
実施の形態について更に詳述する。

〔実施形態１〕
図１は、実施形態１に係る配信サーバを含む、ストリーミング配信システムの構成例を示すブロック図である。

図１に示すように、ストリーミング配信システム１は、通信回線４０を介して接続された撮影者端末２０、配信サーバ１０および視聴者端末３０から構成される。実際には１つの配信サーバ１０に対して撮影者端末２０および視聴者端末３０がそれぞれ複数接続されているが、ここでは説明の便宜のため配信サーバ１０と視聴者端末３０が１台ずつ配信サーバ１０に接続された構成として説明する。通信回線４０は、例えばインターネットあるいは携帯電話網などを指し、その通信は有線通信でも無線通信であってもよい。
＜配信サーバの構成＞
図１に示す配信サーバ１０は、ストリーミング受信部１１と、ストリーミング配信部１２と、アーカイブ記録部１３と、アップロード要求部１４と、アップロード動画受信部１５と、アーカイブ送信部１６とを備える。より具体的には、配信サーバ１０はインターネットなどの通信回線に接続するためのインターフェースをストリーミング受信部１１、ストリーミング配信部１２、アップロード要求部１４、アップロード動画受信部１５に備えたサーバであればよく、好適にはクラウドサーバーを使って実現される。このとき、ストリーミング受信部１１等の各機能部はクラウドサーバーを構成するコンピュータ上でプログラム（ソフトウェア）を動作させることによって、求められる機能が実現されるとよい。

ストリーミング受信部１１は、通信回線４０を介して複数の撮影者端末２０からストリーミング配信動画データを受信する。ストリーミング受信部１１は、複数の撮影者端末２０からストリーミング配信動画を同時にかつ独立して受信することが可能に構成されている。

ストリーミング配信部１２は、ストリーミング受信部１１よって受信したストリーミング配信動画データを、通信回線４０を介して視聴者端末３０に配信する。ストリーミング配信部１２は図示しないバッファ部を備え、所定時間ごとに数秒から数十秒の長さとなるようにバッファ部内に一時記録し、バッファ部内の一時記録した動画データを随時視聴者端末３０に配信する。ストリーミング配信動画データは、撮影者端末２０によって既存の画像圧縮方式によって符号化されている。画像圧縮形式は、ＭＰＥＧ２、ＭＰＥＧ４、Ｍｏｔｉｏｎ ＪＰＥＧなどがあるが、ここではＭＰＥＧ２によるものとする。また、ストリーミング配信動画データは複数解像度の動画データからなり、含まれる動画データの解像度を示す解像度フラグデータを含む。ストリーミング配信部１２は、図示しない測定部により視聴者端末３０との間の通信回線の伝送レートを測定し、撮影者端末２０から受信したストリーミング配信動画データに含まれる解像度のうち伝送レートに適した解像度を選択し、視聴者端末３０へストリーミング配信を行う。

アーカイブ記録部１３は、ストリーミング受信部１１によって受信したストリーミング配信動画データを記録媒体に記録する。ストリーミング受信部１１によって受信したストリーミング配信動画データは、リアルタイムでストリーミング配信部１２を介して視聴者端末３０に配信され、アーカイブ記録部１３によるストリーミング配信動画データの記録はストリーミング配信と並行して同時に行われる。ストリーミング配信動画データには１つあるいは複数解像度の動画データが含まれるため、解像度ごとに記録され、所定時間ごとに区切って保存される。あるいは随時追記しながら１つのファイルとして保存してもよい。アーカイブ記録部に記録される動画データには前述した解像度フラグデータを含む。

アップロード要求部１４は、アーカイブ記録部１３に記録された動画データについて撮影者端末２０から未送信である時間帯および解像度の動画データを判別し、当該時間帯と解像度の動画データを送信するよう要求するアップロード要求を撮影者端末２０に送信する。判別にはアーカイブ記録部１３に記録された解像度フラグデータを参照する。解像度フラグデータによる判別方法については後述する。

アップロード動画受信部１５は、アップロード要求にしたがって撮影者端末２０からアップロード送信された動画データをアーカイブ記録部１３に記録する。すでにアーカイブ記録部１３に記録されている動画データとマージすることにより、すべての時間帯および所定の解像度のすべてについての動画データがアーカイブ記録部１３に記録される。

アーカイブ送信部１６は、視聴者端末３０からの要求に応じてアーカイブ記録部１３の動画データを視聴者端末３０へ配信する。配信はストリーミング配信後であり、ストリーミング配信動画データのアーカイブをいわゆるオンデマンド配信にて提供するものである。このときアーカイブ記録部１３は時間帯ごとに複数の解像度の動画データを有しており、アーカイブ送信部１６は視聴者端末３０との間の通信回線の通信レートに応じて最適な時間帯および解像度の動画データを選択し、送信する。
＜撮影者端末の構成＞
図１に示す撮影者端末２０は、動画撮像部２１と、動画データ記録部２２と、測定部２３と、ストリーミング送信決定部２４と、ストリーミング送信部２５と、アップロード要求受信部２６と、アップロード送信部２７とを備える。より具体的には、撮影者端末２０は、インターネットなどの通信回線に接続するためのインターフェースを測定部２３、ストリーミング送信部２５、アップロード要求受信部２６、アップロード送信部２７に備え、動画撮像部２１にカメラを備えた端末であればよく、例えばスマートフォンやタブレット、通信機能を有するデジタルカメラ、ノートパソコンなどが好適である。このとき、動画撮像部２１等の各機能部はスマートフォン等の端末上でプログラム（ソフトウェア）を動作させることによって、求められる機能が実現されるとよい。

動画撮像部２１は、レンズ、撮像素子を備え、動画像を撮像し、撮像した動画像をデジタルデータに変換する。動画撮像部２１は、図示しないＭＰＥＧエンコーダを備え、動画像のデジタルデータを圧縮符号化して動画像データを生成する。ＭＰＥＧエンコーダは、複数解像度の動画像データを出力する。複数の解像度とは具体的には、例えば低画質のＳＤ（画素数８５４×４８０）、標準画質のＨＤ（画素数１２８０×７２０）、高画質のフルＨＤ（画素数１９８０×１０８０）の３段階の解像度である。これに限らず解像度の段階数は少なくても大きくてもよく、解像度は上記の規格に制限されず別の規格あるいは任意の解像度でもよい。動画撮像部２１は、生成された動画像データを動画データ記録部２２およびストリーミング送信部２５に送信する。

動画データ記録部２２は、動画撮像部２１より送信された動画像データを記録媒体に記録する。動画像データは前述の通り複数の解像度で生成されており、解像度ごとに記録され、所定時間ごとに区切って保存される。または随時追記しながら１つのファイルとして保存されてもよい。

測定部２３は、配信サーバ１０との間の通信回線４０の伝送レートを計測する。伝送レートの計測は、例えば配信サーバ１０から所定時間ごとに送信されるＡＣＫ信号に基づいて計算される。ＡＣＫ信号は、配信サーバ１０から動画像データを正しく受信したことへの確認応答であり、例えば撮影者端末２０から動画像データを送信した時刻と、ＡＣＫ信号の受信時刻の差分情報などに基づいて演算することができる。

ストリーミング送信決定部２４は、測定部２３によって求めた伝送レートに基づいて配信サーバ１０へ送信する動画像データの解像度の組み合わせを決定する。ストリーミング送信決定部２４は、決定された解像度の組み合わせにより解像度フラグデータを生成し、ストリーミング送信部２５へ送信する。解像度フラグデータの詳細については後述する。

ストリーミング送信部２５は、ストリーミング送信決定部２４で決定された解像度フラグデータに基づいて動画撮像部２１から受信した動画像データのうち、指定された解像度の動画像データを、解像度フラグデータを付与して配信サーバ１０へ送信する。

アップロード要求受信部２６は、ストリーミング配信後に配信サーバ１０から送信されるアップロード要求を受け付ける。アップロード要求は、配信サーバ１０でストリーミング配信動画のアーカイブ記録をするために必要な動画データについて撮影者端末２０へ送信を要求する動画像データの時間帯と解像度を指示するデータである。詳細については後述する。

アップロード送信部２７は、アップロード要求受信部２６にて受信したアップロード要求にしたがって、動画データ記録部２２内の動画像データの中から指定された時間帯および解像度の動画像データを配信サーバ１０に送信する。
＜撮影者端末で保存される動画像データ＞
図２は、撮影者端末２０の動画データ記録部２２に記録される動画像データの構成を示す。図２の水平方向は時間軸を示し、a～cは各解像度の動画データの構成を示す。aからcの順に、フルＨＤ、ＨＤ、ＳＤの動画像データを表している。各解像度の動画データは連続するフレームから構成され、フレーム番号は動画データの先頭からの時間軸におけるフレーム数を示す。各解像度動画データにおけるフレーム番号が同一のフレームは、同一画像を表す解像度が異なるフレームである。
図２の破線で囲まれた複数のフレームはＭＰＥＧ２におけるフレーム間圧縮の単位であるＧＯＰを示す。図２で示すようにＧＯＰは、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される。Ｉフレームはフレーム内の画素データのみを使用して、他のフレームとは独立して圧縮符号化（フレーム内符号化）されるフレームである。Ｐフレームは、時間的に前に存在するフレームとの相関性を利用するフレーム間予測によって圧縮符号化されるフレームであ。Ｂフレームは、時間的に前と後のフレームとの相関性を利用するフレーム間予測によって圧縮符号化されるフレームである。本実施例では６枚を１組のＧＯＰ単位として、伝送状態の変化に対応して送信する解像度を切り替える。ＧＯＰの単位としては６枚に限られず１５枚などＧＯＰ内に少なくとも先頭に１つのIフレームを含む限り任意の枚数でよい。図２のＧＯＰ番号は、各動画内のＧＯＰの動画データの先頭からの時間軸におけるＧＯＰ数を示す。
＜解像度フラグデータ＞
図３は、測定部２３で測定される伝送レートおよびストリーミング送信決定部２４で決定される解像度フラグデータの構成を示す。横軸は経過時間を示し、本実施例においては時間経過をフレームあるいはＧＯＰ単位で示している。測定部２３による伝送レートの測定は所定の時間単位で行われ、解像度フラグデータは１ＧＯＰあるいはＧＯＰの倍数の間隔で決定される。つまりストリーミング送信決定部２４で送信される動画像データの解像度の組み合わせの変化はＧＯＰの整数倍単位で行われる。図３の伝送レートは測定部２３で計測される伝送レートの変化を表し、ａはフレーム番号、ｂは経過時間によって付与されるＧＯＰ番号、ｃは解像度フラグデータを示す。

図３の例では伝送レートが状態Ａ、Ｄ、Ｃ、Ｂ、Ａと変化している状態を示す。状態Aは最も良い状態であり、状態Ｄに悪化し、状態ＣからＢへと状態が回復している。状態Ａではすべての解像度の動画像データを送信可能である。状態Ｂは最も悪い状態で最低解像度のＳＤの動画像データのみが送信可能な状態である。状態Ｃでは、状態Ｂより改善し、解像度がＳＤとＨＤの動画像データが送信可能であり、状態Ｄではさらに改善してフルＨＤとＨＤの解像度の動画像データが送信可能な状態である。

解像度フラグデータは、３桁の２進数で表され、左の桁から順にフルＨＤ、ＨＤ、ＳＤの送信状態を示す。各桁が１の時は対応する解像度の動画像データが送信可能であることを示す。したがって状態Ａにおいては、解像度フラグデータは１１１、状態Ｂでは００１、状態Ｃでは０１１、状態Ｄでは１１０となる。解像度フラグデータはＧＯＰ番号と関連付けられて、つまり図３のbとcの組み合わせでストリーミング送信部２５に送信される。
＜ストリーミング送信データ＞
図４は、ストリーミング送信部２５から送信される動画像データの構成を示す。ストリーミング送信部２５は、ストリーミング送信決定部２４から受信した解像度フラグデータに基づいて配信サーバ１０に動画像データを送信する。ここでは図３に示した解像度フラグデータに基づいて決定されたストリーミング送信動画像データにおける例を示す。ＧＯＰ番号１では解像度フラグデータが１１１であるので、すべての解像度の動画像データを送信可能であり、ストリーミング送信部２５は、動画撮像部２１から受信した動画像データのすべての解像度の動画像データがストリーミング送信データに含まれる。このとき解像度フラグデータおよびＧＯＰ番号を合わせて送信する。以後は状態Ｂ、Ｃ、Ｄについても同様に解像度フラグデータに指定された解像度の動画データの組み合わせにてストリーミング送信データを含み、解像度フラグデータおよびＧＯＰ番号と合わせてストリーミング送信データが構成される。
図５は配信サーバ１０のアーカイブ記録部１３に保存される動画像データの構成について示す。動画像データをストリーミング受信部１１にて受信してアーカイブ記録部１３に記録したものであり、図４と同様の構成となる。
＜動作＞
図６ないし図９を参照して、配信サーバ１０および撮影者端末２０の全体動作を説明する。図６および図８は撮影者端末２０の動作フローチャートであり、図６はストリーミング配信中の動作を、図８はストリーミング配信後の動作を示す。図７および図９は、配信サーバ１０の動作フローチャートであり、図７はストリーミング配信中の動作を、図９はストリーミング配信後の動作を示す。

撮影者端末２０に対してユーザがストリーミング配信を行う旨の指示を行うと、撮影者端末２０から配信サーバ１０に通知され、配信サーバ１０はストリーミング配信開始が可能である旨の準備ができたことを撮影者端末２０に通知し、ユーザは撮像ボタンを押して撮影を開始する（Ｓ１０）。撮像が開始されると、動画撮像部２１は、撮像した動画像をデジタルデータに変換する。動画撮像部２１は、ＭＰＥＧエンコーダにより動画像のデジタルデータを圧縮符号化して複数解像度の動画像データを生成し、生成した動画像データを順次動画データ記録部２２およびストリーミング送信部２５に送信する（Ｓ１１）。複数の解像度とは具体的には、低画質のＳＤ（画素数８５４×４８０）、標準画質のＨＤ（画素数１２８０×７２０）、高画質のフルＨＤ（画素数１９８０×１０８０）の３段階の解像度である。

動画データ記録部２２は、動画撮像部２１から送信された動画像データを記録する（Ｓ１２）。動画像データ記録部２２に記録される動画像データの構成は図２を用いて前述した説明の通りであり、解像度ごとに保存され、ストリーミング配信中に随時動画データ記録部２２から送られる動画像データを記録する。

測定部２３は、配信サーバ１０との間の通信回線４０の伝送レートを計測し、計測した伝送レートをストリーミング送信決定部２４に通知する（Ｓ１３）。伝送レートの計測は、配信サーバ１０から所定時間ごとに送信されるＡＣＫ信号に基づいて計算される。

ストリーミング送信決定部２４は、測定部２３から通知された伝送レートに基づいて、配信サーバ１０にストリーミング送信可能な動画像データの解像度の組み合わせを決定し、組み合わせを表す解像度フラグデータをストリーミング送信部２５に送信する（Ｓ１４）。具体的な解像度フラグデータの構成は、図３を用いた前述の説明の通りである。

ストリーミング送信部２５は、動画撮像部２１から受け取った動画像データを、ストリーミング送信決定部２４から受けとった解像度フラグデータに基づいて送信する解像度の組み合わせを選択して配信サーバ１０に送信する（Ｓ１５）。送信される動画像データの構成は、図４を用いた前述の説明の通りである。解像度の組み合わせについては新たな解像度フラグデータを受け取るまでは現在の組み合わせを継続し、解像度フラグデータに変更があった場合に組み合わせを変更する。

撮影者端末２０は、ユーザからの撮像完了の指示があるかを判別する（Ｓ１６）。完了の指示があった場合は、動画像の撮像を停止し、配信サーバ１０にストリーミング配信を終了する旨の指示を送信し、ストリーミング配信を終了する（Ｓ１７）。完了の指示がない場合は、動画像の撮像およびストリーミング配信を継続し、Ｓ１１に戻って動作を継続する。

図６は理解を助けるためにフローチャートで表現したが、各ステップは必ずしも順次実行されるわけではなく同時並行的に実行される。

配信サーバ１０は、Ｓ１５にて撮影者端末２０から送信された動画像データをストリーミング受信部１１で受信する（Ｓ２０）。撮影者端末２０からは、ストリーミング配信中に複数ＧＯＰ単位で動画像データが逐次送信される。ストリーミング受信部１１は、受信した複数ＧＯＰ単位にてストリーミング配信部１２およびアーカイブ記録部１３に動画像データを受信する。

ストリーミング配信部１２は、ストリーミング受信部１１から受け取った動画像データを、通信回線を介して複数の視聴者端末３０にストリーミング配信する（Ｓ２１）。ストリーミング配信部１２は図示しないバッファ部を備え、所定時間ごとに数秒から数十秒の長さとなるようにバッファ部内に一時記録し、バッファ部内の一時記録した動画データを随時視聴者端末３０に配信する。ストリーミング配信動画データは複数解像度の動画データからなり、どの解像度の動画データを含むかについての解像度フラグデータを含む。ストリーミング配信部１２は、視聴者端末３０との間の通信回線の伝送レートを測定し、ストリーミング配信動画データの複数解像度のうち伝送レートに適した解像度にてストリーミング配信を行う。

アーカイブ記録部１３は、ストリーミング受信部１１から受け取った動画像データを記憶手段に記録する（Ｓ２２）。記録される動画像データの構成は図５に示したとおりである。動画像データは解像度ごとに記録され、ＧＯＰ番号および解像度フラグと関連付けられて保存される。記録はストリーミング受信部１１から送信される複数ＧＯＰ単位にてすでに記録されている動画像データに追記される。複数ＧＯＰ単位ごとにファイルを作成して記録されてもよい。

ストリーミング受信部１１は、撮影者端末２０からストリーミング終了の通知を受け取ったかを判断し、受け取っている場合にはストリーミング受信を停止し、Ｓ２４の処理に移行する（Ｓ２３）。ストリーミング終了の通知を受け取っていない場合はＳ２０の処理に戻る。

アップロード要求部１４は、アーカイブ記録部１３に記録された動画像データを参照して、撮影者端末２０に対して所定の解像度および時間帯の動画像データをアップロードするようにアップロード要求を作成し、送信する（Ｓ２４）。

アップロード要求の生成方法及び構成について図５を参照しながら説明する。図５はアーカイブ記憶部１３に保存されている動画像データを示す。動画像データは解像度ごとにストリーミング開始から終了までがファイルとして保存されている。各動画像データのファイルは複数GOPごとに１つのファイルあるいはストリーミング時間全体を通して１つのファイルとしてまとめられている。ただし本実施例の説明ではファイルの保存単位に関わらず、動画像データを構成するフレーム及びGOPを動画像データの区切り単位として説明する。各解像度の動画像データでは、GOP単位で欠損している箇所が存在する。例えばフルHDの動画像データでは、GOP番号が２、３にてデータが欠損していることがわかる。同様にHDではGOP番号２が欠損し、SDではGOP番号４にて欠損していることがわかる。このことは各GOPにおける解像度フラグを参照することによって判別することができる。具体的に図５の例では、解像度フラグデータはGOP番号１から４においては順に１１１、００１、０１１、１１０となっており、GOP番号と解像度フラグデータの０となっている桁を参照することによって判別できる。

アップロード要求の生成においては、参照した０になっている箇所のデータの要求をすれば良いので、解像度フラグデータの０と１を反転したデータを生成すれば良い。具体的に図５の動画像データに対するアップロード要求は、GOP番号１から４において順に０００、１１０、１００、００１となる。これによってフルHDではGOP番号２、３、HDではGOP番号２、SDではGOP番号４にてアップロードを要求することがわかる。従ってGOP番号とこの３桁の符号を関連づけたデータがアップロード要求となる。アップロード要求は、これ以外の形式でもよく、ＧＯＰごとに欠損している解像度が示せれば任意の形式でよい。

撮影者端末２０において、アップロード要求受信部２６で配信サーバ１０から送信されたアップロード要求を受け付け、アップロード送信部へアップロード要求を送信する（S３１）。

アップロード送信部２７は、受信したアップロード要求にしたがって動画データ記憶部２２から動画像データを読み込む（S３２）。本実施例ではアップロード要求は前述の通りであり、これに従ってフルHDではGOP番号２、３、HDではGOP番号２、SDではGOP番号４のデータを読み込む。

アップロード送信部２７は、動画データ記憶部２２から読み込んだ動画画像データを配信サーバ１０に送信する（Ｓ３３）。送信にあたっては、リアルタイム性は必要ないためストリーミングとは別のプロトコル、例えばＦＴＰが好適である。ＦＴＰを採用した場合には、通信のオーバヘッドが少なく、送信時にエラーが発生した場合も再送信などの処理が行われるためである。また、セキュリティを考慮して暗号化されたＳＦＴＰを利用しても良いし、これら以外の既知のプロトコルを用いてもよい。

配信サーバ１０のアップロード動画受信部１５は、アップロード送信部２７から送信された動画像データを受信する（Ｓ４１）。アップロード動画受信部１５は、アーカイブ記憶部１３内の動画像データとＳ４１にて受信した動画像データをマージする(Ｓ４２)。これによってアーカイブ記憶部１３には、全ての解像度の動画像データについて全ＧＯＰ番号のデータが揃った状態で記録される。

ストリーミング配信部１２は、視聴者端末３０からの要求に応じてアーカイブ記録部１３に記録された動画像データを視聴者端末３０に送信する（Ｓ４３）。いわゆるオンデマンド配信であり、視聴者端末３０はストリーミング配信の終了後任意の時間に視聴を要求で
きる。ストリーミング配信部１２は、視聴者端末３０との通信回線の伝送レートを測定し、アーカイブ記録部１３に記録された動画像データのうち最適な解像度の動画像データを送信する。

本実施形態によれば、撮影者端末２０からのストリーミングコンテンツ配信時に、配信サーバ１０での高画質動画から低画質動画へのコンバート処理を行うことことがないので、ストリーミング配信時にタイムラグの少ない配信ができ、また、複数解像度のアーカイブ動画データの蓄積においても、配信サーバ１０の負荷を低減することができる。さらに配信サーバ１０と撮影者端末２０との間の通信回線の状態が悪い場合にも、事後的に複数解像度の動画像データを蓄積することができる。

１ ストリーミング配信システム
１０ 配信サーバ
１１ ストリーミング受信部
１２ ストリーミング配信部
１３ アーカイブ記録部
１４ アップロード要求部
１５ アップロード動画受信部
１６ アーカイブ送信部
２０ 撮影者端末
２１ 動画撮像部
２２ 動画データ記録部
２３ 測定部
２４ ストリーミング送信決定部
２５ ストリーミング送信部
２６ アップロード要求受信部
２７ アップロード送信部
３０ 視聴者端末

Claims (4)

1. 通信回線を介して互いに接続された撮影者端末と配信サーバとを含むストリーミング配信システムであって、
   前記撮影者端末は、
   撮像した動画から動画データを生成する動画撮像部と、
   前記動画データを所定の時間帯ごとに複数の解像度で記録する動画データ記録部と、
   前記配信サーバへストリーミング送信する通信回線の伝送レートを測定する測定部と、
   測定された伝送レートの範囲内でストリーミング送信可能な解像度の組み合わせを所定の時間ごとに前記複数の解像度から決定するストリーミング送信決定部と、
   当該決定された解像度の組み合わせの動画データを前記配信サーバへストリーミング送信するストリーミング送信部と、
   前記ストリーミング送信後に、前記配信サーバからのアップロード要求を受け付けるアップロード要求受信部と、
   前記アップロード要求にしたがって、前記動画データ記録部からアップロード要求で指定された時間帯および解像度の動画データを前記配信サーバへアップロード送信するアップロード送信部と、を備え、
   前記配信サーバは、
   前記撮影者端末からストリーミング送信された動画データを受信するストリーミング受信部と、
   前記受信した動画データの少なくとも一部を視聴者端末へストリーミング配信するストリーミング配信部と、
   前記受信した動画データを時間帯と解像度ごとに記録するアーカイブ記録部と、
   前記ストリーミング配信後に、前記アーカイブ記録部内の動画データのうち、前記複数の解像度のぞれぞれで欠落している時間帯を検出し、当該検出された時間帯と解像度の動画データを送信するよう要求するアップロード要求を、前記撮影者端末に送信するアップロード要求部と、
   前記撮影者端末からアップロード送信された動画データを受信し、前記アーカイブ記録部に記録するアップロード動画受信部と、
   を備えることを特徴とするストリーミング配信システム。
2. 撮像した動画から動画データを生成する動画撮像部と、
   前記動画データを所定の時間帯ごとに複数の解像度で記録する動画データ記録部と、
   配信サーバへストリーミング送信する通信回線の伝送レートを測定する測定部と、
   測定された伝送レートの範囲内でストリーミング送信可能な解像度の組み合わせを所定の時間ごとに前記複数の解像度から決定するストリーミング送信決定部と、
   当該決定された解像度の組み合わせの動画データを前記配信サーバへストリーミング送信するストリーミング送信部と、
   前記ストリーミング送信後に、前記配信サーバからのアップロード要求を受け付けるアップロード要求受信部と、
   前記動画データ記録部の複数解像度の動画データのうち、前記アップロード要求によって指定された時間帯と解像度の動画データを前記配信サーバに送信するアップロード送信部と、
   を備えることを特徴とする撮影者端末。
3. 撮影者端末からストリーミング送信された１または複数の解像度の動画データを受信するストリーミング受信部と、
   前記受信した動画データの少なくとも一部を視聴者端末にストリーミング配信するストリーミング配信部と、
   前記受信した動画データを所定の時間帯と解像度ごとに記録するアーカイブ記録部と、
   前記ストリーミング配信後に、前記アーカイブ記録部内の動画データのうち、前記複数の解像度のぞれぞれで欠落している時間帯を検出し、当該検出された時間帯および解像度の動画データを送信するよう要求するアップロード要求を、前記撮影者端末に送信するアップロード要求部と、
   前記撮影者端末からアップロード送信された動画データを受信し、前記アーカイブ記録部に記録するアップロード動画受信部と、
   を備えることを特徴とする配信サーバ。
4. 請求項１または３に記載の前記配信サーバであって、
   前記視聴者端末との間の通信回線の伝送レートを測定し、測定された伝送レートの範囲内でストリーミング送信可能な最大の解像度を決定し、前記視聴者端末に前記アーカイブ記録部内の決定された解像度の動画データを送信するアーカイブ送信部をさらに備えることを特徴とする配信サーバ。