JP6119765B2 - 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法 - Google Patents

Description

本発明は、動画データの送受信技術に関する。

現在、外部に持ち出して電池により駆動することができるスマートフォンのような移動端末機器（以下、移動端末と記述）には、例えば内蔵カメラによって動画を撮影し、それを同移動端末で視聴することができるグラフィック性能を持つものがある。このような移動端末は動画再生機能、インターネット接続機能を持ち、インターネット上にある動画サイトのコンテンツを視聴することができる。また、移動端末には、インターネットを介して家庭内のパーソナルコンピュータ（以下、パソコンと記述）の補助記憶装置等に記憶された個人的な写真や動画の視聴ができるものが提供されている。

ところで、動画は送信時に、映像フレームと音声フレームとを個別にエンコードして異なるストリームとして送信される。この場合、動画の視聴時に音声と映像とがずれて再生されることがある。視聴者が画面に表示されている人を見たときに違和感なく話しているように感じられるように映像フレームと音声フレームを調整することをリップシンク調整と呼ぶ。

映像フレームと音声フレームとが個別にエンコードされ、異なるストリームとして送信されて、送信先で再生される技術の一例として、第１〜５の技術がある。第１の技術として、エンコーダ側とデコーダ側のクロック周波数の差を吸収し、オーディオフレーム出力タイミングにビデオフレーム出力タイミングを合わせてリップシンクさせる受信装置がある。この受信装置は、エンコーダ側の基準クロックに基づくビデオタイムスタンプが順次付された複数の符号化ビデオフレームと基準クロックに基づくオーディオタイムスタンプが順次付された複数の符号化オーディオフレームとを受信して復号する復号手段を有する。さらに、受信装置は、復号手段によって符号化ビデオフレーム及び符号化オーディオフレームを復号した結果得られる複数のビデオフレーム及び複数のオーディオフレームを蓄積する記憶手段を有する。また受信装置は、エンコーダ側の基準クロックのクロック周波数とデコーダ側のシステムタイムクロックのクロック周波数とのずれによって生じる時間差を算出する算出手段を有する。さらに受信装置は、時間差に応じ複数のオーディオフレームをフレーム単位で順次出力するときのオーディオフレーム出力タイミングを基準として複数のビデオフレームをフレーム単位で順次出力するときのビデオフレーム出力タイミングを調整する調整手段を有する。

第２の技術として、リップシンク制御装置は所定のタイミングで入力された音声基準信号を含み且つエンコードされた音声信号を入力する第１の入力手段を備える。さらに、リップシンク制御装置は、音声基準信号と同じタイミングで入力された映像基準信号を含む且つエンコードされた映像信号を入力する第２の入力手段と、第１の入力手段により入力された音声信号をデコードする第１のデコード手段と、を備える。さらに、リップシンク制御装置は、第２の入力手段により入力された映像信号をデコードする第２のデコード手段と、第１のデコード手段でデコードされた音声信号に含まれる音声基準信号と、を備える。さらに、リップシンク制御装置は、第２のデコード手段でデコードされた映像信号に含まれる映像基準信号との間の時間ずれ量を検出する時間ずれ検出手段を備える。さらに、リップシンク制御装置は、時間ずれ検出手段での検出結果に基づいて、音声信号と映像信号とのうち相互の時間関係が早い方の信号を時間ずれ量分遅らせてそれぞれ出力するように制御する制御手段と、を備える。

第３の技術として、映像及び音声をネットワークを介して通信する画像通信装置であって、映像及び音声の受信側での受信状況に応じて、送信するレートをアプリケーション層から制御する制御手段を有する画像通信装置がある。画像通信装置は、さらに、制御手段により制御された送信レートで映像及び音声を送信する送信手段を有する。

第４の技術として、パケット廃棄時に廃棄による品質への影響の小さいパケットを多く廃棄し、廃棄による品質への影響の大きなパケットはなるべく廃棄しない方式がある。

第５の技術として、同期のとれたデジタル映像とデジタル音声それぞれに同一の時間情報を電子透かしとして挿入し、同期のずれた電子透かし挿入後のデジタル映像とデジタル音声それぞれから時間情報を抽出する。そして、デジタル映像の時間情報とデジタル音声の時間情報とを比較して両者が一致するようデジタル映像とデジタル音声の少なくともいずれか一方を遅延する。

特開２００５−１０２１９２号公報 特開２００８−１３１５９１号公報 特開平１０−１６４５３３号公報 特開平４−３６２８３２号公報 特開２００３−２５９３１４号公報

上記第１〜第５の技術はいずれも、映像フレームと音声フレームとを個別にエンコードして異なるストリームとして送信され、送信先で再生する技術である。

しかしながら、上記第１〜５の技術を用いても、動画の再生レートより伝送レートが低いネットワーク環境では伝送前のデータ本来の画質と比較すると再生時の画像品質が低下する。

そこで、１つの側面では、本発明は、帯域幅の狭いネットワークを介して保存先から送信された動画データの再生品質を向上させることを目的とする。

一態様の第１の情報処理装置は、記憶部、監視部、削除部、フレーム情報生成部、及び送信部を含む。記憶部は、第１の映像データと、第１の映像データと対応付けた同期情報を含む音声データと、を記憶する。監視部は、通信ネットワークの状態を監視する。削除部は、監視の結果に応じて、第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１の映像データのうち、対応する音声データの音声レベルが所定の閾値以下である連続する映像フレームを削除して、第１のフレームレートより低い第２のフレームレートにした第２の映像データを生成する。フレーム情報生成部は、削除されたフレームに関するフレーム情報を生成する。送信部は、第２の映像データ及びフレーム情報を送信する。

第２の情報処理装置は、受信部、補完画像生成部、及び映像データ生成部を含む。受信部は、第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１の映像データのうち、対応する音声データの音声レベルが所定の閾値以下である連続する映像フレームが削除されて第１のフレーム数より小さい第２のフレームレートにされた第２の映像データと、削除されたフレームに関するフレーム情報と、を受信する。補完画像生成部は、フレーム情報を用いて削除されたフレームの画像を補完する補完画像を生成する。映像データ生成部は、補完画像と、第２の映像データとを用いて、第１のフレームレートの映像データを生成する。

本実施形態に係る情報処理システムによれば、保存先からネットワークを介して送信された動画データの再生品質を向上させることができる。

本実施形態に係る情報処理システムのブロック図の一例を示す。 本実施形態に係る情報処理システムの構成の一例を示す。 映像データのメタ情報の構造の一例を示す。 フレームの削除及び復元の様子を説明するための図を示す。 補完フレーム生成処理の一例を示す図を示す。 移動量が大きい対象物を判別して、補完フレームを作成する方法の一例を示す。 動画データの送信端末におけるフレームレートの調整を説明するための図を示す。 フレームの削減処理のフローチャートを示す。 作業バッファに格納された動画データのうち、各フレームの音声レベルに基いて削除するフレームを判別する動作のフローの詳細を示す。 受信端末のデコード処理を説明するための図を示す。 受信端末によるフレーム再構築のフローチャートである。 受信端末における削除フレームに対する補完フレームの生成処理の動作フローチャートを示す。 本実施形態に係る情報処理システムのシーケンス図（その１）の一例を示す。 本実施形態に係る情報処理システムのシーケンス図（その２）の一例を示す。 本実施形態におけるサーバの構成の一例を示す。 本実施形態に係るサーバまたはパソコンのハードウェア構成の一例を示す。 本実施形態に係る移動端末のハードウェア構成の一例を示す。 本実施形態（変形例）における情報処理システムの構成の一例を示す。

図１は、本実施形態に係る情報処理システムの機能ブロック図の一例である。第１の情報処理装置１は、記憶部２、監視部３、削除部４、フレーム情報生成部５、送信部６を含む。

記憶部２は、第１の映像データと、第１の映像データと対応付けた同期情報を含む音声データと、を記憶する。監視部３は、通信ネットワークの状態を監視する。

削除部４は、監視の結果に応じて、第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１の映像データのうち、対応する音声データの音声レベルが所定の閾値以下である連続する映像フレームを削除して、第１のフレームレートより低い第２のフレームレートにした第２の映像データを生成する。また、削除部４は、連続するフレーム間で、類似度が所定の閾値以上である連続するフレームのいずれかを削除する。

フレーム情報生成部５は、削除されたフレームに関するフレーム情報を生成する。
送信部６は、第２の映像データ、音声データ、及びフレーム情報を送信する。

第２の情報処理装置７は、受信部８、補完画像生成部９、及び映像データ生成部１０を含む。

受信部８は、第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１の映像データのうち、対応する音声データの音声レベルが所定の閾値以下である連続する映像フレームが削除されて第１のフレーム数より小さい第２のフレームレートにされた第２の映像データと、削除されたフレームに関するフレーム情報と、を受信する。また、受信部８は、さらに、第１の映像データと対応付けた同期情報を含む音声データを受信する。

補完画像生成部９は、フレーム情報を用いて削除されたフレームの画像を補完する補完画像を生成する。また、補完画像生成部９は、削除されたフレームの直前のフレームを複製することにより補完画像を生成する。また、補完画像生成部９は、削除されたフレームの前後のフレームを用いて、削除されたフレームに含まれる移動量が所定の閾値以上である対象物を判別し、対象物を表示する領域は、削除されたフレームの直後の削除されていないフレームの対象物を示す領域を複製することにより補完画像を生成する。

映像データ生成部１０は、補完画像と、第２の映像データとを用いて、第１のフレームレートの映像データを生成する。また、映像データ生成部１０は、フレーム情報を用いて、補完画像を第２の映像データの削除されたフレームの位置に挿入し、第１のフレームレートの映像データを生成する。また、映像データ生成部１０は、同期情報を用いて、削除されたフレームに対応する補完画像と、削除されたフレームに対応する音声データとを同期させ、第１のフレームレートの映像データを生成する。

このような構成とすることで、ネットワークの帯域幅に応じて動画データの伝送レートまたはフレームレートを変更することができる。よって、ネットワークを流れるストリーミングデータの単位時間当たりのデータ量を削減することができる。また、映像フレームの音声フレームに対する遅延を防ぐことができる。また、映像フレームが音声フレームに比べて伝送量が大きいために、移動端末の映像デコード処理の際に一定時間内に映像フレームが届かずに発生する映像フレームの欠落を防ぐことができる。

さらに、動画の再生レートより伝送レートが低いネットワーク環境を介して動画データを受信し、受信側で十分な動画再生のためのバッファを確保できない場合であっても、送信前の動画データ本来のフレームレートで動画データを再生することが可能となる。

また、音声レベルに基いて削除する映像フレームを決定するため、削除フレームの前後の削除されていない映像フレームをコピーすることによって削除された映像フレームを復元した場合でも、動画再生時の視聴者の違和感を抑えることができる。また、前後の映像フレームを合成することにより補完フレームを生成することに比べて、補完フレーム生成のための計算量を削減することができ、補完フレームの作成時間に依存する映像と音声のずれを防ぐことができる。

また、削除された映像フレームに対応する補完フレームが生成された際に、生成された補完フレームのタイムスタンプが、その映像フレームに対応する音声フレームのタイムスタンプに同期されることにより、映像データと音声データの同期が可能となる。これにより、帯域幅の狭いネットワークを介して保存先から送信された動画データにおける映像再生と音声再生とのずれを最小限に抑えることができる。さらに、リップシンク調整のためのメモリ領域を削減することができ、また、演算負荷を削減することができる。例えば、ビデオメモリやオーディオメモリにおいて、映像データもしくは音声データを遅延させることによりリップシンク調整を行わなくてもよい。従って、リップシンクのためのメモリ領域とその映像処理に耐えうるＧＰＵ(Graphics Processing Unit)を削減することができる。

本実施形態のシステム構成の一例を説明する。図２は、本実施形態に係る情報処理システムの構成の一例を示す。

図２に示すように、情報処理システムは、パソコン３３、サーバ３１、及び移動端末３５を含む。パソコン３３とサーバ３１、サーバ３１と移動端末３５は通信キャリア３４を介してネットワークで接続される。サーバ３１は、第１の情報処理装置１の一例である。移動端末３５は、第２の情報処理装置７の一例である。

情報処理システムは、パソコン３３、サーバ３１、移動端末３５、を含む。パソコン３３は、動画データを保存する。サーバ３１は、パソコン３３から動画データを受信し、受信した動画データのうち複数の映像フレームを削除して転送する。移動端末３５は、サーバ３１から受信した動画データを再生することができる。

パソコン３３は、移動端末３５からサーバ３１を介してアクセスされる動画データを記憶する。パソコン３３は、例えば家庭内に配置され、インターネットを介してサーバ３１に接続される。サーバ３１からパソコン３３へのアクセスは、認証機能によりアクセス制限される。また、パソコン３３は、サーバ３１毎にそのサーバ３１に対して提供可能な動画ファイルの一覧情報を含むファイルを保持する。または、パソコン３３は、移動端末３５毎にその移動端末３５に対して提供可能な動画ファイルの一覧情報を含むファイルを保持してもよい。尚、パソコン３３は、サーバ３１の機能を有するホストコンピュータでもよいし、動画ファイルを格納しネットワークに接続されたストレージ装置でもよい。

サーバ３１は、移動端末３５からパソコン３３に保存された動画ファイルに対する視聴要求を受信する。また、サーバ３１は、サーバ３１と移動端末３５の帯域状況の監視を行う。そして、サーバ３１は、視聴要求対象の動画データをパソコン３３から取得し、取得した動画データからネットワークの帯域状況に応じて複数の映像フレームを削除して、その動画データを移動端末３５に転送する。ネットワークの帯域監視及び映像フレームの削除方法の詳細については後ほど説明する。尚、サーバ３１は移動端末３５との接続を確立するための認証機能を有する。

移動端末３５は、ユーザから、再生したい動画の要求を受け付ける。そして、パソコン３３に対して、動画の転送を指示する。移動端末３５は、サーバ３１から動画データをストリーミング形式で受信する。受信した動画データのうち送信時に削除された映像フレームがあれば、移動端末３５は、その映像フレームに対応する補完フレームを生成して、動画データに挿入する。それにより、パソコン３３は、映像フレームを削除する前の動画データを復元する。そして、移動端末３５は復元した動画データを再生する。復元処理を行うことで、移動端末３５は動画データをパソコン３３に保存されていた動画データと同じフレームレートで再生する。

尚、以下の説明では、パソコン３３からサーバ３１に対してデータを送信することを上り（アップロード）と記し、サーバ３１から移動端末３５にデータを送信することを下り（ダウンロード）と記すことがある。また、動画データの送信元となるパソコン３３またはサーバ３１を送信端末、動画データの受信側となるサーバ３１または移動端末３５を受信端末と記すことがある。さらに、パソコン３３において削除される映像フレームを削除フレームと記すことがある。

ここで映像データのメタ情報の構造を説明する。映像データのメタ情報は映像データとともに送信端末から受信端末へと送付される。送信端末は削除した映像フレームの情報をメタ情報に付加させ、受信端末はこのメタ情報を用いて補完フレームを生成することにより動画データを復元する。図３は、映像データのメタ情報の構造の一例を示す。

メタ情報は、動画データに関する情報であり動画データに対応付けられる。メタ情報は、フォーマットサイズ（コンテンツ解像度）４３、映像タイトル４４、映像時間４５、作成日４６、内容４７、削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２を含む。

フォーマットサイズ（コンテンツ解像度）４３、映像タイトル４４、映像時間４５、作成日４６、内容４７は、パソコン３３に保存された動画データに含まれる。フォーマットサイズ（コンテンツ解像度）４３、映像タイトル４４、映像時間４５、作成日４６、内容４７は、それぞれ、対応する動画データの、フォーマットサイズ（コンテンツ解像度）、映像タイトル、映像時間、作成日、内容である。

削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２は、送信端末において映像フレームを削除する場合に、メタデータに付加されるデータ項目である。削除フレーム開始番号４１は、送信端末により削除される映像フレームのフレーム番号（フレームの識別番号）である。削除フレーム期間（フレーム数）４２は、削除される映像フレームが連続する場合の期間を示し、例えば、削除フレームの連続数で表される。

削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２は、所定期間毎（例えば１秒毎）の削除フレームの情報である。よって、所定期間内に削除フレームが複数ある場合には、削除フレーム毎に対応付けた、削除フレーム開始番号４１、削除フレーム期間４２のデータ項目が、メタ情報に付加される。

ここで、削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２は、再開始フレームのフレーム番号、再開始フレームの期間（フレーム数）でもよい。本実施形態では、削除フレームは連続するものであるため、削除され欠落した映像フレームの次に位置する、映像の再開始フレームの番号とそのフレーム期間の情報があれば、移動端末３５での映像再生のときに削除フレームの開始番号とその期間を事前に認識できる。これにより、移動端末３５で削除フレームの開始番号とその期間の補完を行ってもよい。

次に、送信端末において動画データから映像フレームが削除されて送信され、受信端末において補完フレームが生成されて動画データが復元される動作の説明をする。

送信端末においてどの映像フレームが削除されるかの判定は、各映像フレームに対応する音声フレームの音声レベルに基いて行われる。

動画再生において、リップシンクずれがもっとも顕著に表れるのは、人が話す場面における人の口の動きと音声とのずれである。音量レベルが小さいときは、例え人の顔が映像に表示されていたとしても口は動いていないものと考えられる。よって、音声レベルが小さい連続する映像フレームを削除して、削除フレームの直前の映像フレームをコピーすることによって復元することにより、動画再生時の視聴者の違和感を抑えることができる。

尚、映像フレームの削除処理において、削除されるのは映像データだけであり、音声データは削除されない。それは移動端末側では元の映像と同じフレーム数で再生されるため、音声データを削除する必要はないからである。

次に、送信端末において動画データから映像フレームが削除されて送信され、受信端末において補完フレームが生成されて動画データが復元される様子を説明する。図４は、映像フレームの削除及び復元の様子を説明するための図である。尚、図４では映像フレームの削除処理はサーバ３１で行われるとするが、パソコン３３が行ってもよい。

パソコン３３からＡ〜Ｋのフレームが移動端末３５に送信される場合を考える。まず、パソコン３３は、Ａ〜Ｋのフレームをメタ情報とともにサーバ３１に送信する。サーバ３１は、Ａ〜Ｋのフレームをメタ情報とともに受信すると、各映像フレームに対応する音声レベルを認識する。音声レベルは、例えば、音の大きさや、人間の可聴範囲に属するような特定の周波数帯域に属する音の大きさ等を数値化したものであってよいし、これに限定されない。

図４の例では、音声レベル５０に示すように、フレームＡの音声レベルは「60」、フレームＢの音声レベルは「70」、フレームＣの音声レベルは「90」、以下Ｄ〜Ｋは同様に音声レベル５０に示すとおりとする。

サーバ３１は、各フレームのうち、音声レベルが所定の閾値以下であるフレームを判別する。そして、音声レベルが所定の閾値以下のフレームのうち、直前のフレームの音声レベルが所定の閾値以下である映像フレームを削除対象フレームとして認識する。

図４の場合、所定の閾値の値が20であるとする。すると、音声レベルが20以下であるフレームはＤ〜Ｇである。フレームＤは、直前のフレームの音声レベルが閾値以上（フレームＣ、音声レベル90）であるので、映像フレームＤは削除対象フレームとは認識されない。一方、フレームＥ〜Ｇはいずれも直前のフレームの音声レベルが閾値以下であるので、削除対象フレームとして認識される。尚、映像データと音声データはフレーム毎に対応付けられ、映像フレームの音声レベルは、その映像フレームに対応する音声フレームの情報が用いられて認識される。

次に、サーバ３１は認識した削除対象フレームを動画データから削除する。そして、サーバ３１は、削除フレームに関する情報をメタ情報に付加する。図４の例の場合映像フレームＥ〜Ｇの情報がメタ情報に付加される。具体的には、サーバ３１は、削除フレーム開始番号４１に映像フレームＥのフレーム番号を格納し、削除フレーム期間（フレーム数）４２に整数値「3」を格納する。

ここで、削除する映像フレームの数は、サーバ３１と移動端末３５の間のネットワークの帯域幅よりも送信する動画データの伝送レートが小さくなるように決定される。

動画データの所定の期間内、すなわち所定数の連続するフレームのうち、音声レベルが閾値以下であるフレームが存在しない場合も考えられる。例えば、図４の場合、閾値を3とした場合、フレームＡ〜Ｋのうち、音声レベルが閾値以下のフレームが存在しない。この場合、削除対象のフレームが存在しないこととなり、ネットワークの帯域幅を超える伝送レートで動画が配信されてしまう。この場合は、同時に削除対象の判別が行われる動画データの期間を増やすことにより対応するが、この動作の詳細は後ほど説明する。

サーバ３１は、削除した映像フレームの情報を追記したメタ情報をフレームに付随させて、移動端末３５に送信する。すると、移動端末３５は、映像フレームＥ〜Ｇが削除された状態の映像データを受信することとなる。移動端末３５は、映像データと同時にメタ情報を受信し、削除された映像フレームは映像フレームＥ〜Ｇであることを認識する。具体的には、移動端末３５はメタ情報の削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２の情報を認識し、削除フレームを特定する。

そして、移動端末３５は削除された映像フレームＥ〜Ｇの補完フレームを生成し、その補完フレームを動画データの削除された映像フレームの位置に挿入することで、動画データの復元処理を行う。具体的には、移動端末３５は、対応するメタ情報の削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２から特定した削除フレームの位置に補完フレームを挿入する。

補完フレーム生成処理は、削除フレームの前後の映像フレームが複製されることにより実行される。

図５は、補完フレーム生成処理の一例を示す図である。図５の例は、フレームの音声レベルに基いて映像フレームＤ〜Ｆが送信端末で削除された場合の補完の例を示している。映像フレームＤに対応するフレームは、直前の削除されていない映像フレームである映像フレームＣが複製されることによって生成される。一方、映像フレームＥ、Ｆは、直後の削除されていない映像フレームである映像フレームＧが複製されることによって生成される。

補完フレームの生成では、映像フレームにおける物体の移動量を考慮して複製元の映像フレームを変化させる構成としてもよい。具体的には、移動端末３５は、削除フレームの前後の削除されていない映像フレームを比較して、移動量が大きい対象物とそうでない対象物を判別する。そして、移動端末３５は、移動量が大きくない対象物に対応する位置の画素値は、直前の削除されていない映像フレームの画素値を複製した値とする。移動量が大きい対象物に対応する位置の画素値は、連続する複数の削除フレームのうち、所定時点以前か以後かで複製元の映像フレームを変更させる。すなわち、所定の時点までの削除フレームの画素値は、直前の削除されていない映像フレームの画素値を複製した値とし、所定の時点より後の削除フレームの画素値は、直後の削除されていない映像フレームの画素値を複製した値とする。尚、移動量の測定は例えばＭＰＥＧ（Moving Picture Experts Group）の動き補償等で用いられるような、画像の動き量を推定する動きベクトル探索を用いる方法など種々の方法で測定可能である。

図６は、移動量が大きい対象物と、そうでない対象物が判別され、補完フレームが生成される方法の一例を示す。図６の例は、フレームの音声レベルに基いて映像フレームＤ〜Ｆが送信端末で削除された場合の補完の例を示している。図６に示すように、映像フレームＤ、Ｅの移動量の大きい対象物を示す位置の画素値は、直前の削除されていない映像フレームである映像フレームＣの対応する位置の画素値とする。また、映像フレームＦの移動量の大きい対象物を示す位置の画素値は、直後の削除されていない映像フレームである映像フレームＧの対応する位置の画素値とする。一方、映像フレームＤ、Ｅ、Ｆの移動量の小さい対象物を示す位置の画素値は映像フレームＣの対応する位置の画素値とする。

ここで、動画再生時においては、音声出力は元の動画に対して変化しないことから、音飛びは発生しない。また、映像フレーム数は補完され、見た目の映像フレーム数が確保されるという点から、再生映像の見た目の画質劣化を抑えることができる。さらに、音声レベルが大きく変わるところは、映像も大きく変わると考えられ、本実施形態では音声レベルが所定の閾値より低い映像フレームを削除することから、再生映像の見た目の画質劣化を抑えることができる。

以上、フレームの音声レベルに基いて削除対象フレームを判定する方法を説明したが、削除対象フレームの判定には、音声レベルに加えて、動画データの時系列における前後の映像フレームとの近似性、すなわち類似度をさらに考慮した方法としてもよい。

類似度の計算には、種々の手法が用いられてよいが、例えば、直前の映像フレームとの映像フレーム比較により導かれる相似率を類似度としてもよいし、画素値の差の二乗和（SSD: Sum of Squared Differences）を用いて計算することで、類似度を算出してもよい。

この場合、送信端末は、映像フレームのうち、類似度が所定の閾値以上である映像フレームを判別し、類似度が所定の閾値以上であると判別した映像フレームのうち音声レベルが所定の閾値以下である連続する映像フレームを削除対象フレームとする。

次に、サーバ３１の動画データの配信品質監視について説明する。配信品質監視とは、動画の転送で使用する帯域幅が、サーバ３１と移動端末３５間のネットワークの帯域幅以下となるように、送信する動画データの映像フレームレートを調整するための調整量を決定することである。

サーバ３１は、サーバ３１と移動端末３５間のネットワーク帯域の状況を動的に監視し、監視の結果に応じて動画データから映像フレームを削除することにより伝送レートの調整を行う。ここでサーバ３１は動画データの伝送レートがネットワーク帯域を超えないように映像フレームの削除を行う。

配信品質監視では、サーバ３１は、送信する動画のデータ量と安定的に送受信可能なデータ量とを比較し、安定的に送受信可能なデータ量の範囲内に送信する動画のデータ量が収まるように、動画データの映像フレームレートを決定する。ここで決定された動画データの映像フレームレートを、以下の説明では、送信用フレームレートと記す。

先ず、サーバ３１は、サーバ３１と移動端末３５の間の帯域監視の結果からサーバ３１と移動端末３５間の使用可能な帯域幅を判定する。もしくは、帯域監視の結果と回線の伝送路容量とからサーバ３１は使用可能な帯域幅を判定する。そして、サーバ３１は、動画データの、解像度、ビット色、圧縮率、アクティビティレベル、及びフレームレートから動画データの伝送ビットレートを算出する。そしてサーバ３１は、使用可能な帯域幅に、算出した伝送ビットレートが収まるように、動画データの映像フレームレートの削除量を導出する。

尚、アクティビティレベルは、ストリームに対するパケットの送信頻度であり、例えば動画データの内容によって変化する。例えば無音の映像データの場合、オーディオストリームを送信する必要はなく、オーディオストリームのアクティビティレベルは０になる。

次に、配信品質監視の動作について、具体例を示して説明する。サーバ３１と移動端末３５間の通信規格をＬＴＥ（Long Term Evolution）と仮定する。この場合の帯域幅を最大75Mbpsと仮定する。尚、以下の例では、動画データはコーデックにおいて固定ビットレートでエンコードされると想定する。

動画送信のために使用可能な帯域幅は、ネットワーク内の他のアプリケーション等によるトラフィックにも依存するため、常に100%使用できるというわけではない。そこで、サーバ３１は帯域監視を行い、すなわち、一定量のパケットがパソコン３３からサーバ３１まで到達するまでにかかる時間を算出し、ネットワークのトラフィック状況を把握する。このトラフィック状況に基いて、動画配信のために保証される帯域幅の、回線の最大伝送速度に対する割合をZ%と定義する。ここでは、Z＝1と仮定する。

動画データは、例えば解像度が1280[dot per inch(dpi)]×720[dpi]のフルＨＤ（full high definition）、ビット色が8、映像フレームレートが24ｆｐｓ（frames per second）(とする。この動画データのビットレートは、（1280×720（解像度））×（3（RGB）×256（8ビット色））×24（フレーム）＝17Gbpsになる。この値は１フレームが未圧縮状態である場合の値である。

ここで例えばMPEG等の圧縮方式は、例えば、フルのIピクチャ（Intra picture）、1/2サイズのPピクチャ（Predictive picture）、1/4サイズのBピクチャ（Bi-directional predictive picture）を含む。そして、Iピクチャ、Pピクチャ、Bピクチャは、1:4:10の割合で構成されている。そのため、動画データの圧縮率は約11/30になる。さらに、例えば、MPEG-AVCは、移動部分だけの差異データであるため、さらにおおよそ1/24に圧縮される。よって動画データは11/30×1/24=11/720に圧縮されると想定する。

この圧縮を考慮すると動画データの伝送ビットレートは、17Gbps×11/720=259Mbpsとなる。ここで、動画データは、再生が行われる移動端末３５の解像度に合わせて圧縮が可能である。例えば、サーバ３１が認識した移動端末３５の解像度が800×480である場合を考える。この場合、動画データは送信前に、800×480/1280×720=0.42倍に圧縮することができる。

ここで、元の動画データは解像度が大きい装置で表示するコンテンツであり、解像度が小さい移動端末３５で動画データを再生する場合、動画データの解像度を移動端末３５の解像度まで落としても見た目が変化することはない。また、移動端末３５の映像再生チップの性能は動画データが含む情報量を全て活用できないことが多く、映像の細かい変化を再現できない。

よって、サーバ３１が認識した移動端末３５の解像度に基いた解像度をA、映像フレーム数をBとする。A=800×480、B=24の場合、動画データの伝送ビットレートは、A×(RGB各色フレーム:3×256)×B×11/720=(800×480)×(3×256)×24×11/720≒108Mbpsとなる。

しかしながら、この値はネットワークの帯域幅である75Mbps以下ではない。そこで、送信端末は動画データの伝送ビットレートがネットワークの帯域幅以下となるように映像フレームを削除して送信する。削除前の映像フレームに対する削除後映像フレームの割合をEとすると、108M×E≦77Mが成立すればよいから、E≦0.71となる。24×E、すなわち、24×0.71=17.04であるため、送信する動画データの映像フレームレートは17ｆｐｓに変更されればよい。この場合、元の動画の映像フレームレートは24ｆｐｓであるから、1秒間の動画データにおいて、削除する映像フレームの数は7となる。

次に、配信品質監視において決定された動画データの映像フレームレート以下となるように、配信される動画データの映像フレームが削除される動作について説明する。

図７は、送信端末における動画データの映像フレームレートの調整を説明するための図である。

ファイルデコーダ５１は、ストリーミングデータを映像データと音声データに分離する。そして、ファイルデコーダ５１は分離した映像データをビデオエンコーダ５３に出力し、分離した音声データをオーディオエンコーダ５５に出力する。さらに、ファイルデコーダ５１はストリーミングデータのメタ情報をフレーム制御部５２に送信する。

ここで、分離された映像データと音声データはフレーム毎に対応付けられる。例えば、映像フレームと音声フレームで同じフレーム番号を有するものがそれぞれ対応付けられる。対応する映像フレームと音声フレームのタイムスタンプは同じ値が設定される。尚、タイムスタンプは、フレーム単位に再生開始からの秒数をつけ定義するものであり、タイムスタンプの時刻に合わせてフレームが再生される。各映像フレームおよび各音声フレームはそれぞれのタイムスタンプ情報を保持する。

フレーム制御部５２は、映像データのうち、フレームレートが送信用フレームレート以下となるように、削除する映像フレームを決定する。そして、フレーム制御部５２は削除した映像フレームに関する情報をメタ情報に付加する。すなわち、フレーム制御部５２は、メタ情報の削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２に削除した映像フレームの情報を格納する。

ファイルデコーダ５１より出力された映像データは、ビデオエンコーダ５３に入力される。ビデオエンコーダ５３は、映像データからフレーム制御部５２により決定された削除フレームを削除し、再度映像フレームを構築する。そして、ビデオエンコーダ５３は再構築した映像フレームを送信用の形式にエンコードする。エンコードした結果映像データは、例えばＲＴＭＰ（Real Time Messaging Protocol）形式のパケット等に分割もしくは集約される。ビデオエンコーダ５３はエンコードした映像データをビデオメモリ５４に出力し、ビデオメモリ５４からエンコードされた映像データが受信端末に送信される。

一方、ファイルデコーダ５１により分離された音声データはオーディオエンコーダ５５に入力される。オーディオエンコーダ５５は受信した音声データを送付用の形式に変換してオーディオメモリ５６に出力する。そして、エンコードされた音声データはオーディオメモリ５６から受信端末に送信される。ここで、削除された映像フレームに対応する音声フレームが削除されることはなく、音声データのメタ情報も変更されずに送信される。

次に、送信端末における映像フレームの削除処理の動作フローを説明する。図８は、映像フレームの削減処理のフローチャートを示す。ここで、送信端末は、作業バッファに格納される所定期間の映像フレーム毎に削除対象フレームを判定し、そのフレームを削除することによって、作業バッファに格納された動画データの映像フレームレートが送信用フレームレート以下となるように調整される。尚、図８のフローは、作業バッファに格納される所定期間の映像フレーム毎に周期的に実行される。

先ず、送信端末は、所定期間の動画データを作業バッファに読み込む（バッファリングする）（Ｓ６１）。次に、送信端末は、配信品質監視の結果を確認し、送信用フレームレートを認識する（Ｓ６２）。そして、送信端末は、現在作業バッファ内に格納されている動画データの映像フレームレートが、Ｓ６２で認識した送信用フレームレートとなるように、現在作業バッファに格納されている映像フレームのうち削除するフレーム数を確認する（Ｓ６３）。

次に、送信端末は、作業バッファに格納された映像フレームのうち、各フレームに対応する音声レベルに基いて削除する削除対象フレームの判別を行う（Ｓ６４）。そして、送信端末は、Ｓ６４で判別した削除対象フレームの数が、Ｓ６３で確認した削除フレーム数以上か否かを判定する（Ｓ６５）。

Ｓ６４で判別した削除対象フレーム数がＳ６３で確認した削除フレームの数より小さい場合（Ｓ６５でＮｏ）、送信端末は、作業バッファに格納するフレームの期間を増加して（Ｓ６６）、再度削除フレームの判別を行う（Ｓ６４）。Ｓ６４で判別した削除対象フレームの数がＳ６３で確認した削除フレーム数以上である場合（Ｓ６５でＹｅｓ）、送信端末は、Ｓ６４で判別した削除対象フレームを削除し、その削除フレームの情報をメタ情報に付加する（Ｓ６６）。そして、送信端末は、映像データを送付用にエンコードして動画データを配信する（Ｓ６７）。

図９は、作業バッファに格納された動画データのうち、各フレームの音声レベルに基いて送信端末が削除対象レームを判別する動作（Ｓ６４）のフローの詳細を示す。図９においては、説明のために判別対象映像フレームのフレーム番号をｎ（以下、フレーム番号がｎの映像フレームをｎフレームと記す）として説明する。

送信端末はフレーム番号がｎ−１の映像フレーム（ｎ−１フレーム）の音声レベルが所定の閾値以上か否かを判定する（Ｓ７１）。ｎ−１フレームの音声レベルが所定の閾値未満である場合（Ｓ７１でＮｏ）、送信端末は、ｎフレームは削除対象フレームではないと判定する（Ｓ７４）。そして、送信端末はｎの値をインクリメントする（Ｓ７５）。

Ｓ７１でｎ−１フレームの音声レベルが所定の閾値以上である場合（Ｓ７１でＹｅｓ）、送信端末は、ｎフレームの音声レベルが所定の閾値以上か否かを判定する（Ｓ７２）。

ｎフレームの音声レベルが所定の閾値未満である場合（Ｓ７２でＮｏ）、送信端末は、ｎフレームは削除対象のフレームではないと判定する（Ｓ７４）。そして、送信端末はｎの値をインクリメントする（Ｓ７５）。

Ｓ７２でｎフレームの音声レベルが所定の閾値以上である場合（Ｓ７２でＹｅｓ）、送信端末は、ｎフレームは削除対象のフレームであると判定する（Ｓ７３）。そして、送信端末はｎの値をインクリメントする（Ｓ７５）。

Ｓ７５で、ｎの値をインクリメントした後、送信端末は、すべての作業バッファ内の映像フレームに対して判別処理が行われたか否かを判定する（Ｓ７６）。作業バッファ内の映像フレームで判別処理が行われていないものがある場合（Ｓ７６でＮｏ）、処理はＳ７１に戻る。すべての作業バッファ内の映像フレームに対して判別処理が行われた場合（Ｓ７６でＹｅｓ）、処理は終了する。

尚、作業バッファは動画データの全ての映像フレームを格納する必要はなく、映像フレームの削除処理を行い、映像フレームレートを配信品質監視で決定された送信用フレームレート以下にすることができる領域があればよい。

次に、所定期間の動画データにおいて、削除対象と判定される映像フレームが削除された結果、その所定期間の動画データの映像フレームレートが送信用フレームレートより小さくならない場合の動作について説明する。ここで、送信端末において、送信用フレームレートと一度に比較される動画データの期間を動画データの判別対象期間と記す。

上記に述べたように、送信端末は、動画データを所定期間毎に区切って削除対象の判別を行い、この所定期間における動画の映像フレームレートが送信用フレームレートより小さいか否かの判定を行っている。

削除対象と判定された映像フレームを削除した結果、その所定期間の動画データの映像フレームレートが送信用フレームレートより小さくならない場合、送信端末は、動画データの判別対象期間を増加させる。本実施形態では、送信端末は、削除対象か否かの判別が同時に行われる映像フレームが格納される作業バッファに格納される動画データの期間を増加させる。送信端末は、作業バッファが格納可能な映像フレームの期間における動画データの映像フレームレートが、配信品質監視によって決定された送信用フレームレート以下となるように映像フレームを削除する。

具体的には、例えば図４の例で、Ａ〜Ｋの映像フレームのうち、音声レベルが閾値以下の映像フレームが所定の数以上存在しない場合、さらに映像フレームＬ〜Ｖを作業バッファにバッファリングし、その中で類似度が閾値以下である映像フレームを削除する。そして、映像フレームＡ〜Ｖの期間で映像フレームレートが、配信品質監視で決定された送信用フレームレート以下か否かを確認する。

図１０は、受信端末のデコード処理を説明するための図である。デコード処理部は、ファイルデコーダ９１、フレーム制御部９２、ビデオデコーダ９３、ビデオメモリ９４、オーディオデコーダ９５、オーディオメモリ９６を含む。

ファイルデコーダ９１は、送信端末より受信したストリーミングデータを映像データと音声データに分離する。そしてファイルデコーダ９１は、分離した映像データをビデオデコーダ９３に出力し、音声データをオーディオデコーダ９５に出力する。また、ファイルデコーダ９１は、受信したストリーミングデータよりメタ情報を抽出し、フレーム制御部９２に送信する。

フレーム制御部９２は、ファイルデコーダ９１から受信したメタ情報から削除フレームを認識し、削除フレームの情報をビデオデコーダ９３に出力する。削除フレームの情報とは、例えば、削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２を含む。また、フレーム制御部９２は、メタ情報を用いて、削除フレームに対応する音声フレームのタイムスタンプを認識し、その音声フレームのタイムスタンプ情報を制御信号としてビデオデコーダ９３に出力する。

ビデオデコーダ９３は、ファイルデコーダ９１から映像データを受信し、フレーム制御部９２から削除フレーム情報を受信する。ビデオデコーダ９３は映像データをデコードする。そして、ビデオデコーダ９３は映像データと削除フレーム情報から削除フレームの補完フレームを生成し、映像フレームの再構築を行う。ここで生成した補完フレームのタイムスタンプは、フレーム制御部９２から受信した制御信号により、削除フレームと対応する音声フレームのタイムスタンプと同じ値に設定される。これによりリップシンク調整がなされる。そして、ビデオデコーダ９３は再構築した映像データをビデオメモリ９４に出力する。

オーディオデコーダ９５は、ファイルデコーダ９１から音声データを受信し、デコード処理を行う。そして、音声データをオーディオメモリ９６に出力する。

ここで、リップシンク調整は、ビデオメモリ９４、オーディオメモリ９６にデータが格納された時点でなされるのではなく、ビデオデコーダ９３において完了する。これにより、受信端末でリップシンク調整のためのメモリ容量を削減することができる。

次に、受信端末によるフレーム再構築の動作を説明する。図１１は、受信端末によるフレーム再構築のフローチャートである。

先ず受信端末のビデオデコーダ９３は、削除フレームの補完フレーム生成処理を実行する（Ｓ１０１）。

ビデオデコーダ９３は、メタ情報に含まれる削除フレームに関する情報をフレーム制御部９２から受信する。削除フレームに関する情報は、例えば、削除フレーム開始番号４１、削除フレームの期間（フレーム数）４２を含む。そしてビデオデコーダ９３は、削除フレームに関する情報から削除フレーム番号と削除フレームの期間を認識する（Ｓ１０２）。尚、ここで認識するのは削除フレーム番号の代わりに再開始フレーム番号としてもよい。

次に、ビデオデコーダ９３は、認識した削除フレーム番号または再開始フレーム番号に基いて、生成した補完フレームにフレーム番号を割り当てる（Ｓ１０３）。このフレーム番号の割り当ては、補完フレームを削除されたフレームの位置に挿入する動作といえる。

次に、ビデオデコーダ９３は、所定の期間のフレームを検出したら（Ｓ１０４）、生成した補完フレームと、Ｓ１０３で割り当てられたフレーム番号に対応する音声フレームのタイムスタンプの値を一致させる（Ｓ１０５）。これにより、リップシンクの調整がなされ、映像と音声の同期がとれる。

そして、ビデオデコーダ９３は、リップシンク調整が完了した映像データをビデオメモリ９４に出力し、また、音声データをオーディオメモリ９６に出力する。そして映像データと音声データがそれぞれビデオメモリ９４とオーディオメモリ９６に出力されたことが動画の再生アプリケーションに通知される（Ｓ１０６）。このデータを用いて移動端末３５は動画を再生する。尚、図１１のフローは所定期間のフレーム毎に周期的に実行される。

図１２は、受信端末における削除フレームに対する補完フレームの生成処理の動作フローチャートである。図１２においては、説明のためにメタ情報の削除フレーム開始番号４１の値がｎ＋１、削除フレーム期間（フレーム数）４２の値がＴである場合の例を説明する。また、映像フレームにおいて移動量が大きい対象物が存在する場合、その対象物を示す画素の値を、直前の映像フレームから複製するか直後の映像フレームから複製するかを変更させるために用いられる閾値をｘとする。この例では、閾値ｘはフレームの数を表す整数とするが、これに限定されない。

受信端末は、メタデータの情報から、送信端末において削除された映像フレームが存在することを確認する（Ｓ１２１）。すなわち、受信端末はメタデータに含まれる削除フレーム開始番号４１、削除フレーム期間（フレーム数）４２を認識する。

そして、受信端末は、削除されていないフレームのうち、削除フレーム開始番号４１の直前のフレーム番号を有する映像フレーム（ｎフレーム）をバッファリングする（Ｓ１２２）。

次に、受信端末は、削除されていないフレームのうち、削除フレーム開始番号４１の直後のフレーム番号を有するフレーム（（ｎ＋１＋Ｔ）フレーム）をバッファリングする（Ｓ１２３）。

そして、受信端末はｎフレームと（ｎ＋１＋Ｔ）フレームを用いて、フレームにおいて移動量の大きい対象物を判別する（Ｓ１２４）。

次に、補完処理対象のフレームをｎ＋１フレームに設定する（Ｓ１２５）。そして、受信端末は、補完処理対象フレームのフレーム番号がｎ＋ｘ以上か否かを判定する（Ｓ１２６）。補完処理対象フレームのフレーム番号がｎ＋ｘ未満である場合（Ｓ１２６でＮｏ）、補完処理対象フレームは、ｎフレームを複製することにより生成される（Ｓ１２７）。

そして、受信端末は補完処理対象のフレーム番号をインクリメントし（Ｓ１２９）、そのフレーム番号がｎ＋Ｔより大きいか否かを判定する（Ｓ１３０）。補完処理対象のフレーム番号がｎ＋Ｔ以下である場合（Ｓ１３０でＮｏ）、処理はＳ１２６に戻る。補完処理対象のフレーム番号がｎ＋Ｔより大きい場合（Ｓ１３０でＹｅｓ）、処理は終了する。

Ｓ１２６において、補完処理対象フレームのフレーム番号がｎ＋ｘ以上である場合（Ｓ１２６でＹｅｓ）、Ｓ１２４で判定した移動量の大きい対象物を（ｎ＋１＋Ｔ）フレームから複製し、そうでない対象物をｎフレームから複製する（Ｓ１２８）。

そして、補完処理対象のフレーム番号をインクリメントし（Ｓ１２９）、そのフレーム番号がｎ＋Ｔより大きいか否かを判定する（Ｓ１３０）。補完処理対象のフレーム番号がｎ＋Ｔ以下である場合（Ｓ１３０でＮｏ）、処理はＳ１２６に戻る。補完処理対象のフレーム番号がｎ＋Ｔより大きい場合（Ｓ１３０でＹｅｓ）、処理は終了する。

図１３Ａ、図１３Ｂは本実施形態にかかる情報処理システムのシーケンス図である。図１３は、パソコン３３とサーバ３１と移動端末３５との動作関係を表している。

移動端末３５はパソコン３３に保存された動画データを取得するために、移動端末３５とパソコン３３とを中継するサーバ３１に接続を行う（Ｓ４０１）。接続の確立前に、サーバ３１は接続要求のあった移動端末３５の正当性を確認するために認証を行う。また、サーバ３１は移動端末３５の認証と同時に、移動端末３５における動画再生時の解像度を認識する（Ｓ４０２）。認証が成功した場合、サーバ３１は移動端末３５に機器承認応答を行う（Ｓ４０３）。

次に、サーバ３１は移動端末３５から要求のあった動画データが保存されているパソコン３３に接続を行う（Ｓ４０４）。パソコン３３とサーバ３１の接続確立時にも接続の正当性を確認するための認証が行われる。認証が成功した場合、パソコン３３は接続応答をサーバ３１に送信する（Ｓ４０５）。

次に、パソコン３３は提供可能な動画の一覧情報を、サーバ３１を介して移動端末３５に通知する（Ｓ４０６）。提供可能な動画の一覧は、移動端末３５毎に、または、サーバ３１毎に予め設定して、パソコン３３にファイルとして保存されてもよい。また、移動端末３５の解像度の情報をサーバ３１から受信し、その情報に応じて、パソコン３３は、動画データのうち移動端末３５が再生することができる動画を判定してもよい。

通知された一覧が移動端末３５の画面に表示されると、ユーザは、移動端末３５を操作して、再生する動画を選択する。移動端末３５は、サーバ３１に対して、選択された再生動画の配信要求（以下、再生動画要求と記す）を行う（Ｓ４０７）。

次に、サーバ３１は移動端末３５とサーバ３１間のネットワークの帯域幅を監視するための情報収集作業を行う（Ｓ４０８）。

次に、サーバ３１は移動端末３５から受信した再生動画要求をパソコン３３に対して送信する（Ｓ４０９）。パソコン３３は再生動画要求を受信すると、再生動画要求で指定のあった動画に関するメタ情報をサーバ３１に通知する（Ｓ４１０）。

サーバ３１はパソコン３３からメタ情報を受信すると、サーバ３１と移動端末３５間の動画送信の配信品質監視を行う（Ｓ４１１）。具体的には、動画の転送で使用する帯域幅が、サーバ３１と移動端末３５間のネットワークの帯域幅以下となるように、サーバ３１は送信する動画データの映像フレームレートを調整するための調整量を決定する。このときサーバ３１は、動画データの変更情報を移動端末３５が認識できるように、動画データの変更情報を再生情報変更要求として移動端末３５に通知する（Ｓ４１２）。

移動端末３５はサーバ３１から再生情報変更要求を受信すると、配信動画の変更を認識し、再生設定応答をサーバ３１に行う（Ｓ４１３）。

次に、サーバ３１はストリーミング開始要求をパソコン３３に通知する（Ｓ４１４）。パソコン３３はサーバ３１からストリーミング開始要求を受信すると、サーバ３１を介して移動端末３５にストリーミング開始応答を行う（Ｓ４１５）。そしてパソコン３３はサーバ３１に対してストリーミングデータを配信する（Ｓ４１６）。

サーバ３１はストリーミングデータを受信すると、動画データの音声レベルを認識する（Ｓ４１７）。そして、サーバ３１は、認識した音声レベルに基いて、映像フレームレートが配信品質監視により導かれる送信用フレームレートとなるように、削除対象の映像フレームを判別し、選択する。ここで、サーバ３１は、動画データの解像度をＳ４０２で認識した解像度に変更してもよい。そして、サーバ３１は、選択した削除対象フレームを動画データから削除する（Ｓ４１８）。

次に、サーバ３１は削除した映像フレームの情報をメタ情報に追記する（Ｓ４１９）。そして、サーバ３１は、削除処理を行った動画データを送付用の形式にエンコードして（Ｓ４２０）、エンコードしたデータを移動端末３５にストリーミング配信する（Ｓ４２１）。

移動端末３５はストリーミングデータを受信すると、受信したデータをデコードする（Ｓ４２２）。そして、移動端末３５は、Ｓ４１８で削除された映像フレームに対応する補完フレームを生成し動画データに挿入することにより、動画データを復元する（Ｓ４２３）。そして、移動端末３５は、復元した動画データを再生する（Ｓ４２４）。

そして、所定のデータ量ごとにＳ４０８〜Ｓ４２４の動作が繰り返され、パソコン３３による動画データのストリーミング配信と移動端末３５による再生が行われる。尚、この所定データ量ごとのＳ４０８〜Ｓ４２４の動作は、データ量ごとに平行して行われてもよい。

次に、移動端末３５とサーバ３１、サーバ３１とパソコン３３の間の接続動作（Ｓ４０１、Ｓ４０４）について詳細に説明する。

移動端末３５には、動画を再生するためのアプリケーションプログラム（以下、アプリケーションと称する）がインストールされており、アプリケーションにより目的とするサーバ３１に接続する。目的とするサーバ３１の指定はユーザが選択できる構成としてもよいし、予めアプリケーションに設定されている構成としてもよい。移動端末３５は例えば３Ｇ（3rd Generation）回線のように接続するときにその回線を指定してインターネットに接続することができる。また、移動端末３５とパソコン３３はインターネットを経由してのＰ２Ｐ（Peer to Peer）接続を可能とする。

サーバ３１と移動端末３５間、サーバ３１とパソコン３３間の接続確立時には認証が行われるが、そこで用いられる認証情報は、例えば、各機器の、ＩＰアドレス、ＭＡＣアドレスなどの固有機器情報などである。認証情報はサーバ３１上で管理され、ＩＰアドレスや固有機器情報を、移動端末３５と移動端末３５が接続可能なパソコン３３とを対応付けて、移動端末３５毎にグループ化して格納される。尚、１つの移動端末３５に対して１つのパソコン３３を対応付けてもよいし、複数と対応付けてもよい。

移動端末３５とサーバ３１の接続確立時の動作について説明する。サーバ３１は、移動端末３５から接続要求を受信すると、接続要求のあった移動端末３５のＩＰアドレスまたは固有機器情報と、サーバ３１に保存されているＩＰアドレスまたは固有機器情報と、を照合する。照合の結果が一致すれば、サーバ３１は認証が成功したとして接続を確立する。尚、認証には種々の認証技術が用いられてもよく、パスワード認証方式や電子証明書認証方式等を用いてもよい。

次に、サーバ３１とパソコン３３の接続確立時の動作について説明する。サーバ３１は移動端末３５との接続を確立した後、その移動端末３５に対応するパソコン３３に接続を行う。具体的には、サーバ３１に保存されている認証情報において１つの移動端末３５に対して１つのパソコン３３が対応付けられている場合、サーバ３１は認証情報を確認して移動端末３５に対応するパソコン３３に接続を行う。もしくは、移動端末３５がサーバ３１との接続を確立する際に、移動端末３５が接続先のパソコン３３を指定し、サーバ３１は指定されたパソコン３３に接続する構成にしてもよい。

サーバ３１からの接続要求を受けたパソコン３３は、アクセス要求のあったサーバ３１が正当なものか否かの認証を行う。認証にはサーバ３１が移動端末３５に対して行う認証と同様、種々の認証技術が用いられる。または、パソコン３３が保有する動画ファイルやパソコン３３のディレクトリ（フォルダ）にアクセス権限を付与してアクセス制御を行ってもよい。

尚、パソコン３３とサーバ３１、サーバ３１と移動端末３５間は、ＶＰＮ（Virtual Private Network）等の高セキュリティのネットワーク技術を用いて接続されてもよい。さらに、パソコン３３とサーバ３１、サーバ３１と移動端末３５間のデータ伝送において、伝送されるデータは種々の暗号化技術により暗号化されてもよい。また、サーバ３１とパソコン３３は同一イントラネット内に配置されてもよい。

次に、サーバ３１によるネットワークの帯域幅を監視するための情報収集作業（Ｓ４０８）について詳細に説明する。

サーバ３１は、移動端末３５とサーバ３１間の帯域幅を監視する。サーバ３１は移動端末３５に接続されるネットワークの帯域幅を検出するために、移動端末３５に対して帯域検出用のパケットを送信する。送信パケットにはサーバ３１が送信した時刻が記録されている。移動端末３５はパケットを受信した際に受信時刻を計測し、これをパケットに記録された送信時刻と比較する。それにより移動端末３５は一定量のパケットがサーバ３１から移動端末３５まで到達するまでにかかる時間を算出することができる。移動端末３５はここで得られた帯域監視情報をサーバ３１に転送する。尚、サーバ３１は、一定量のデータを複数のパケットに分割して、最初のパケットをサーバ３１が送信してから最後のパケットを移動端末３５が受信するのに要した時間を計測することにより、帯域監視情報を取得してもよい。

尚、帯域の監視のためのパケットの送信は、実動画データの再生に問題がない範囲において行う。ここで、帯域の監視は帯域を監視するためのコマンドを送付することにより行ってもよいし、ｐｉｎｇ等のコマンドを送付し、その応答時間を計測することによって行ってもよい。また、パソコン３３がサーバ３１を介して移動端末３５にパケットを送付することで、一度にパソコン３３とサーバ３１間とサーバ３１と移動端末３５間の帯域幅の監視を行ってもよい。尚、帯域幅の監視のみではなく、伝送遅延から回線のトラフィックの監視を行ってもよい。

一方、インターネット接続する回線は種類毎に１秒間にデータの送信（または受信）を安定的に可能とする情報量が規定されている。サーバ３１はこの規定の情報量と帯域監視情報とによって、単位時間当たりに安定的に送受信可能なデータ量（使用量）を判定する。

ここで、サーバ３１は、帯域監視動作後（Ｓ４０８後）、監視の結果を移動端末３５に送信し、ユーザが移動端末３５により帯域監視の結果を確認して再生する動画の解像度を指定してもよい。その場合、指定した解像度情報は配信品質監視において用いられる。

図１４は、本実施形態におけるサーバ３１の構成の一例を示す。サーバ３１は、デコード処理部１３１、演算処理部１３２、ストレージ１３３、コンテンツサーバ１３４、ストリーミングサーバ１３５を含む。

デコード処理部１３１は、パソコン３３等の端末機器からアップロードされる動画データをデコードする。ここで、アップロードされる動画データは送付用の形式に分割または統合され、もしくは圧縮されているため、デコード処理を行い、動画データを修復する。

演算処理部１３２は、帯域幅の監視及び配信品質管理を行い、その結果に応じて動画データの映像フレームの削除処理及びメタ情報の変更処理を行う。

ストレージ１３３にはオペレーティングシステム、ミドルウェア、アプリケーションが格納されており、演算処理部１３２によりメモリに読み出され、実行される。

コンテンツサーバ１３４は、ストリーミング再生を行うために準備されているコンテンツが管理されており、移動端末３５はここで管理されているコンテンツから再生する動画を選択できる。

ストリーミングサーバ１３５は、動画データを移動端末３５に配信する。動画データは演算処理部１３２から映像フレームが削除された動画データを受信する。また、ストリーミングサーバ１３５は、配信で使用する、例えばＨＴＴＰ（HyperText Transfer Protocol）、ＨＴＴＰ／ＲＴＭＰなどのプロトコルに応じて分けられる。

図１５は、本実施形態に係るサーバ３１またはパソコン３３のハードウェア構成の一例を示す。サーバ３１またはパソコン３３は、ＣＰＵ（Central Processing Unit）１６１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１６２、シリアルポート１６３、フラッシュメモリ１６４、デジタルＩ／Ｏ、アナログＩ／Ｏ１６５を含む。また、サーバ３１またはパソコン３３はストレージ１６６、チップセット１６７、通信カード１６８、ＣＦ（Compact Flash（登録商標））インターフェースカード１６９、リアルタイムクロック１７０を含む。

ＣＰＵ１６１は、ストレージ１６６に保存された上述のフロー図の手順を記述したプログラムを、ＳＤＲＡＭ１６２またはフラッシュメモリ１６４を利用して実行する。また、ＣＰＵ１６１は、チップセット１６７を介して、通信カード１６８、ＣＦインターフェースカード１６９、リアルタイムクロック１７０とデータのやり取りを行う。サーバ３１またはパソコン３３は、通信カードを介して、シリアルポート１６３またはデジタルＩ／Ｏ、アナログＩ／Ｏ１６５から動画データの入出力を行う。ＣＰＵ１６１は、監視部３、削除部４、フレーム情報生成部５、送信部６、受信部８、補完画像生成部９、映像データ生成部１０の一部または全部の機能を提供する。また、ＣＰＵ１６１は動画データのエンコード、デコード、リップシンク、接続確立のための認証動作、動画データの再生を行う。ストレージ１６６は、記憶部２の一部または全部の機能を提供する。ＣＰＵ１６１は、動画データのフレーム削除処理及び動画データの復元処理を行うための一時データ保存領域（作業バッファ）としてＳＤＲＡＭ１６２を利用できる。尚、ＳＤＲＡＭ１６２はこれに限定されず種々のＲＡＭ（Random Access Memory）とすることができる。

フラッシュメモリ１６４にはカーネル、サーバ３１におけるアプリケーション、設定ファイル等が保存される。フラッシュメモリには拡張領域があり、動画データのフレーム削除処理、動画データの復元処理を行うための一時データ保存領域（作業バッファ）としても利用できる。

ＣＦインターフェースカード１６９はサーバ３１の保守等に使うための補助機能として使用される。ストレージが内蔵されているため、多くのパソコン３３と移動端末３５間のデータ処理にはこれが使用される。

リアルタイムクロック１７０は、コンピュータの時計としての機能をもつ専用のチップである。フレームのタイムスタンプはリアルタイムクロック１７０の時計に従って設定される。

実施形態の第１の情報処理装置１及び第２の情報処理装置７の一部は、ハードウェアで実現してもよい。或いは、実施形態の第１の情報処理装置１及び第２の情報処理装置７は、ソフトウェアおよびハードウェアの組み合わせで実現してもよい。

図１６は、本実施形態に係る移動端末３５のハードウェア構成の一例を示す。移動端末３５は、図１６に示すように、ＣＰＵ２０１、メモリ２０２、記憶部２０３、読取部２０４、通信インターフェース２０６、入出力部２０７、表示部２０８を含む。なお、ＣＰＵ２０１、メモリ２０２、記憶部２０３、読取部２０４、通信インターフェース２０６、入出力部２０７、表示部２０８は、例えば、バス２０９を介して互いに接続されている。

ＣＰＵ２０１は、メモリ２０２を利用して上述のフローチャートの手順を記述したプログラムを実行する。ＣＰＵ２０１は、受信部８、補完画像生成部９、映像データ生成部１０の一部または全部の機能を提供する。また、ＣＰＵ２０１は動画データのデコード、リップシンク、動画データの再生を行う。メモリ２０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。記憶部２０３は、例えばハードディスクである。なお、記憶部２０３は、フラッシュメモリ等の半導体メモリであってもよい。動画データを再生するためのアプリケーションは、メモリ２０２または記憶部２０３に格納され、ＣＰＵ２０１によって実行される。移動端末３５は記憶部２０３を有さない構成とすることも可能である。

読取部２０４は、ＣＰＵ２０１の指示に従って着脱可能記録媒体２０５にアクセスする。着脱可能記録媒体２０５は、たとえば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。

通信インターフェース２０６は、ＣＰＵ２０１の指示に従ってネットワークを介してデータを送受信する。また、通信インターフェース２０６は、動画データを受信する。入出力部２０７は、例えば、ユーザからの指示を受け付けるデバイスに相当する。ユーザは入出力部２０７を使用して、再生する動画データの指定や動画データの解像度の指定が可能である。表示部２０８は、再生した動画データの表示を行う。

実施形態を実現するための情報処理プログラムは、例えば、下記の形態で移動端末３５に提供される。
（１）記憶部２０３に予めインストールされている。
（２）着脱可能記録媒体２０５により提供される。
（３）ネットワークを介して提供される。

（変形例）
図１７は、本実施形態（変形例）における情報処理システムの構成の一例を示す。本変形例と実施形態との違いは受信端末が例えばパソコン３３のような端末機器３７の形態であることである。同じパソコン３３間であってもインターネットの帯域幅によっては画質劣化が確認される場合があるため、このような場合は実施形態に記した構成が適用されることになる。また、変形例は、フレームの削除処理をパソコン３３が行う場合の例である。

本実施形態におけるサーバ３１で行った、ネットワークの帯域監視、配信品質監視、フレームの削除処理とそれに相当する処理は、パソコン３３が行ってもよい。また、ネットワークの帯域監視、配信品質監視は、サーバ３１とパソコン３３の間においても行われてもよい。また、本実施形態では、動画データはパソコン３３に格納される構成としたが、動画データはサーバ３１に格納され、サーバ３１から移動端末３５に提供されてもよい。また、移動端末３５は、シンクライアント端末でもよい。また、本実施形態におけるデコードはＭＰＥＧ２等の規格に則って行われてもよい。

また、本実施形態では、サーバ３１からストリーミング形式で移動端末３５に動画が配信されるとしたが、配信方法はストリーミング形式に限定されない。

尚、本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ 第１の情報処理装置
２ 記憶部
３ 監視部
４ 削除部
５ フレーム情報生成部
６ 送信部
７ 第２の情報処理装置
８ 受信部
９ 補完画像生成部
１０ 映像データ生成部
１１ 通信ネットワーク

Claims (8)

1. 第１の映像データと、該第１の映像データと対応付けた同期情報を含む音声データと、を記憶する記憶部と、
   通信ネットワークの状態を監視する監視部と、
   前記監視の結果に応じて、前記第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１の映像データのうち、連続する映像フレーム間で類似度が所定の閾値以上であり、対応する前記音声データの音声レベルが所定の閾値以下である該連続する映像フレームのいずれかを削除して、前記第１のフレームレートより低い第２のフレームレートにした第２の映像データを生成する削除部と、
   前記削除されたフレームに関するフレーム情報を生成するフレーム情報生成部と、
   前記第２の映像データ及び前記フレーム情報を送信する送信部と、
   を備える情報処理装置。
2. 前記送信部は、さらに、前記音声データを送信する
   請求項１に記載の情報処理装置。
3. 第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１の映像データのうち、連続する映像フレーム間で類似度が所定の閾値以上であり、対応する音声データの音声レベルが所定の閾値以下である該連続する映像フレームのいずれかが削除されて、前記第１のフレームレートより低い第２のフレームレートにされた第２の映像データと、前記削除されたフレームに関するフレーム情報と、前記第１の映像データと対応付けた同期情報を含む音声データと、を受信する受信部と、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成する補完画像生成部と、
   前記補完画像と、前記第２の映像データと、前記同期情報とを用いて、前記第１のフレームレートの映像データであって、前記削除されたフレームに対応する前記補完画像と、前記削除されたフレームに対応する前記音声データとを同期させた該映像データを生成する映像データ生成部と、
   を備える情報処理装置。
4. 前記映像データ生成部は、前記フレーム情報を用いて、前記補完画像を前記第２の映像データの前記削除されたフレームの位置に挿入し、前記第１のフレームレートの映像データを生成する
   請求項３に記載の情報処理装置。
5. 前記補完画像生成部は、前記削除されたフレームの直前のフレームを複製することにより前記補完画像を生成する
   請求項３または４に記載の情報処理装置。
6. 第１の情報処理装置は、
   通信ネットワークの状態を監視し、
   前記監視の結果に応じて、第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１の映像データのうち、連続する映像フレーム間で類似度が所定の閾値以上であり、対応する音声データの音声レベルが所定の閾値以下である該連続する映像フレームのいずれかを削除して、前記第１のフレームレートより低い第２のフレームレートにした第２の映像データを生成し、
   前記削除されたフレームに関するフレーム情報を生成し、
   前記第２の映像データ及び前記フレーム情報と、前記第１の映像データと対応付けた同期情報を含む音声データとを送信する
   処理を実行し、
   第２の情報処理装置は、
   前記送信された、前記第２の映像データ及び前記フレーム情報と、前記同期情報を含む音声データとを受信し、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成し、
   前記補完画像と、前記第２の映像データと、前記同期情報とを用いて、前記第１のフレームレートの映像データであって、前記削除されたフレームに対応する前記補完画像と、前記削除されたフレームに対応する前記音声データとを同期させた該映像データを生成する
   処理を実行する映像データ送受信方法。
7. 第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１の映像データのうち、対応する音声データの音声レベルが所定の閾値以下である連続する映像フレームが削除されて、前記第１のフレーム数より小さい第２のフレームレートにされた第２の映像データと、前記削除されたフレームに関するフレーム情報と、を受信する受信部と、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成する補完画像生成部であって、前記削除されたフレームの前後のフレームを用いて、前記削除されたフレームに含まれる移動量が所定の閾値以上である対象物を判別し、該対象物を表示する領域は、前記削除されたフレームの直後の削除されていないフレームの対象物を示す領域を複製することにより該補完画像を生成する該補完画像生成部と、
   前記補完画像と、前記第２の映像データとを用いて、前記第１のフレームレートの映像データを生成する映像データ生成部と、
   を備える情報処理装置。
8. 第１の情報処理装置は、
   通信ネットワークの状態を監視し、
   前記監視の結果に応じて、第１の映像データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１の映像データのうち、対応する音声データの音声レベルが所定の閾値以下である連続する映像フレームを削除して、前記第１のフレームレートより低い第２のフレームレートにした第２の映像データを生成し、
   前記削除されたフレームに関するフレーム情報を生成し、
   前記第２の映像データ及び前記フレーム情報を送信する
   処理を実行し、
   第２の情報処理装置は、
   前記送信された、前記第２の映像データ及び前記フレーム情報を受信し、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成し、
   前記補完画像と、前記第２の映像データとを用いて、前記第１のフレームレートの映像データを生成する
   処理を実行し、
   前記補完画像の生成では、前記削除されたフレームの前後のフレームを用いて、前記削除されたフレームに含まれる移動量が所定の閾値以上である対象物を判別し、該対象物を表示する領域は、前記削除されたフレームの直後の削除されていないフレームの対象物を示す領域を複製することにより前記補完画像を生成する
   映像データ送受信方法。

Images