JPWO2014057555A1 - 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法 - Google Patents

Abstract

帯域幅の狭いネットワークを介して保存先から送信された動画データの再生品質を向上させる。第１の情報処理装置は、通信ネットワークの状態を監視し、監視の結果に応じて、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１のフレームレートより少ない第２のフレームレートになるように、第１の動画データのいずれかのフレームを削除して、第２の動画データを生成し、削除されたフレームに関するフレーム情報を生成し、第２の動画データとフレーム情報とを送信し、第２の情報処理装置は、送信された、第２の動画データとフレーム情報とを受信し、フレーム情報を用いて削除されたフレームの画像を補完する補完画像を生成し、補完画像を第２の動画データの削除されたフレームの位置に挿入し、第１のフレームレートの動画像データを生成する。

Description

本発明は、動画データの送受信技術に関する。

現在、外部に持ち出して電池により駆動することができるスマートフォンのような移動端末機器（以下、移動端末と記述）には、例えば内蔵カメラによって動画を撮影し、それを同移動端末で視聴することができるグラフィック性能を持つものがある。このような移動端末は動画再生機能、インターネット接続機能も持ち、インターネット上にある動画サイトのコンテンツを視聴することができる。また、移動端末には、インターネットを介して家庭内のパーソナルコンピュータ（以下、パソコンと記述）の補助記憶装置等に記憶された個人的な写真や動画の視聴ができるものが提供されている。

ＴＶ動画コンテンツのフレームレートは例えば24ｆｐｓ（frame per second）であり、このような動画コンテンツの転送は、ネットワークのトラフィック量を著しく増大させる。一方、ネットワーク環境によっては、ＴＶ動画コンテンツを転送することによりＬＡＮ（Local Area Network）帯域が過度に圧迫され、ネットワーク遅延が生ずる可能性がある。例えば、家庭内のＬＡＮ帯域は小さいことが多いため、ネットワーク遅延が生じ易い。

インターネット経由でパソコンに保存された動画を移動端末によりストリーミング形式で視聴すると、動画の再生レートよりもネットワーク伝送レートが低くなる場合があり、動画の再生時にフレームの欠落を招く虞がある。

このようなフレーム欠落を防ぐための方法として、映像表示側の移動端末のハードウェアに、バッファを設けるようにすることが考えられる。しかしながら、携帯移動端末は動画の受信に十分なバッファを実装するためのスペースを確保できない。

一方、ネットワーク帯域幅の変化に応じて適応的に伝送率を変化させてマルチメディアストリーミングサービスを提供するシステムがある。このシステムは、マルチメディアストリーミングサーバとマルチメディアストリーミングクライアントとから構成される。マルチメディアストリーミングサーバは、サービスしようとするマルチメディアデータに対応するメタデータの分析結果及び外部から入力されたネットワーク帯域幅情報に応じて、所定のサービス品質レベルに応じたマルチメディアデータをストリーミングする。そして、マルチメディアストリーミングクライアントは、マルチメディアデータを受信した時間及びマルチメディアデータのサイズ情報を利用して、マルチメディアストリーミングサーバが接続されたネットワークの帯域幅を測定する。マルチメディアストリーミングクライアントは、この測定したネットワーク帯域幅情報をマルチメディアストリーミングサーバに伝送する。

また、以下のようなトラフィック制御を行う情報処理システムがある。情報処理システムは、動画配信サーバ、動画配信サーバから配信される動画データを再生する動画再生プログラムを備える中継サーバ、中継サーバから動画データの再生データに応じた画面情報を受け取って画面出力するクライアント端末を備える。そして、情報処理システムは、動画配信サーバ、中継サーバ、クライアント端末の間におけるトラフィック制御を行う。また、情報処理システムは、中継サーバとクライアント端末との間の通信回線Ａについて通信品質を測定する品質測定手段を備える。また、情報処理システムは、測定した通信回線Ａの通信品質ａが許容する通信データ量の画面情報の量に対応した、動画配信サーバと中継サーバとの間の通信回線Ｂでの動画データの配信量を特定する上流特定手段を備える。さらに、情報処理システムは、通信回線Ｂを介して動画配信サーバから中継サーバへ配信される動画データの量が、特定した動画データの配信量となるべく制御する上流制御手段を備える。

特開２００４−１１２７８９号公報 特開２００９−０６０４２５号公報 特開平１０−１５５１４９号公報

しかしながら、上記いずれの構成もネットワークの帯域幅に応じてストリーミングのサービスの品質を変更する構成であり、動画の再生レートより伝送レートが低いネットワーク環境では、伝送前のデータ本来の画質と比較すると、再生時の画質が低下する。

そこで、１つの側面では、本発明は、帯域幅の狭いネットワークを介して保存先から送信された動画データの再生品質を向上させることを目的とする。

一態様の第１の情報処理装置は、記憶部、監視部、削除部、フレーム情報生成部、及び送信部を含む。記憶部は、第１の動画データを記憶する。監視部は、通信ネットワークの状態を監視する。削除部は、監視の結果に応じて、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１のフレームレートより少ない第２のフレームレートになるように、第１の動画データのいずれかのフレームを削除して、第２の動画データを生成する。フレーム情報生成部は、削除されたフレームに関するフレーム情報を生成する。送信部は、第２の動画データとフレーム情報とを送信する。

第２の情報処理装置は、受信部、補完画像生成部、及び動画データ生成部を含む。受信部は、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１のフレーム数より少ない第２のフレームレートになるように、第１の動画データのいずれかのフレームが削除されて生成された第２の動画データと削除されたフレームに関するフレーム情報とを受信する。補完画像生成部は、フレーム情報を用いて削除されたフレームの画像を補完する補完画像を生成する。動画データ生成部は、補完画像を第２の動画データの削除されたフレームの位置に挿入し、第１のフレームレートの動画データを生成する。

本実施形態に係る情報処理システムによれば、保存先からネットワークを介して送信された動画データの再生品質を向上させることができる。

本実施形態に係る情報処理システムのブロック図の一例を示す。 本実施形態に係る情報処理システムの構成の一例を示す。 ビデオデータのメタ情報の構造の一例を示す。 本実施形態に係る情報処理システムのシーケンス図（その１）の一例を示す。 本実施形態に係る情報処理システムのシーケンス図（その２）の一例を示す。 動画データの送信端末におけるフレームレートの調整を説明するための図を示す。 フレームの削減処理のフローチャートを示す。 フレーム削除方法について説明するための図を示す。 送信端末のフレーム削除における動作フローチャートを示す。 削除フレームが見つからない場合の削除処理動作を説明するための図を示す。 受信端末のデコード処理を説明するための図を示す。 受信端末によるフレーム再構築のフローチャートである。 受信端末のフレーム復元における動作フローチャートを示す。 本実施形態における動画サーバの構成の一例を示す。 本実施形態に係るサーバまたはパソコンのハードウェア構成の一例を示す。 本実施形態に係る移動端末のハードウェア構成の一例を示す。 本実施形態（変形例）における情報処理システムの構成の一例を示す。

図１は、本実施形態に係る情報処理システムの機能ブロック図の一例である。第１の情報処理装置１は、記憶部２、監視部３、削除部４、フレーム情報生成部５、送信部６を含む。記憶部２は、第１の動画データを記憶する。監視部３は、通信ネットワーク１１の状態を監視する。また、監視部３は、通信ネットワーク１１の帯域幅を監視する。

削除部４は、監視の結果に応じて、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１のフレームレートより少ない第２のフレームレートになるように、第１の動画データのいずれかのフレームを削除して、第２の動画データを生成する。また、削除部４は、連続するフレーム間で、類似度が所定の閾値以上である連続するフレームのいずれかを削除する。また、削除部４は、フレームを削除して第２のフレームレートを調整し、動画データの解像度を調整することにより、配信される動画データの伝送レートを前記帯域幅に応じた所定の値以下とする。

フレーム情報生成部５は、削除されたフレームに関するフレーム情報を生成する。また、フレーム情報生成部５は、フレーム情報を第２の動画データに関するメタ情報に付加する。また、フレーム情報は、削除されたフレームの開始番号と削除されたフレームの期間を含む。送信部６は、第２の動画データとフレーム情報とを送信する。また、送信部６はメタ情報を送信する。

第２の情報処理装置７は、受信部８、補完画像生成部９、及び動画データ生成部１０を含む。受信部８は、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１のフレーム数より少ない第２のフレームレートになるように、第１の動画データのいずれかのフレームが削除されて生成された第２の動画データと削除されたフレームに関するフレーム情報とを受信する。補完画像生成部９は、フレーム情報を用いて削除されたフレームの画像を補完する補完画像を生成する。また、補完画像生成部１０は、削除されたフレームの前後のフレームの変化点に基いて補完画像を生成する。動画データ生成部１０は、補完画像を第２の動画データの削除されたフレームの位置に挿入し、第１のフレームレートの動画データを生成する。

このような構成とすることで、ネットワークの帯域幅に応じて動画データの伝送レートまたはフレームレートを変更することができる。さらに、動画の再生レートより伝送レートが低いネットワーク環境を介して動画データを受信し、受信側で十分な動画再生のためのバッファを確保できない場合であっても、送信前の動画データ本来のフレームレートで動画データを再生することが可能となる。また、送信前に削除するフレームを、連続するフレーム間で、類似度が所定の閾値以上であるフレームとすることで、受信側で復元する動画データの品質を向上させることができる。

本実施形態のシステム構成の一例を説明する。図２は、本実施形態に係る情報処理システムの構成の一例を示す。

情報処理システムは、動画データを保存するパソコン３３、パソコン３３から動画データを受信し移動端末３５に転送するサーバ３１、サーバ３１から受信した動画データを再生可能な移動端末３５、を含む。パソコン３３は、第１の情報処理装置の一例である。サーバ３１は、第１の情報処理装置及び第２の情報処理装置の一例である。移動端末３５は、第２の情報処理装置の一例である。家庭内のＬＡＮ（Local Area Network）側に存在するパソコン３３はルータ３２を介してＷＡＮ（Wide Area Network）側へ接続される。また、通信キャリア３４を通じて移動端末３５とサーバ３１は接続される。

パソコン３３は、例えば家庭内に配置され、ネットワークを介してサーバ３１に接続される。パソコン３３は移動端末３５からサーバ３１を介してアクセスされる動画データを格納する。サーバ３１からパソコン３３へのアクセスは、認証機能によりアクセス制限される。また、パソコン３３は、アクセスされるサーバ３１毎にそのサーバ３１に対して提供可能な動画ファイルの一覧情報を含むファイルを保持する。または、パソコン３３は、サーバ３１をアクセスする移動端末３５毎に移動端末３５に提供可能な動画ファイルの一覧情報を含むファイルを保持してもよい。パソコン３３は、サーバ３１からネットワークの状態の監視結果を受信し、監視状況に応じて動画ファイルのフレームを削除してサーバ３１に配信する。尚、パソコン３３は、サーバ３１機能を有するホストコンピュータでもよいし、動画ファイルを格納しネットワークに接続されたストレージ装置でもよい。

サーバ３１は、パソコン３３及び移動端末３５にネットワークを介して接続される。サーバ３１は、移動端末３５からパソコン３３に保存された動画ファイルに対する視聴要求を受信する。サーバ３１は移動端末３５との接続を確立するための認証機能を有する。サーバ３１は視聴要求のあった動画ファイルをパソコン３３から取得し、移動端末３５に転送する。サーバ３１は、サーバ３１と移動端末３５間及びサーバ３１とパソコン３３間のネットワークの帯域を統合的に監視する機能を有する。サーバ３１はネットワークの監視状況に応じて動画ファイルのフレームを削除して移動端末３５に配信する。

移動端末３５は、ネットワークを介してサーバ３１に接続される。移動端末３５はパソコン３３に保存された再生動画の指定をユーザから受け付ける。また、移動端末３５は、再生する動画の解像度の指定をユーザから受け付ける。移動端末３５は、サーバ３１から動画データをストリーミング形式で受信し、受信した動画データのうち送信時に削除されたフレームがあれば、そのフレームに対応する補完フレームを生成して、動画データに挿入する。それにより、パソコン３３においてフレームを削除する前の動画データを不可逆的に復元する。そして、移動端末３５は復元した動画データを再生する。復元処理を行うことで、移動端末３５は動画データをパソコン３３に保存されていた動画データと同じフレームレートで再生する。

尚、以下の説明では、パソコン３３からサーバ３１に対してデータを配信することを上り（アップロード）と記し、サーバ３１から移動端末３５にデータを送信することを下り（ダウンロード）と記すことがある。また、動画データの送信元となるパソコン３３またはサーバ３１を送信端末、動画データの受信側となるサーバ３１または移動端末３５を受信端末と記すことがある。さらに、パソコン３３において削除されるフレームを削除フレームと記すことがある。

ここでビデオデータのメタ情報の構造を説明する。ビデオデータのメタ情報はビデオデータとともに送信端末から受信端末へと送付される。パソコン３３は削除したフレームの情報をメタ情報に付加させ、移動端末３５はこのメタ情報を用いて動画データを復元する。図３は、ビデオデータのメタ情報の構造の一例を示す。

メタ情報は、動画データに関する情報であり動画データに対応付けられる。メタ情報は、フォーマットサイズ（コンテンツ解像度）１４４、映像タイトル１４５、映像時間１４６、作成日１４７、内容１４８、削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３を含む。

フォーマットサイズ（コンテンツ解像度）１４４、映像タイトル１４５、映像時間１４６、作成日１４７、内容１４８は、パソコン３３に保存された動画データが有するものである。フォーマットサイズ（コンテンツ解像度）１４４、映像タイトル１４５、映像時間１４６、作成日１４７、内容１４８は、それぞれ、対応する動画データの、フォーマットサイズ（コンテンツ解像度）、映像タイトル、映像時間、作成日、内容である。

削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３は、送信端末においてフレームを削除する場合に、メタデータに付加されるデータ項目である。削除フレーム開始番号１４１は、送信端末により削除されるフレームのフレーム番号である。削除フレーム期間（フレーム数）１４２は、削除されるフレームが連続する場合の期間を示し、例えば、削除フレームの連続数で表される。タイムスタンプ１４３は、削除フレームのタイムスタンプであり、タイムスタンプ１４３は、映像フレーム単位に再生開始からの秒数をつけ定義するものである。

削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３は、所定期間毎（例えば１秒毎）の削除フレームの情報である。よって、所定期間内に削除フレームが複数ある場合には、削除フレーム毎に対応付けた、削除フレーム開始番号１４１、削除フレーム期間１４２、タイムスタンプ１４３のデータ項目が、メタ情報に付加される。

ここで、削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３は、再開始フレームのフレーム番号、再開始フレームの期間（フレーム数）、再開始フレームのタイムスタンプでもよい。本実施形態では、削除される映像フレームは連続するものであるため、開始されるフレーム番号とそのフレーム期間の情報があれば、移動端末３５での映像再生のときに削除されるフレーム開始番号とその期間を事前に認識できる。そのため、移動端末３５で削除フレームの開始番号とその期間の補完を行ってもよい。また、タイムスタンプ１４３は、削除フレーム開始番号１４１及び削除フレームに対応するオーディオフレームのタイムスタンプを用いて補完することにより、メタ情報に含めない構成としてもよい。

図４Ａ、図４Ｂは本実施形態にかかる情報処理システムのシーケンス図である。図４Ａ、図４Ｂは、動画データが保存されるパソコン３３と、パソコン３３から動画データを取得して動画を視聴可能な移動端末３５と、移動端末３５とパソコン３３とのデータ転送を中継するサーバ３１と、の動作関係を表している。

移動端末３５はパソコン３３に保存された動画データを取得するために、移動端末３５とパソコン３３とを中継するサーバ３１に接続を行う（Ｓ４０１）。接続の確立前に、サーバ３１は接続要求のあった移動端末３５の正当性を確認するために認証を行う（Ｓ４０２）。また、サーバ３１は移動端末３５の認証と同時に、移動端末３５の解像度を認識する。認証が成功した場合、サーバ３１は移動端末３５に機器承認応答を行う（Ｓ４０３）。

次に、サーバ３１は移動端末３５から要求のあった動画データが保存されているパソコン３３に接続を行う（Ｓ４０４）。パソコン３３とサーバ３１の接続確立時にも接続の正当性を確認するための認証が行われる。認証が成功した場合、パソコン３３は接続応答をサーバ３１に送信する（Ｓ４０５）。

次に、パソコン３３は提供可能な動画の一覧情報を、サーバ３１を介して移動端末３５に通知する（Ｓ４０６）。提供可能な動画の一覧は、移動端末３５毎に、または、サーバ３１毎に予め設定して、パソコン３３にファイルとして保存されてもよい。また、移動端末３５の解像度の情報をサーバ３１から受信し、その情報に応じて、パソコン３３は、動画データのうち移動端末３５が再生することができる動画を判定してもよい。

通知された一覧が移動端末３５の画面に表示されると、ユーザは、移動端末３５を操作して、再生する動画を選択する。移動端末３５は、サーバ３１に対して、選択された再生動画の配信要求（以下、再生動画要求と記す）を行う（Ｓ４０７）。

次に、サーバ３１は移動端末３５とサーバ３１間及びパソコン３３とサーバ３１間のネットワークの帯域幅を監視するための情報収集作業を行う（Ｓ４０８、Ｓ４０９）。

次に、サーバ３１は移動端末３５から受信した再生動画要求をパソコン３３に対して送信する（Ｓ４１０）。パソコン３３は再生動画要求を受信すると、再生動画要求で指定のあった動画に関するメタ情報をサーバ３１に通知する（Ｓ４１１）。

次に、サーバ３１はパソコン３３とサーバ３１間の動画送信の品質監視（以下、上り配信品質監視と記す）を行う（Ｓ４１２）。具体的には、パソコン３３が送信する動画データのデータ量が、安定的に送受信可能なデータ量の範囲内に収まるように、動画データのフレームレートを決定する。すなわち、動画の転送で使用する帯域幅が、ネットワークの帯域幅以下となるように、サーバ３１は送信する動画データのフレームレートを調整するための調整量を決定する。

次に、サーバ３１は配信品質監視において決定した送信動画のフレームレートをパソコン３３に通知する（Ｓ４１３）。さらにサーバ３１は、Ｓ４０２で認識した移動端末３５の解像度をパソコン３３に通知し、動画データの解像度を移動端末３５の解像度に合わせて変更するようにパソコン３３に指示する（Ｓ４１４）。

パソコン３３は、上り配信品質監視結果と解像度の変更要求を受信すると、受信した結果及び要求に応じて、配信する動画のフレームレートの調整と解像度の変更を行う（Ｓ４１５）。フレームレートの調整は、連続するフレームの類似度に基いてフレームを削除することで行う。そして、パソコン３３は削除したフレームの情報をメタ情報に付加し、変更した解像度の情報をメタ情報に反映する（Ｓ４１６）。そして、パソコン３３は変更したメタ情報をサーバ３１に通知する（Ｓ４１７）。

サーバ３１はパソコン３３からメタ情報を受信すると、サーバ３１と移動端末３５間の動画送信の品質監視（以下、下り配信品質監視と記す）を行う（Ｓ４１８）。具体的には、動画の転送で使用する帯域幅が、サーバ３１と移動端末３５間のネットワークの帯域幅以下となるように、サーバ３１は送信する動画データのフレームレートを調整するための調整量を決定する。このときサーバ３１は、パソコン３３で変更した動画データの変更情報を移動端末３５が動画再生時に認識できるように、動画データの変更情報を再生情報変更要求として移動端末３５に通知する（Ｓ４１９）。そして、サーバ３１は下り配信品質監視において決定した送信動画のフレームレートをパソコン３３に通知する（Ｓ４２０）。

パソコン３３は、下り配信品質結果を受信すると、受信の結果に応じて配信する動画のフレームレートの調整を行う（Ｓ４２１）。フレームレートの調整は、連続するフレームの類似度に基いてフレームを削除することで行う。そして、パソコン３３は削除したフレームの情報をメタ情報に付加する（Ｓ４２２）。そして、パソコン３３は変更したメタ情報をサーバ３１に通知する（Ｓ４２３）。

次に、サーバ３１は配信動画の変更情報を移動端末３５に通知する（Ｓ４２４）。移動端末３５はサーバ３１から再生情報通知を受信すると、配信動画の変更を認識し、再生設定応答をサーバ３１に行う（Ｓ４２５）。

次に、サーバ３１はストリーミング開始要求をパソコン３３に通知する（Ｓ４２６）。パソコン３３はサーバ３１からストリーミング開始要求を受信すると、サーバ３１を介して移動端末３５にストリーミング開始応答を行う（Ｓ４２７）。そしてパソコン３３はサーバ３１に対してストリーミングデータを配信する（Ｓ４２８）。そしてサーバ３１はストリーミングデータを受信すると、移動端末３５に対してストリーミングデータの配信を行う（Ｓ４２９）。

移動端末３５はストリーミングデータを受信すると、受信したデータをデコード（Ｓ４３０）する。そして、移動端末３５は、Ｓ４１５、Ｓ４２１で削除されたフレームに対応する補完フレームを生成し動画データに挿入することにより、動画データを復元する（Ｓ４３１）。そして、移動端末３５は、復元した動画データを再生する（Ｓ４３２）。

そして、所定のデータ量ごとにＳ４０８〜Ｓ４３２の動作が繰り返され、パソコン３３による動画データのストリーミング配信と移動端末３５による再生が行われる。

尚、図４Ａ、図４Ｂでは、サーバ３１は、上り配信品質監視と下り配信品質監視の結果を個別にパソコン３３に通知しているが、上り配信品質監視と下り配信品質監視を同時に行い、その結果をまとめてパソコン３３に通知してもよい。その場合、サーバ３１は、上り配信品質監視で決定される配信動画のフレームレートと、下り配信品質監視で決定される配信動画のフレームレートとを比較し、フレームレートの低い方の値をパソコン３３に通知する。そして、パソコン３３は受信したフレームレートとなるように配信動画のフレームレートを調整する。

また、図４では、下り配信品質監視の結果を受けて配信動画のフレームレートを調整する動作（Ｓ４２１、Ｓ４２２）はパソコン３３が実行しているが、サーバ３１がパソコン３３からストリーミングデータを受信した（Ｓ４２８）後に、サーバ３１が実行してもよい。また、パソコン３３はフレームレートを調整する動作（Ｓ４２１、Ｓ４２２）前に、移動端末３５に対して、フレームレートを変えるか否かを問い合わせてもよい。その場合、移動端末は、ユーザからフレームレートを調整するか否かの指示を受け付け、結果を移動端末に転送する。ここで、移動端末３５は、フレームレートを調整する代わりに動画の解像度を変更させる指示や、接続する回線を変更させる指示を受け付けて、結果を移動端末に転送してもよい。

次に、移動端末３５とサーバ３１、サーバ３１とパソコン３３の間の接続動作（Ｓ４０１、Ｓ４０４）について詳細に説明する。

移動端末３５には、動画を再生するためのアプリケーションプログラム（以下、アプリケーションと称する）がインストールされており、アプリケーションにより目的とするサーバ３１に接続する。目的とするサーバ３１の指定はユーザが選択できる構成としてもよいし、予めアプリケーションに設定されている構成としてもよい。移動端末３５は例えば３Ｇ（3rd Generation）回線のように接続するときにその回線を指定してインターネットに接続することができる。また、移動端末３５とパソコン３３はインターネットを経由してのＰ２Ｐ（Peer to Peer）接続を可能とする。

サーバ３１と移動端末３５間、サーバ３１とパソコン３３間の接続確立時には認証が行われるが、そこで用いられる認証情報は、例えば、各機器の、ＩＰアドレス、ＭＡＣアドレスなどの固有機器情報などである。認証情報はサーバ３１上で管理され、ＩＰアドレスや固有機器情報を、移動端末３５と移動端末３５が接続可能なパソコン３３とを対応付けて、移動端末３５毎にグループ化して格納される。尚、１つの移動端末３５に対して１つのパソコン３３を対応付けてもよいし、複数と対応付けてもよい。

移動端末３５とサーバ３１の接続確立時の動作について説明する。サーバ３１は、移動端末３５から接続要求を受信すると、接続要求のあった移動端末３５のＩＰアドレスまたは固有機器情報と、サーバ３１に保存されているＩＰアドレスまたは固有機器情報と、を照合する。照合の結果が一致すれば、サーバ３１は認証が成功したとして接続を確立する。尚、認証には種々の認証技術が用いられてもよく、パスワード認証方式や電子証明書認証方式等を用いてもよい。

次に、サーバ３１とパソコン３３の接続確立時の動作について説明する。サーバ３１は移動端末３５との接続を確立した後、その移動端末３５に対応するパソコン３３に接続を行う。具体的には、サーバ３１に保存されている認証情報において１つの移動端末３５に対して１つのパソコン３３が対応付けられている場合、サーバ３１は認証情報を確認して移動端末３５に対応するパソコン３３に接続を行う。もしくは、移動端末３５がサーバ３１との接続を確立する際に、移動端末３５が接続先のパソコン３３を指定し、サーバ３１は指定されたパソコン３３に接続する構成にしてもよい。

サーバ３１からの接続要求を受けたパソコン３３は、アクセス要求のあったサーバ３１が正当なものか否かの認証を行う。認証にはサーバ３１が移動端末３５に対して行う認証と同様、種々の認証技術が用いられる。または、パソコン３３が保有する動画ファイルやパソコン３３のディレクトリ（フォルダ）にアクセス権限を付与してアクセス制御を行ってもよい。

尚、パソコン３３とサーバ３１、サーバ３１と移動端末３５間は、ＶＰＮ（Virtual Private Network）等の高セキュリティのネットワーク技術を用いて接続してもよい。さらに、パソコン３３とサーバ３１、サーバ３１と移動端末３５間のデータ伝送において、伝送されるデータは種々の暗号化技術により暗号化されてもよい。また、サーバ３１とパソコン３３は同一イントラネット内に配置されてもよい。

次に、サーバ３１によるネットワークの帯域幅を監視するための情報収集作業（Ｓ４０８、Ｓ４０９）について詳細に説明する。

サーバ３１は、移動端末３５とサーバ３１間、及び、パソコン３３とサーバ３１間の帯域幅を監視する。先ず移動端末３５とサーバ３１間の帯域幅の監視について説明する。

サーバ３１は移動端末３５に接続されるネットワークの帯域幅を検出するために、移動端末３５に対して帯域検出用のパケットを送信する。送信パケットにはサーバ３１が送信した時刻が記録されている。移動端末３５はパケットを受信した際に受信時刻を計測し、これをパケットに記録された送信時刻と比較する。それにより移動端末３５は一定量のパケットがサーバ３１から移動端末３５まで到達するまでにかかる時間を算出することができる。移動端末３５はここで得られた帯域監視情報をサーバ３１に転送する。尚、サーバ３１は、一定量のデータを複数のパケットに分割して、最初のパケットをサーバ３１が送信してから最後のパケットを移動端末３５が受信するのに要した時間を計測することにより、帯域監視情報を取得してもよい。

次に、パソコン３３とサーバ３１間の帯域幅の監視について説明する。サーバ３１はパソコン３３に対して帯域監視のためのパケットをサーバ３１に送信するように指示する。パソコン３３は指示を受信すると、帯域検出用のパケットをサーバ３１に送信する。送信パケットにはパソコン３３がパケットを送信した時刻が記録されている。サーバ３１はパケットを受信した際に受信時刻を計測し、これをパケットに記録された送信時刻と比較することで、一定量のパケットがパソコン３３からサーバ３１まで到達するまでにかかる時間を算出する。尚、パソコン３３は、一定量のデータを複数のパケットに分割して、最初のパケットをパソコン３３が送信してから、最後のパケットをサーバ３１が受信するまでに要した時間を計測することにより、帯域監視情報を取得してもよい。

尚、帯域の監視のためのパケットの送信は、実動画映像の再生に問題がない範囲において行う。ここで、帯域の監視には帯域を監視するためのコマンドを送付することにより行ってもよいし、ｐｉｎｇ等のコマンドを送付し、その応答時間を計測することによって行ってもよい。また、パソコン３３がサーバ３１を介して移動端末３５にパケットを送付することで、一度にパソコン３３とサーバ３１間とサーバ３１と移動端末３５間の帯域幅の監視を行ってもよい。尚、帯域幅の監視のみではなく、伝送遅延から回線のトラフィックの監視を行ってもよい。

一方、インターネット接続する回線は種類毎に１秒間にデータの送信（または受信）を安定的に可能とする情報量が規定されている。サーバ３１はこの規定の情報量と帯域監視情報とによって、単位時間当たりに安定的に送受信可能なデータ量（使用量）を判定する。

ここで、サーバ３１は、帯域監視動作後（Ｓ４０８、Ｓ４０９後）、監視の結果を移動端末３５に送信し、ユーザが移動端末３５により帯域監視の結果を確認して再生する動画の解像度を指定してもよい。その場合、指定した解像度情報は配信品質監視において用いられる。

次に、サーバ３１による上り及び下りの配信品質監視動作（Ｓ４１２、Ｓ４１８）について詳細に説明する。

配信品質監視では、サーバ３１は、送信する動画のデータ量と安定的に送受信可能なデータ量とを比較し、安定的に送受信可能なデータ量の範囲内に送信する動画のデータ量が収まるように、動画データのフレームレートの調整量を決定する。ここで決定された動画データのフレームレートを、以下の説明では、送信用フレームレートと記す。

上り配信品質監視では、サーバ３１とパソコン３３間のネットワークにおいて安定的に送受信可能なデータ量の範囲内に、パソコン３３から送信する動画のデータ量が収まるように、送信する動画データのフレームレートの調整量を決定する。先ず、サーバ３１は、サーバ３１とパソコン３３の間の帯域監視の結果からサーバ３１とパソコン３３間の使用可能な帯域幅を判定する。もしくは、帯域監視の結果と回線の伝送路容量とからサーバ３１は使用可能な帯域幅を判定する。そして、サーバ３１は、動画データの、解像度、ビット色、圧縮率、及びフレームレートから動画データの伝送ビットレートを算出する。そしてサーバ３１は、使用可能な帯域幅に、算出した伝送ビットレートが収まるように、動画データのフレームレートの削除量を導出する。

同様に、下り配信品質監視では、サーバ３１と移動端末３５間のネットワークにおいて安定的に送受信可能なデータ量の範囲内に、サーバ３１から送信する動画のデータ量が収まるように、送信する動画データのフレームレートの調整量を決定する。先ず、サーバ３１は、サーバ３１と移動端末３５の間の帯域監視の結果から、サーバ３１と移動端末３５間の使用可能な帯域幅を判定する。もしくは、帯域監視の結果と回線の伝送路容量とから使用可能な帯域幅を判定する。そして、サーバ３１は動画データの、解像度、ビット色、圧縮率、アクティビティレベル、及びフレームレートから動画データの伝送ビットレートを算出する。そしてサーバ３１は、使用可能な帯域幅に算出した伝送ビットレートが収まるように、動画データのフレームレートの削除量を導出する。尚、アクティビティレベルは、ストリームに対するパケットの送信頻度であり、例えば動画データの内容によって変化する。例えば無音の映像データの場合、オーディオストリームを送信する必要はなく、オーディオストリームのアクティビティレベルは０になる。

次に、配信品質監視の動作について、具体例を示して説明する。サーバ３１とパソコン３３間の回線は、帯域幅が最大94Mbpsの光回線と仮定する。尚、以下の例では、動画データはコーデックにおいて固定ビットレートでエンコードされると想定する。

動画送信のために使用可能な帯域幅は、ネットワーク内の他のアプリケーション等によるトラフィックにも依存するため、常に100%使用できるというわけではない。そこで、サーバ３１は帯域監視を行い、すなわち、一定量のパケットがパソコン３３からサーバ３１まで到達するまでにかかる時間を算出し、ネットワークのトラフィック状況を把握する。このトラフィック状況に基いて、動画配信のために保証される帯域幅の、回線の最大伝送速度に対する割合をY%と定義する。ここでは、Y＝1と仮定する。

動画データは、例えば解像度が1280[dot per inch(dpi)]×720[dpi]のフルＨＤ（full high definition）、ビット色が8、フレームレートが24ｆｐｓとする。この動画データのビットレートは、（1280×720（解像度））×（3（RGB）×256（8ビット色））×24（フレーム）＝17Gbpsになる。この値は１フレームが未圧縮状態である場合の値である。

ここで例えばMPEG（Moving Picture Experts Group）等の圧縮方式は、例えば、フルのIピクチャ（Intra picture）、1/2サイズのPピクチャ（Predictive picture）、1/4サイズのBピクチャ（Bi-directional predictive picture）を含み、それらは、1:4:10の割合で構成されている。そのため、動画データの圧縮率は約11/30になる。さらに、例えば、MPEG-AVCは、移動部分だけの差異データであるため、さらにおおよそ1/24に圧縮される。よって動画データは11/30×1/24=11/720に圧縮されると想定する。

この圧縮を考慮すると動画データの伝送ビットレートは、17Gbps×11/720=259Mbpsとなる。ここで、動画データは、再生する移動端末３５の解像度に合わせて圧縮が可能である。例えば、サーバ３１が認識した移動端末３５の解像度が800×480である場合を考える。この場合、動画データは送信前に、800×480/1280×720=0.42倍に圧縮することができる。

ここで、元の動画データは解像度が大きい装置で表示するコンテンツであり、解像度が小さい移動端末３５で動画データを再生する場合、動画データの解像度を移動端末３５の解像度まで落としても見た目が変化することはない。また、移動端末３５の映像再生チップの性能は動画データが含む情報量を全て活用できないことが多く、映像の細かい変化を再現できない。

よって、サーバ３１が認識した移動端末３５の解像度に基いた解像度をA、フレーム数をBとする。A=800×480、B=24の場合、動画データの伝送ビットレートは、A×(RGB各色フレーム:3×256)×B×11/720=(800×480)×(3×256)×24×11/720≒108Mbpsとなる。

しかしながら、この値は上りの帯域幅である94Mbps以下ではない。そこで、送信端末は動画データの伝送ビットレートが上りの帯域幅以下となるようにフレームを削除して送信する。削除前のフレームに対する削除後フレームの割合をEとすると、108M×E≦94Mが成立すればよいから、E≦0.87となる。24×E、すなわち、24×0.87=20.88であるため、送信する動画データのフレームレートは20ｆｐｓに変更されればよい。

ここで、動画データを受信する受信端末に、受信したデータを保存するために十分な記憶領域が確保できる場合は、フレーム削除処理を行わなくてもよい。

下りの送信動画の品質監視の動作についても、上りの品質監視と同様に、安定的に送受信可能なデータ量の範囲内に送信する動画のデータ量が収まるように、動画データのフレームレートの調整量を決定する。

サーバ３１と移動端末３５間の通信規格をＬＴＥ（Long Term Evolution）と仮定する。この場合の帯域幅を最大75Mbpsと仮定する。また、動画配信のために保証される帯域幅の、回線の最大伝送速度に対する割合をZ%と定義する。ここでは、Z＝1と仮定すると下り帯域は77Mbpsとなる。

上りの場合の例で示したように、サーバ３１が認識した移動端末３５の解像度に基いた解像度をA、フレーム数をBとする。A=800×480、B=24の場合、動画データの伝送ビットレートは、A×(RGB各色フレーム: 3×256)×B×11/720=(800×480)×(3×256)×24×11/720≒108Mbpsとなる。

そこで、送信端末は動画データの伝送ビットレートが下りの帯域幅以下となるようにフレームを欠落させて送信する。欠落前のフレームに対する欠落後フレームの割合をEとすると、108M×E≦77Mが成立すればよいから、E≦0.71となる。24×E、すなわち、24×0.71=17.04であるため、送信する動画データのフレームレートは17ｆｐｓに変更されればよい。

尚、サーバ３１とパソコン３３間のフレームレートの調整は、サーバ３１とパソコン３３間の帯域だけでなく、サーバ３１と移動端末３５間の帯域幅を考慮し、どちらか小さい方の帯域幅に合わせて調整してもよい。また、ネットワークの回線を複数種類選択できる場合には、配信品質監視の結果に応じて、サーバ３１は帯域幅の異なる回線に切り替える構成としてもよい。その場合、サーバ３１は、配信品質監視で算出した動画の伝送レートにおいて、安定的に送信可能なネットワーク回線を検索して、そのネットワーク回線に切り替える。

次に、配信品質監視において決定された動画データのフレームレート以下となるように、配信する動画データのフレームを削除する動作について説明する。

図５は、動画データの送信端末におけるフレームレートの調整を説明するための図である。フレームレートの調整は、動画の送信端末、すなわち本実施形態においてはパソコン３３またはサーバ３１で行われる。

ファイルデコーダ５１は、ストリーミングデータをビデオデータとオーディオデータに分離する。そして、ファイルデコーダ５１は分離したビデオデータをビデオエンコーダ５３に出力し、分離したオーディオデータをオーディオエンコーダ５５に出力する。さらに、ファイルデコーダ５１はストリーミングデータのメタ情報をフレーム制御部５２に送信する。

フレーム制御部５２は、ビデオデータのうち、フレームレートが送信用フレームレート以下となるように、削除するフレームを決定する。そして、フレーム制御部５２は削除したフレームに関する情報をメタ情報に付加する。すなわち、フレーム制御部５２は、メタ情報の削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３に、削除したフレームの情報を格納する。

ファイルデコーダ５１より出力されたビデオデータは、ビデオエンコーダ５３に入力される。ビデオエンコーダ５３は、ビデオデータからフレーム制御部５２により決定された削除フレームを削除し、再度フレームを構築する。そして、ビデオエンコーダ５３は再構築したフレームを送信用の形式にエンコードする。エンコードした結果ビデオデータは、例えばＲＴＭＰ（Real Time Messaging Protocol）形式のパケット等に分割もしくは集約される。ビデオエンコーダ５３はエンコードしたビデオデータをビデオメモリ５４に出力し、ビデオメモリ５４からエンコードされたビデオデータが受信端末に送信される。

一方、ファイルデコーダ５１により分離されたオーディオデータはオーディオエンコーダ５５に入力される。オーディオエンコーダ５５は受信したオーディオデータを送付用の形式に変換してオーディオメモリ５６に出力する。そして、エンコードされたオーディオデータはオーディオメモリ５６から受信端末に送信される。ここで、削除されたフレームに対応するオーディオデータが削除されることはなく、オーディオデータのメタ情報も変更されずに送信される。これは、移動端末３５におけるストリーミングデータの再生時にはフレーム数はフレーム削除前の数に戻るためである。

図６は、フレームの削減処理のフローチャートを示す。
先ず、送信端末は送信するビデオデータを読み込む（Ｓ６１）。次に、送信端末は、サーバ３１による配信品質監視の結果を確認し、送信用のフレームレートを認識する（Ｓ６２）。そして、送信端末は送信用のフレームレートから削除するフレーム数を確認する（Ｓ６３）。次に、送信端末は削除フレームが存在するか否かを確認する（Ｓ６４）。削除フレームが存在しない場合は（Ｓ６４でＮｏ）、バッファ期間を増加して（Ｓ６５）、再度削除フレームが存在するか否かを確認する（Ｓ６４）。削除フレームが存在する場合は（Ｓ６４）、該当するフレームを削除し、メタ情報に削除フレームの情報を保管する（Ｓ６６）。そして、ビデオデータを送付用に再エンコードして配信する（Ｓ６７）。

Ｓ６３では、タイムレスがないデータ送信サイズを確認することになる。例えば元のフレームが２４フレームであり、ここから１７フレームまで落とさなければタイムレスなく配信ができないとなると７フレームを削除する必要がある。ここで、例えば送信ホスト及び受信ホストは、標準で持つビデオバッファとして動画データの3秒分のバッファを確保できるとする。24フレームから７フレームの削除を行うと圧縮復号後の再生品質は劣化するため、24×3 = 72フレームから、7×3 =21フレームを削除して圧縮配信をする。

図７は、フレーム削除方法について説明するための図である。フレームの削除は、動画データの時系列における前後のフレームとの近似性を利用して行われる。

送信端末からＡ〜Ｋのフレームを受信端末に送信する場合を考える。Ａ〜Ｋのフレームは送信端末の作業バッファに格納される。作業バッファは動画データの全てのフレームを格納する必要はなく、フレームの削除処理を行い、フレームレートを配信品質監視で決定されたフレームレート以下にすることができる領域があればよい。送信端末は、各フレームの直前のフレーム（フレームＢの場合はフレームＡが直前のフレームにあたる）に対する類似度を算出する。類似度の計算は、種々の手法が用いられてよいが、例えば、直前のフレームとの映像フレーム比較により導かれる相似率を類似度としてもよいし、画素値の差の二乗和（SSD: Sum of Squared Differences）を用いて計算することで、類似度を算出してもよい。類似度の算出は送信端末にて行われる。図７の類似度７１に示すように、ＢのＡに対する類似度は「６０」、ＣのＢに対する類似度は「７０」、ＤのＣに対する類似度は「９０」、以下Ｅ〜Ｋは同様に類似度７１に示すとおりとする。

送信端末は、直前のフレームに対する類似度が所定の閾値以上であるフレームを削除する。図７の例では閾値が９０である場合を示しており、直前のフレームに対する類似度が９０以上であるフレームＤ，Ｈ，Ｉが削除される。図７の例でフレームＩに示すように、直前のフレームに対する類似度が閾値以上であれば、直前のフレームが削除対象のフレーム（フレームＨ）であっても削除が行われる。すなわち、削除されるフレームＨ，Ｉのように連続する場合もありうる。フレームの削除が行われると、送信時にフレームに付随するメタ情報に、削除されたフレームＤ，Ｈ，Ｉの情報が追記される。

ここで、所定の期間内に所定の閾値以上の類似度を有するフレームが存在しない場合も考えられる。フレームの削除処理を行った結果、動画のフレームレートが、配信品質監視により決定されたフレームレート以下となる必要がある。この場合の動作の詳細は後ほど説明する。

送信端末は、削除したフレームの情報を追記したメタ情報をフレームに付随させて、サーバ３１にアップロードする。そして、アップロードされたデータは受信端末の移動端末３５にダウンロードされる。移動端末３５は、フレームＤ，Ｈ，Ｉが削除された状態の映像データを受信することとなる。移動端末３５は、映像データと同時にメタ情報を受信し、メタ情報内のフレームＤ，Ｈ，Ｉの削除情報を認識する。具体的には、移動端末３５はメタ情報の削除フレーム番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３の情報から削除されたフレームを特定する。そして、移動端末３５は削除されたフレームＤ，Ｈ，Ｉの補完フレームを生成し、その補完フレームを動画データの削除されたフレームの位置に挿入することで、動画データの復元処理を行う。

補完フレーム生成処理は、削除されたフレームの前後のフレームの変化点を平均化することにより実行する。すなわち、フレームＤの補完フレーム生成処理の場合には、フレームＣとフレームＥの変化点を平均化して、補完フレームを生成する。具体的には、先ず、フレームＣとフレームＥの、位置が対応する画素同士の画素値を比較して、画素値に差があるか否かを判定する。ここで、画素値とは、例えば、ＲＧＢ表色系、ＸＹＺ表色系、ｘｙＹ表色系、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊ｕ＊ｖ＊表色系等の種々の色空間等で表される。画素値に差がある場合、２つの画素値の平均を、生成する補完フレームの対応する位置の画素の画素値とする。画素値に差がない場合は、対応する位置の画素の画素値は、前後のフレームと同じ値とする。

また、削除フレームが連続する場合は、削除フレームの前後の削除されていないフレームの変化点を平均化することにより、補完フレーム生成処理を行う。この場合、例えば、削除フレームＨ，Ｉは連続するフレームであるため、フレームＨ，Ｉに対応する補完フレームＨと補完フレームＩは同等の画像となる。これは補完フレームＨ及びＩは、フレームＧとＪの変化点を平均化して復元されるからである。この場合でも、移動端末３５は解像度が低いという側面、及び、フレーム数は補完され、見た目のフレーム数が確保されるという点から、映像が大きく変わる箇所でも画質の低下なく再現される。

尚、削除フレームが連続する場合は、削除フレームの前後の削除されていないフレームの変化点を、削除フレームのタイムスタンプに応じた値とすることで補完フレームを生成してもよい。ここで、削除フレームの直前（直後）の削除されていないフレームを前（後）フレームと記す。例えば、前後のフレームの変化点の画素値の単位時間当たりの変化量を求め、その変化量に、前フレームの開始時間からの削除フレームの開始時間を乗じた値を、前フレームの画素値に加えることにより、補完フレームの画素値を求めてもよい。

削除フレームに対応する補完フレームを生成すると、移動端末３５は、補完フレームを対応する削除フレームの位置に挿入する。具体的には、移動端末３５は、対応するメタ情報の削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３の情報から特定した削除フレームの位置に補完フレームを挿入する。

次に、所定期間における閾値以上の類似度を有するフレームの数が少なく、フレーム削除後のフレームレートが、配信品質監視によって決定されたフレームレートに満たない場合の動作について説明する。この場合、送信端末はフレーム削除作業で用いる作業バッファを増やしてこれに対応する。作業バッファが格納可能なフレームの期間における動画データのフレームレートが、配信品質監視によって決定されたフレームレート以下となるようにフレームを削除する。

具体的には、Ａ〜Ｋのフレームのうち閾値以上のフレームが所定の数以上存在しない場合、さらにフレームＬ〜Ｖを作業バッファにバッファリングし、その中で類似度が閾値以上であるフレームを削除する。そして、フレームＡ〜Ｖの期間でフレームレートが、配信品質監視で決定されたフレームレート以下か否かを確認する。

図８は、送信端末のフレーム削除における動作フローチャートである。図８においては、説明のために削除処理の対象フレームのフレーム番号をｎとして説明する。

送信端末は、配信品質監視の結果で示される削除するフレームの数を認識する（Ｓ８１）。そして、送信端末はフレーム番号がｎ−１のフレームをバッファリングする（Ｓ８２）。次に、送信端末はフレーム番号がｎのフレームをバッファリングする（Ｓ８３）。そして、送信端末は、フレーム番号がｎ−１のフレームとフレーム番号がｎのフレームの類似度を計算し（Ｓ８４）、所定の閾値（この例では９０%）以上か否かを判定する（Ｓ８５）。類似度が所定の閾値未満である場合は（Ｓ８５でＮｏ）、ｎの値をインクリメントして、処理がステップＳ８２に移行する。Ｓ８５において、類似度が所定の閾値以上である場合は（Ｓ８５でＹｅｓ）、フレーム番号ｎのフレームは削除され、削除されたフレームの情報がメタ情報に追記される（Ｓ８６）。そして、ｎの値をインクリメントして、処理がステップＳ８２に移行する。すべてのフレームをバッファリングしたら処理が終了する。

図９は、削除フレームが見つからない場合の削除処理動作を説明するための図である。図９では、元のフレームから一定数のフレームを一定割合で削除するため、送信端末で映像を一定時間蓄積できるバッファ機能を有して、ストリーミング配信に対応させる。

動画サーバ３１内のストリーミングサーバ１５１は、配信する動画データを格納する。ここで動画サーバ３１は、帯域幅監視により一定期間に配信できるデータ量を確認できる。

ここで動画の所定期間内に削除フレームが存在しない場合は、バッファ制御部１５２は、後続するフレームをバッファリングして削除可能なフレームを見つけ出す。そして、フレームの削除によりビデオデータの伝送レートが帯域幅より小さくなったら、デコーダタイミング制御部１５３は、フレームが削除された動画データの配信を開始する。このときフレームが削除されたビデオデータはエンコーダサーバ１５４によりエンコードされ、移動端末３５へ配信される。尚、ビデオメモリとオーディオメモリからの各データを１つのデータとしてエンコードし、送信処理をしてもよい。移動端末３５は、サーバ３１からエンコードされた動画をファイルデコーダ９１で受信する。

本実施形態で行うフレームの削除処理は、ＭＰＥＧ２等で使用する圧縮方法とは異なる。本実施形態のフレームの削除処理では、前後のフレームで変化量が少ないフレームは、フレームそのものを削除するため、ＭＰＥＧ２等の圧縮方法に比べて大きく情報量を減らすことができる。

図１０は、受信端末のデコード処理を説明するための図である。デコード処理部は、ファイルデコーダ９１、フレーム制御部９２、ビデオデコーダ９３、ビデオメモリ９４、オーディオデコーダ９５、オーディオメモリ９６を含む。

ファイルデコーダ９１は、送信端末より受信したストリーミングデータをビデオデータとオーディオデータに分離する。そしてファイルデコーダ９１は、分離したビデオデータをビデオデコーダ９３に出力し、オーディオデータをオーディオデコーダ９５に出力する。また、ファイルデコーダ９１は、受信したストリーミングデータよりメタ情報を抽出し、フレーム制御部９２に送信する。

フレーム制御部９２は、ファイルデコーダ９１から受信したメタ情報から削除フレームを認識し、削除フレームの情報をビデオデコーダ９３に出力する。削除フレームの情報とは、例えば、削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、削除フレームのタイムスタンプ１４３を含む。また、フレーム制御部９２は、オーディオデータのタイムスタンプ及びビデオデータのタイムスタンプを受信する。また、フレーム制御部９２は、削除フレームの再構築に応じてリップシンク調整をする。

ビデオデコーダ９３は、ファイルデコーダ９１からビデオデータを受信し、フレーム制御部９２から削除フレーム情報を受信する。ビデオデコーダ９３はビデオデータをデコードする。そして、ビデオデコーダ９３はビデオデータと削除フレーム情報から削除フレームの補完フレームを生成し、フレームの再構築を行う。そして、ビデオデコーダ９３は再構築したビデオデータをビデオメモリ９４に出力する。

オーディオデコーダ９５は、ファイルデコーダ９１からオーディオデータを受信し、デコード処理を行う。そして、オーディオデータをオーディオメモリ９６に出力する。

次に、受信端末によるフレーム再構築の動作を説明する。図１１は、受信端末によるフレーム再構築のフローチャートである。

先ずビデオデコーダ９５は、削除フレームの補完フレーム生成処理を実行する（Ｓ１０１）。ビデオデコーダ９５は、フレーム処理部９２から削除フレームに関する情報を受信する。削除フレームに関する情報は、例えば、削除フレーム開始番号１４１、削除フレームの期間（フレーム数）１４２、タイムスタンプ１４３を含む。そしてビデオデコーダ９５は、削除フレームに関する情報から削除フレーム番号または再開始フレーム番号とそのフレームの時間を認識する（Ｓ１０２）。

次に、ビデオデコーダ９５は、認識した削除フレーム番号または再開始フレーム番号に基いて、生成した補完フレームにフレーム番号を割り当てる（Ｓ１０３）。

次に、ビデオデコーダ９５はフレームを所定区間検出したら（Ｓ１０４）、すなわち所定の期間のフレームを検出したら、メタ情報によってオーディオデータのフレームとビデオデータのフレームのタイムスタンプを一致させる（Ｓ１０５）。これにより、リップシンクの調整がなされ、映像と音声の同期がとれる。そして、ビデオデコーダ９５は、復元されたフレームとリップシンク処理が完了した音声データを、動画の再生アプリケーションに通知する（Ｓ１０６）。このデータを用いて移動端末３５は映像を再生する。

ここで、リップシンクについて説明する。リップシンクとは動画における音声と映像のズレである。リップシンク調整とは表示されている人を見る視聴者が違和感なく、話しているように感じられるように音声フレームと映像フレームを調整するものである。本実施形態においては、送信端末でビデオフレームを削除したため、移動端末３５では、オリジナルのタイムスタンプ情報により、受信端末で追加したビデオフレームとそれに対応するオーディオフレームのタイムスタンプの整合性がとれるように調整する。よって送信端末のフレーム削除とともに行うメタ情報変更では、オーディオフレームのタイムスタンプは変更しない。よって、オーディオフレームの中には対応するビデオフレームが存在しないものが発生することになる。従って、送信端末で変更されるメタ情報は、ビデオフレームの情報である。

図１２は、受信端末の動画データの復元処理における動作フローチャートである。図１２においては、説明のために復元処理の対象フレームのフレーム番号をｎ＋１として説明する。

受信端末は、メタデータから削除フレームの存在を確認する（Ｓ１１１）。すなわち、受信端末はメタデータに含まれる削除フレームの削除フレーム開始番号１４１、削除フレーム期間（フレーム数）１４２、タイムスタンプ１４３を認識する。そして、受信端末はその削除フレーム開始番号１４１の直前のフレーム番号を有するフレーム（ｎフレーム）をバッファリングする（Ｓ１１２）。次に、受信端末は削除フレーム開始番号１４１の直後のフレーム番号を有するフレーム（ｎ＋２フレーム）をバッファリングする（Ｓ１１３）。そして、受信端末は、ｎフレームとｎ＋２フレームの変化点を平均化して削除フレームの補完フレーム（ｎ＋１フレーム）を生成し、この補完フレームに削除フレーム開始番号１４１及びタイムスタンプ１４３を割り当てる（Ｓ１１４）。その後、受信端末はｎフレームを出力し（Ｓ１１５）、続いてｎ＋１のフレームを出力する（Ｓ１１６）。

図１３は、本実施形態におけるサーバ３１の構成の一例を示す。サーバ３１は、デコード処理部１３１、演算処理部１３２、ストレージ１３３、コンテンツサーバ１３４、ストリーミングサーバ１３５を含む。

デコード処理部１３１は、パソコン３３等の端末機器からアップロードされる動画データをデコードする。ここで、アップロードされる動画データは送付用の形式に分割または統合され、もしくは圧縮されているため、デコード処理を行い、動画データを修復する。

演算処理部１３２は、帯域幅の監視及び配信品質管理を行い、その結果に応じて動画データのフレームの削除処理及びメタ情報の変更処理を行う。

ストレージ１３３にはオペレーティングシステム、ミドルウェア、アプリケーションが格納されており、演算処理部１３２によりメモリに読み出され、実行される。

コンテンツサーバ１３４は、ストリーミング再生を行うために準備されているコンテンツが管理されており、移動端末３５はここで管理されているコンテンツから再生する動画を選択できる。

ストリーミングサーバ１３５は、動画データを移動端末３５に配信する。動画データは演算処理部１３２からフレームが削除された動画データを受信する。また、ストリーミングサーバ１３５は、配信で使用する、例えばＨＴＴＰ（HyperText Transfer Protocol）、ＨＴＴＰ／ＲＴＭＰなどのプロトコルに応じて分けられる。

図１４は、本実施形態に係るサーバ３１またはパソコン３３のハードウェア構成の一例を示す。サーバ３１またはパソコン３３は、ＣＰＵ（Central Processing Unit）１６１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１６２、シリアルポート１６３、フラッシュメモリ１６４、デジタルＩ／Ｏ、アナログＩ／Ｏ１６５を含む。また、サーバ３１またはパソコン３３はストレージ１６６、チップセット１６７、通信カード１６８、ＣＦ（Compact Flash（登録商標））インターフェースカード１６９、リアルタイムクロック１７０が含まれる。

ＣＰＵ１６１は、ストレージ１６６に保存された上述のフロー図の手順を記述したプログラムを、ＳＤＲＡＭ１６２またはフラッシュメモリ１６４を利用して実行する。また、ＣＰＵ１６１は、チップセット１６７を介して、通信カード１６８、ＣＦインターフェースカード１６９、リアルタイムクロック１７０とデータのやり取りを行う。サーバ３１またはパソコン３３は、通信カードを介して、シリアルポート１６３またはデジタルＩ／Ｏ、アナログＩ／Ｏ１６５から動画データの入出力を行う。ＣＰＵ１６１は、監視部３、削除部４、フレーム情報生成部５、送信部６、受信部８、補完画像生成部９、動画データ生成部１０の一部または全部の機能を提供する。また、ＣＰＵ１６１は動画データのエンコード、デコード、リップシンク、接続確立のための認証動作、動画データの再生を行う。ストレージ１６６は、記憶部２の一部または全部の機能を提供する。ＣＰＵ１６１は、動画データのフレーム削除処理及び動画データの復元処理を行うための一時データ保存領域（作業バッファ）としてＳＤＲＡＭ１６２を利用できる。尚、ＳＤＲＡＭ１６２はこれに限定されず種々のＲＡＭ（Random Access Memory）とすることができる。

フラッシュメモリ１６４にはカーネル、サーバ３１におけるアプリケーション、設定ファイル等が保存される。フラッシュメモリは拡張領域があり、動画データのフレーム削除処理、動画データの復元処理を行うための一時データ保存領域（作業バッファ）としても利用できる。

ＣＦ(Compact Flash（登録商標）)インタフェース１６９はサーバ３１の保守等に使うための補助機能として使用される。ストレージが内蔵されているため、多くのパソコン３３移動端末３５間のデータ処理にはこれを使用する。

リアルタイムクロック１７０は、コンピュータの時計としての機能をもつ専用のチップである。フレームのタイムスタンプはリアルタイムクロック１７０の時計に従って設定される。

実施形態の第１の情報処理装置１及び第２の情報処理装置７の一部は、ハードウェアで実現してもよい。或いは、実施形態の情報処理装置１及び第２の情報処理装置７は、ソフトウェアおよびハードウェアの組み合わせで実現してもよい。

図１５は、本実施形態に係る移動端末３５のハードウェア構成の一例を示す。移動端末３５は、図１５に示すように、ＣＰＵ２０１、メモリ２０２、記憶部２０３、読取部２０４、通信インタフェース２０６、入出力部２０７、表示部２０８を含む。なお、ＣＰＵ２０１、メモリ２０２、記憶部２０３、読取部２０４、通信インタフェース２０６、入出力部２０７、表示部２０８は、例えば、バス２０９を介して互いに接続されている。

ＣＰＵ２０１は、メモリ２０２を利用して上述のフローチャートの手順を記述したプログラムを実行する。ＣＰＵ２０１は、受信部８、補完画像生成部９、動画データ生成部１０の一部または全部の機能を提供する。また、ＣＰＵ２０１は動画データのデコード、リップシンク、動画データの再生を行う。メモリ２０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。記憶部２０３は、例えばハードディスクである。なお、記憶部２０３は、フラッシュメモリ等の半導体メモリであってもよい。動画データを再生するためのアプリケーションは、メモリ２０２または記憶部２０３に格納され、ＣＰＵ２０１によって実行される。移動端末３５は記憶部２０３を有さない構成とすることも可能である。

読取部２０４は、ＣＰＵ２０１の指示に従って着脱可能記録媒体２０５にアクセスする。着脱可能記録媒体２０５は、たとえば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。

通信インタフェース２０６は、ＣＰＵ２０１の指示に従ってネットワークを介してデータを送受信する。また、通信インタフェース２０６は、動画データを受信する。入出力部２０７は、例えば、ユーザからの指示を受け付けるデバイスに相当する。ユーザは入出力部２０７を使用して、再生する動画データの指定や動画データの解像度の指定が可能である。表示部２０８は、再生した動画データの表示を行う。

実施形態を実現するための情報処理プログラムは、例えば、下記の形態で移動端末３５提供される。
（１）記憶部２０３に予めインストールされている。
（２）着脱可能記録媒体２０５により提供される。
（３）ネットワークを介して提供される。

（変形例）
図１６は、本実施形態（変形例）における情報処理システムの構成の一例を示す。本変形例と実施形態との違いは受信端末が例えばパソコン３３のような端末機器の形態であることである。同じパソコン３３間であってもインターネットの帯域幅によっては画質劣化が確認される場合があるため、このような場合は本発明が適用されることになる。

尚、実施形態、変形例において、配信する動画データを音声が入っていない動画データとしてもよい。この場合、音声が存在しないためリップシンク調整は不要となる。

また、本実施形態におけるパソコン３３で行った処理とそれに相当する処理は、サーバ３１が行ってもよい。この場合、パソコン３３は動画データを格納する記憶部を有する。その場合、本実施形態におけるパソコン３３とサーバ３１間で行われる処理は省略できる。また、移動端末３５は、シンクライアント端末でもよい。また、本実施形態におけるデコードはＭＰＥＧ２等の規格に則って行われてもよい。

また、本実施形態では、パソコン３３からストリーミング形式で移動端末３５に動画が配信されるとしたが、配信方法はストリーミング形式に限定されない。

尚、本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ 第１の情報処理装置
２ 記憶部
３ 監視部
４ 削除部
５ フレーム情報生成部
６ 送信部
７ 第２の情報処理装置
８ 受信部
９ 補完画像生成部
１０ 動画データ生成部
１１ 通信ネットワーク

第２の情報処理装置は、受信部、補完画像生成部、及び動画データ生成部を含む。受信部は、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、第１のフレーム数より少ない第２のフレームレートになるように、第１の動画データのいずれかのフレームが削除されて生成された第２の動画データと削除されたフレームに関するフレーム情報とを受信する。補完画像生成部は、フレーム情報を用いて削除されたフレームを特定し、第２の動画データのフレームのうち、特定したフレームの前後のフレームの変化点に基づいて、削除されたフレームの画像を補完する補完画像を生成する。動画データ生成部は、補完画像を第２の動画データの削除されたフレームの位置に挿入し、第１のフレームレートの動画データを生成する。

Claims (11)

1. 第１の動画データを記憶する記憶部と、
   通信ネットワークの状態を監視する監視部と、
   前記監視の結果に応じて、前記第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１のフレームレートより少ない第２のフレームレートになるように、前記第１の動画データのいずれかのフレームを削除して、第２の動画データを生成する削除部と、
   前記削除されたフレームに関するフレーム情報を生成するフレーム情報生成部と、
   前記第２の動画データと前記フレーム情報とを送信する送信部と、
   を備える情報処理装置。
2. 前記フレーム情報生成部は、前記フレーム情報を前記第２の動画データに関するメタ情報に付加し、
   前記送信部は、前記第２の動画データと前記メタ情報を送信する
   請求項１に記載の情報処理装置。
3. 前記フレーム情報は、前記削除されたフレームの開始番号と前記削除されたフレームの期間を含む
   請求項１または２に記載の情報処理装置。
4. 前記削除部は、連続するフレーム間で、類似度が所定の閾値以上である該連続するフレームのいずれかを削除する
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記監視部は、前記ネットワークの帯域幅を監視し、
   前記削除部は、前記フレームを削除して前記第２のフレームレートを調整し、前記動画データの解像度を調整することにより、前記配信される動画データの伝送レートを前記帯域幅に応じた所定の値以下とする
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１のフレーム数より少ない第２のフレームレートになるように、前記第１の動画データのいずれかのフレームが削除されて生成された第２の動画データと前記削除されたフレームに関するフレーム情報とを受信する受信部と、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成する補完画像生成部と、
   前記補完画像を前記第２の動画データの前記削除されたフレームの位置に挿入し、前記第１のフレームレートの動画データを生成する動画データ生成部と、
   を備える情報処理装置。
7. 前記補完画像生成部は、前記削除されたフレームの前後のフレームの変化点に基いて補完画像を生成する
   請求項６に記載の情報処理装置。
8. 第１の動画データを記憶する記憶部と、
   通信ネットワークの状態を監視する監視部と、
   前記監視の結果に応じて、前記第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１のフレームレートより少ない第２のフレームレートになるように、前記第１の動画データのいずれかのフレームを削除して、第２の動画データを生成する削除部と、
   前記削除されたフレームに関するフレーム情報を生成するフレーム情報生成部と、
   前記第２の動画データと前記フレーム情報とを送信する送信部と、
   前記送信された、前記第２の動画データと前記フレーム情報とを受信する受信部と、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成する補完画像生成部と、
   前記補完画像を前記第２の動画データの前記削除されたフレームの位置に挿入し、前記第１のフレームレートの動画データを生成する動画データ生成部と、
   を備える情報処理システム。
9. 第１の情報処理装置は、
   通信ネットワークの状態を監視し、
   前記監視の結果に応じて、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１のフレームレートより少ない第２のフレームレートになるように、前記第１の動画データのいずれかのフレームを削除して、第２の動画データを生成し、
   前記削除されたフレームに関するフレーム情報を生成し、
   前記第２の動画データと前記フレーム情報とを送信する
   処理を実行し、
   第２の情報処理装置は、
   前記送信された、前記第２の動画データと前記フレーム情報とを受信し、
   前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成し、
   前記補完画像を前記第２の動画データの前記削除されたフレームの位置に挿入し、前記第１のフレームレートの動画像データを生成する
   処理を実行する動画データ送受信方法。
10. プロセッサに、
    通信ネットワークの状態を監視し、
    前記監視の結果に応じて、第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１のフレーム数より少ない第２のフレームレートになるように、前記第１の動画データのいずれかのフレームを削除して、第２の動画データを生成し、
    前記削除されたフレームに関するフレーム情報を生成し、
    前記第２の動画データと前記フレーム情報とを送信する
    処理を実行させる情報処理プログラム。
11. プロセッサに、
    第１の動画データの単位時間当たりの第１のフレーム数を示す第１のフレームレートから、前記第１のフレーム数より少ない第２のフレームレートになるように、前記第１の動画データのいずれかのフレームが削除されて生成された第２の動画データと前記削除されたフレームに関するフレーム情報とを受信し、
    前記フレーム情報を用いて前記削除されたフレームの画像を補完する補完画像を生成し、
    前記補完画像を前記第２の動画データの前記削除されたフレームの位置に挿入し、前記第１のフレームレートの動画像データを生成する
    処理を実行させる情報処理プログラム。

Images