JP6825703B2 - 送信装置、通信システム、通信方法、及びプログラム - Google Patents

Description

本発明は、送信装置、通信システム、通信方法、及び記録媒体に関し、例えば、ネットワークを介して、圧縮した映像データを送信する送信装置に関する。

ＬＴＥ（Long Term Evolution）やＷｉ−Ｆｉ（登録商標）などのベストエフォート型ネットワークを介した通信のスループットは、大きく変動しうる。そのため、通信のスループットの変動に応じて、映像データを圧縮するための符号化パラメータを動的に変更する技術が必要とされている。

符号化パラメータには、例えば、ビットレート、フレームレート、およびＧＯＰ（Group of picture）サイズ（あるいはキーフレーム間隔）が含まれる。コーデックをリセットすることによって、符号化パラメータを変更することができる。ＧＯＰサイズが小さいほど、ビットレートをより高い粒度で制御することができる。

特許文献１に記載の音声合成装置（送信装置）は、ロス率（パケットの損失率）が小さい場合、すなわちスループットが高い場合、映像データのＧＯＰサイズを大きくすることによって、映像の画質の向上を図る。一方、ロス率が大きい場合、すなわちスループットが低い場合、映像データのＧＯＰサイズを小さくする。これにより、特許文献１に記載の音声合成装置は、ビットレートを高い粒度で制御可能である。

特開２００５−１５１６００号公報

「ＴＣＰスループットの確率的拡散予測に基づく映像配信制御（Video Streaming Control by Predicting Stochastic Diffusion of TCP Throughput）」 吉田裕志ら インターネットコンファレンス２０１１（ＩＣ２０１１） （２０１１年１０月２７日） Constructing Stochastic Model of TCP Throughput on Basis of Stationarity Analysis, Hiroshi Yoshida et al. Global Communications Conference (GLOBECOM), 2013 IEEE, date of conference: 9-13 Dec. 2013

しかしながら、特許文献１に記載の音声合成装置（送信装置）による通信方法では、ＧＯＰサイズとビットレートの組み合わせがＱｏＥ（Quality of Experience）に与える影響を考慮していない。そのため、ＧＯＰサイズとビットレートとの組み合わせによって、ＱｏＥが著しく低下する可能性がある。

例えば、特許文献１に記載の送信装置が、ビットレートを高い粒度で制御するために、ＧＯＰサイズを小さくした場合、符号量の制御が破綻して、ブロックに歪み（ブロックノイズ）が生じる可能性がある。ブロックノイズは、ＱｏＥに大きく影響する。

本発明の目的は、ネットワークを介して伝送される映像の体感品質を向上させることにある。

本発明の一様態に係わる送信装置は、上記課題を解決するために、受信装置との間の通信のスループットを計測するスループット計測手段と、前記スループット計測手段が計測した前記スループットに基づいて、未来のスループットを予測するスループット予測手段と、所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成するパターン生成手段と、前記パターン生成手段が生成した前記パターンに応じた前記分割時間ごとに、前記スループット予測手段が予測した前記未来のスループットの下限値を超えないような最大ビットレートで前記受信端末へ映像データを送信した場合に、該映像データから再生される映像の体感品質を算出する体感品質算出手段と、前記パターン生成手段が生成した前記複数のパターンのうち、前記体感品質算出手段が算出した前記映像の体感品質が最大になる１つのパターンを選択するパターン選択手段と、前記パターン選択手段が選択した前記１つのパターンに応じた前記分割時間ごとに、前記映像データの圧縮処理のための符号化パラメータを決定するパラメータ決定手段と、を有する。

本発明の一様態に係わる通信方法は、上記課題を解決するために、受信装置との間の通信のスループットを計測し、計測した前記スループットに基づいて、未来のスループットを予測し、所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成し、生成した前記パターンに応じた前記分割時間ごとに、前記未来のスループットの下限値を超えないような最大ビットレートで前記受信装置へ映像データを送信した場合に、該映像データから再生される映像の体感品質を算出し、前記複数のパターンのうち、前記映像の体感品質が最大になる１つのパターンを選択し、 選択した前記１つのパターンに応じた前記分割時間ごとに、前記映像データの圧縮処理のための符号化パラメータを決定する。

本発明の一様態に係わる記録媒体は、上記課題を解決するために、受信装置との間の通信のスループットを計測することと、計測した前記スループットに基づいて、未来のスループットを予測することと、所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成することと、生成した前記パターンに応じた前記分割時間ごとに、前記未来のスループットの下限値を超えないような最大ビットレートで前記受信装置へ映像データを送信した場合に、該映像データから再生される映像の体感品質を算出することと、前記複数のパターンのうち、前記映像の体感品質が最大になる１つのパターンを選択することと、選択した前記１つのパターンに応じた前記分割時間ごとに、前記映像データの圧縮処理のための符号化パラメータを決定することと、をコンピュータに実行させるためのプログラムを格納している。

本発明の目的は、ネットワークを介して伝送される映像の体感品質を向上させる送信装置を提供することにある。

実施形態１に係わる通信システムのブロック図であり、通信システムを構成する送信端末および受信端末の各構成を示す図である。 所定時間を構成する複数の分割時間の例を示す図である。 実施形態１に係わる送信端末が実行するＱｏＥ（Quality of Experience）算出処理の流れを示すフローチャートである。 実施形態１に係わる送信端末と受信端末との間の通信のスループットの例、および、予測される未来のスループットの例を示す図である。 未来のスループットの予測値に応じて決定される、分割時間ごとの符号化パラメータの例を示す図である。 未来のスループットの予測値に応じて決定される、分割時間ごとの符号化パラメータの他の例を示す図である。 実施形態１に係わる通信システムの送信端末と受信端末との間の通信の流れを示すシーケンス図である。 実施形態２に係わる送信端末のブロック図である。 実施形態３に係わる送信端末のハードウェア構成を示す図である。

本発明の実施の形態について、図面を参照して詳細に説明する。
〔実施形態１〕
（通信システム）
図１は、本実施形態１に係わる通信システムのブロック図である。図１に示すように、通信システムは、送信端末１および受信端末２を備えている。送信端末１および受信端末２は、それぞれ、パーソナルコンピュータまたはスマートフォンなどの端末装置である。送信端末１および受信端末２は、ネットワークを介して通信する。本実施形態１に係わる通信システムのネットワークは、インターネットやモバイルネットワークなどであり、ヘテロジニアス（Heterogeneous）な構造を有する。

（送信端末１）
図１に示すように、送信端末１は、エンコーダ１０１と、送信部１０２と、データ受信部１０３と、スループット計測部１０４と、分割パターン生成部１０５と、ＱｏＥ算出部１０６と、パラメータ決定部１０７とを備えている。

エンコーダ１０１は、映像を圧縮符号化して、映像データを出力する。送信部１０２は、エンコーダ１０１によって圧縮符号化された映像データを受信端末２に送信する。データ受信部１０３は、通信のスループットを計測するためのデータを受信端末２から受信する。スループット計測部１０４は、データ受信部１０３が受信したデータに基づいて、スループットを計測する。

分割パターン生成部１０５は、所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターン（後述）を生成する。

ＱｏＥ算出部１０６は、スループット計測部１０４が計測したスループットに基づいて、未来のスループットを予測する。加えて、ＱｏＥ算出部１０６は、分割パターン生成部１０５が生成したパターンごとに、ＱｏＥ、すなわち映像を視聴するユーザの体感品質を算出する。

パラメータ決定部１０７は、分割パターン生成部１０５が生成した複数のパターンの中から、ＱｏＥ算出部１０６が算出したＱｏＥが最大となる１つのパターンを選択し、選択した１つのパターンに基づいて、映像の符号化パラメータを決定する。

分割パターン生成部１０５、ＱｏＥ算出部１０６、およびパラメータ決定部１０７がそれぞれ実行する処理の詳細を後で順番に説明する。

（受信端末２）
図１に示すように、受信端末２は、受信部２０１と、データ送信部２０２とを備えている。受信部２０１は、送信端末１の送信部１０２から送信された映像データを受信する。

データ送信部２０２は、受信部２０１から、スループットを算出するために必要なデータを取得あるいは生成して、取得あるいは生成したデータを送信端末１に送信する。
（分割パターン生成部１０５）
送信端末１の分割パターン生成部１０５の動作を説明する。分割パターン生成部１０５は、時刻０から所定の時刻Ｔ（＞０）までの所定時間Ｔを、最大分割数ｍ（ｍは自然数）以下で分割する。所定時間Ｔおよび最大分割数ｍは、任意の値であってよい。あるいは、所定時間Ｔおよび最大分割数ｍは、ユーザが予め設定することが可能であってもよい。

図２は、最大分割数ｍ＝３である場合に、所定時間Ｔ＝ｔ３から生成される複数のパターンの例を示す。図２に示すように、この場合、分割パターン生成部１０５は、４通りのパターン、すなわち、｛０，ｔ１，ｔ２，ｔ３｝、｛０，ｔ２，ｔ３｝、｛０，ｔ１，ｔ３｝、または｛０，ｔ３｝を生成する。ここで、０＜ｔ１＜ｔ２＜ｔ３＝Ｔである。一般的に、最大分割数がｍである場合、パターンの総数は２＾（ｍ−１）である。

所定時間Ｔのパターンを、以下では、集合Ｒ_ｊ（ただし０＜＝ｊ＜２＾（ｍ−１））と呼ぶ。また、集合Ｒ_ｊの集合を、集合Ｒと呼ぶ。各集合Ｒ_ｊの要素は、分割時刻Ｔ_ｉ（ｉ＝０、１、２、・・・）である。集合Ｒ_ｊごとに、要素すなわち分割時刻Ｔ_ｉの数は異なる。

図２に示すように、最大分割数ｍ＝３である場合、集合Ｒは、分割時刻Ｔ_ｉ（０＜＝ｉ＜＝３）を用いて、Ｒ=｛Ｒ_０＝｛Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３｝，Ｒ_１＝｛Ｔ_０，Ｔ_１，Ｔ_２｝，Ｒ_２＝｛Ｔ_０，Ｔ_１，Ｔ_２｝，Ｒ_３＝｛Ｔ_０，Ｔ_１｝｝と表わされる。

ここで、集合Ｒの異なる集合Ｒ_ｊの対応する要素同士は、必ずしも同一ではない。例えば、図２を参照すれば、集合Ｒ_１の要素Ｔ_１はｔ２であるが、集合Ｒ_２の要素Ｔ_１はｔ１である。また、互いに隣接する要素間の（時間軸上における）“距離”は、必ずしも一定ではない。

例えば、図２を参照すれば、集合Ｒ_０では、要素間の“距離”は一定（ただし、ｔ１＝ｔ２−ｔ１＝ｔ３−ｔ２である場合）である。一方、集合Ｒ_２では、要素間の“距離”は一定ではない。以下では、集合Ｒ_ｊの要素Ｔ_ｉと要素Ｔ_｛ｉ−１｝との間の“距離”を、分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）と呼ぶ。

（ＱｏＥ算出部１０６）
ＱｏＥ算出部１０６は、分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）ごとに、ＱｏＥすなわち体感品質を算出する。通常、ＱｏＥは、１から５までの実数で表される。ＱｏＥが低いほど、体感品質が低い。一方、ＱｏＥが高いほど、体感品質が高い。

ＱｏＥの算出関数は、オーディオビジュアルメディアのストリーミング品質に関する規格（例えばInternational Telecommunication Union/ITU Telecommunication Sectorが作成したITU−T P.1201）にしたがう。本実施形態１では、ＱｏＥの算出関数を、Ｑ（ｂ,ｇ）と表す。ここで、ｂはビットレートであり、ｇはＧＯＰサイズである。すなわち、Ｑ（ｂ，ｇ）は、ビットレートおよびＧＯＰサイズに依存する。

本実施形態では、ＱｏＥ算出部１０６は、通信スループット予測法を用いて、未来のスループットを表す関数ｘ（ｔ）（ｔは時刻）を算出する。通信スループット予測法とは、過去のスループットに関する情報を、時系列に沿って解析することによって、未来のスループットを表す確率密度関数の期待値および分散を得る方法である。通信スループット予測法に関する技術は、例えば、非特許文献１または非特許文献２に記載されている。本実施形態では、通信スループット予測法に関する技術の説明を省略する。

また、ＱｏＥ算出部１０６は、未来のスループットから、最大ビットレートを決定する。最大ビットレートとは、関数ｘ（ｔ）で表される未来のスループットの下限値を超えないビットレートの最大値である。したがって、最大ビットレートは、未来のスループットの下限値と一致する。

あるいは、ＱｏＥ算出部１０６は、通信スループット予測法を用いずに、未来のスループットの下限値を算出してもよい。例えば、ＱｏＥ算出部１０６は、スループットの計測値に基づいて、未来のスループットを予測することができる。この場合、ＱｏＥ算出部１０６は、分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）における最大ビットレートｂ_ｉを、以下の計算式にしたがって算出してもよい。
ｂ_ｉ＝ａ＾ｉ×ｘ_０
ここで、ａは、ユーザが予め設定した感度係数である。また、ｘ_０は、現在時刻Ｔ_０＝０におけるスループットの計測値である。一般的に、最大ビットレートは、時間が経過するとともに低下する。

送信端末１から受信端末２へ伝送される映像データのビットレートが未来のスループットの下限値を超えない限り、受信端末２側で映像データの再生が途絶する可能性は十分に低い。
（ＱｏＥの算出方法）
図３を参照して、本実施形態１に係わるＱｏＥ算出部１０６が、ＱｏＥを算出する方法の流れを説明する。図３は、ＱｏＥ算出部１０６の動作を示すフローチャートである。

図３に示すように、ＱｏＥ算出部１０６は、まず、分割パターン生成部１０５から、集合Ｒを受け取る。そして、ＱｏＥ算出部１０６は、集合Ｒから、一つの集合Ｒ_ｊを取り出す（Ｓ１）。最初、ｊ＝０である。

ｊ＜｜Ｒ｜の場合（Ｓ２でＮＯ）、ＱｏＥ算出部１０６は、Ｒ_ｊの要素（分割時刻）Ｔ_ｉを取り出し、ｉを初期化（すなわちｉ＝０）する（Ｓ３）。ここで、｜Ｒ｜は、集合Ｒの要素数を表す。ｊ＝｜Ｒ｜の場合（Ｓ２でＹＥＳ）、ＱｏＥ算出部１０６の動作は終了する。

ｉ＜｜Ｒ_ｊ｜の場合（Ｓ４でＮＯ）、ＱｏＥ算出部１０６は、予め算出したスループットの予測値を表す関数ｘ（ｔ）（ｔは時刻）に基づいて、分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）における最大ビットレートｂ_ｉを算出する。ここで、｜Ｒ_ｊ｜は、集合Ｒ_ｊの要素数を表す。

ＱｏＥ算出部１０６は、以下の計算式にしたがって、分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）におけるＧＯＰサイズｇ_ｉを算出する（Ｓ５）。
ｇ_ｉ＝ｆ×（Ｔ_ｉ−Ｔ_｛ｉ−１｝）
ここで、ｆはフレームレートである。本実施形態１では、フレームレートは一定であるので、ｆは定数である。

次に、ＱｏＥ算出部１０６は、集合Ｒ_ｊの各分割時間におけるＱｏＥを算出する（Ｓ６）。以下では、集合Ｒ_ｊの分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）におけるＱｏＥを、Ｑ_ｊ_ｉと表す。Ｑ_ｊ_ｉは、以下のように表される。
Ｑ_ｊ_ｉ＝Ｑ（ｂ_ｉ，ｇ_ｉ）＝Ｑ（ｂ_ｉ，ｆ×（Ｔ_ｉ−Ｔ_｛ｉ−１｝））
なお、前述したように、集合Ｒ_ｊによって、Ｔ_ｉが表わす時刻は異なる。したがって、集合Ｒ_ｊによって、Ｑ_ｊ_ｉは異なる値を取ることを注意する。

Ｓ６の後、ｉに１が加算されて（Ｓ７）、Ｓ４に戻る。ｉ＝｜Ｒ_ｊ｜の場合（Ｓ４でＹＥＳ）、ｊに１が加算されて（Ｓ８）、Ｓ２に戻る。

本実施形態１の構成によれば、スループットの予測値に基づいて、最大ビットレートおよびＧＯＰサイズを最適に制御するので、ＱｏＥが低下することを抑制することができる。

（パラメータ決定部１０７）
パラメータ決定部１０７は、分割パターン生成部１０５が生成した集合Ｒを受け取るとともに、ＱｏＥ算出部１０６が算出したＱｏＥ、すなわちＱ_ｊ_ｉを受け取る。

パラメータ決定部１０７は、集合Ｒの全ての集合Ｒ_ｊ（０＜＝ｊ＜｜Ｒ｜）の中から、以下の計算式（１）にしたがって、いずれか１つの集合Ｒ_ｊを選択する。

式（１）によれば、パラメータ決定部１０７は、集合Ｒ_ｊの分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）ごとのＱ_ｊ_ｉを該分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）で重みづけした値の総和が最大になる集合Ｒ_ｊを選択する。

パラメータ決定部１０７は、選択した集合Ｒ_ｊの各分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）における最大ビットレートｂ_ｉおよびＧＯＰサイズｇ_ｉを、映像データの圧縮符号化のための符号化パラメータとして決定する。

（エンコーダ１０１）
エンコーダ１０１は、パラメータ決定部１０７から、最大ビットレートおよびＧＯＰサイズの情報を受け取る。そして、エンコーダ１０１は、コーデックをリセットして、受け取った最大ビットレートおよびＧＯＰサイズの情報に基づいて、符号化パラメータを更新する。

（符号化パラメータを決定する方法）
図４および図５を参照して、本実施形態１に係わる送信端末１が符号化パラメータを決定する方法の流れを説明する。図４および図５は、スループットの時間変化の一例を示すグラフである。グラフの横軸ｔは時刻を表し、グラフの縦軸ｂはスループットを表す。図４において、実線のグラフは、スループットの計測値を示している。また、３つの破線のグラフは、いずれも、スループットの予測値を示している。

図４において、３つの破線のグラフは、それぞれ、スループットの“期待値”（図４ではｙ（ｔ））、“期待値＋（プラス）分散”（図４ではｚ（ｔ））、および“期待値−（マイナス）分散”（図４ではｘ（ｔ））に対応している。これらの破線のグラフのうち、“期待値−分散” ｘ（ｔ）は、予測されるスループットの下限値を表す。

最大ビットレートがスループットの下限値を上回った場合、受信端末２側において、映像の再生が途絶する可能性がある。したがって、最大ビットレートは、スループットの下限値を超えないように制限される。

所定時間Ｔ＝２［ｓｅｃ］であり、最大分割数ｍ＝２であるとする。図５では、Ｔ_０＝０［ｓｅｃ］〜Ｔ_２＝２［ｓｅｃ］における最大ビットレートｂ_０〜ｂ_２は、それぞれ、ｂ_０＝２［Ｍｂｐｓ］、ｂ_１＝１．７［Ｍｂｐｓ］、ｂ_２＝１．３［Ｍｂｐｓ］である。

この場合、分割パターン生成部１０５は、２つのパターンＲ_０＝｛Ｔ_０，Ｔ_１，Ｔ_２｝およびＲ_１＝｛Ｔ_０，Ｔ_２｝｝を生成する。図５では、Ｔ_０＝０、Ｔ_１＝１、Ｔ_２＝２である。

ＱｏＥ算出部１０６は、集合Ｒ_０の各分割時間についてのＱｏＥ、すなわちＱ_０_０＝Ｑ（ｂ_１，ｆ×Ｔ_１）およびＱ_０_１＝Ｑ（ｂ_２，ｆ×（Ｔ_２−Ｔ_１））を算出する。また、集合Ｒ_１についてのＱｏＥ、すなわちＱ_１_０＝Ｑ（ｂ_２，ｆ×Ｔ_２）を算出する。ここで、フレームレートｆは定数である。

その後、パラメータ決定部１０７は、下記計算式（２）に基づいて、分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）で重み付けしたＱ_ｊ_ｉ（０＜＝ｉ＜｜Ｒ_ｊ｜，０＜＝ｊ＜｜Ｒ｜）の総和を算出する。

Ｒ_０の場合、式（２）で表される総和は、Ｑ_０_０＋Ｑ_０_１である。また、Ｒ_１の場合、総和は、２×Ｑ_１_０である。総和が大きいほど、所定時間ＴにおけるＱｏＥは大きいと言える。

例えば、Ｑ_０_０＝３.５、Ｑ_０_１＝３．２、Ｑ_１_０＝３．３であるとする。この場合、Ｒ_０についての総和は、Ｑ_０_０＋Ｑ_０_１＝３.５＋３．２＝６．７である。また、Ｒ_１についての総和は、２×Ｑ_１_０＝２×３．３＝６．６である。

したがって、Ｒ_０についての総和のほうが、Ｒ_１についての総和よりも大きい。そのため、パラメータ決定部１０７は、集合Ｒ_０を選択する。

また、パラメータ決定部１０７は、選択した集合Ｒ_０の分割時間（Ｔ_１−Ｔ_０）における最大ビットレートｂ_１＝１．７［Ｍｂｐｓ］、および、分割時間（Ｔ_２−Ｔ_１）における最大ビットレートｂ_２＝１．３［Ｍｂｐｓ］を、エンコーダ１０１に通知する。

また、パラメータ決定部１０７は、符号化パラメータとして、分割時間（Ｔ_１−Ｔ_０）におけるＧＯＰサイズｇ＝ｆ×（Ｔ_１−Ｔ_０）、および、分割時間（Ｔ_２−Ｔ_１）におけるＧＯＰサイズｇ＝ｆ×（Ｔ_２−Ｔ_１）も、エンコーダ１０１に通知する。

他の例では、Ｑ_０_０＝３．８３、Ｑ_０_１＝３．７２、Ｑ_１_０＝３．８１であるとする。この場合、Ｒ_０についての総和（式（２）参照）は、Ｑ_０_０＋Ｑ_０_１＝３．８３＋３．７２＝７．５５である。一方、Ｒ_１についての総和は、２×Ｑ_１_０=７．６２である。

したがって、Ｒ_１についての総和のほうが、Ｒ_０についての総和よりも大きい。そのため、パラメータ決定部１０７は、集合Ｒ_１を選択する。また、パラメータ決定部１０７は、集合Ｒ_１の分割時間（Ｔ_２−Ｔ_０）における最大ビットレートｂ_２＝１．３［Ｍｂｐｓ］を、エンコーダ１０１に通知する。

また、パラメータ決定部１０７は、符号化パラメータとして、分割時間（Ｔ_２−Ｔ_０）におけるＧＯＰサイズｇ＝ｆ×（Ｔ_２−Ｔ_０）も、エンコーダ１０１に通知する。

一般的に、スループットの計測値の揺らぎが大きい（小さい）ほど、未来のスループットの予測値の分散も大きく（小さく）なる。図６は、スループットの時間変化の他の一例を示すグラフである。図６に示すグラフは、図５に示すグラフと比較して、スループットの計測値の揺らぎが小さい。その結果、スループットの予測値の分散が小さい。図６に示すグラフｘ´（ｔ）、すなわち予測されるスループットの下限値は、図５に示すグラフｘ（ｔ）と比較して、緩やかに減少している。実際、図５に示すグラフｘ（ｔ）では、ｘ（ｔ＝１）＝１．７、ｘ（ｔ＝２）＝１．３である一方、図６に示すグラフｘ´（ｔ）では、ｘ´（ｔ＝１）＝１．８、ｘ´（ｔ＝２）＝１．７である。

本実施形態１の構成によれば、ユーザの体感品質（ＱｏＥ）を最大化するように、ＧＯＰサイズおよびビットレートの最適な組み合わせを選択することができる。なぜならば、所定時間を分割する複数のパターンについて、それぞれＱｏＥを算出して、ＱｏＥが最大になるパターンを選択するからである。また、本実施形態１の構成によれば、スループットの変動が大きい場合であっても、ＱｏＥが低下することを抑制することができる。なぜならば、最大ビットレートは、予測されるスループットの下限値を超えないので、映像の再生が途絶する可能性が低いからである。

（通信方法）
図７を参照して、本実施形態１に係わる通信システムによる通信方法を説明する。図７は、通信システムを構成する送信端末１と受信端末２とが通信を行う際の送信端末１および受信端末２の各動作の流れを示すシーケンス図である。

図７に示すように、受信端末２のデータ送信部２０２が、スループットに関するデータ、言い換えれば、スループットを算出するために必要なデータを、送信端末１へ送信する（Ｓ２０１）。

例えば、データ送信部２０２は、受信端末２の受信部２０１が単位時間に受信する映像データの量の情報、および、ロス率の情報を、スループットに関するデータとして、送信端末１へ送信する。

送信端末１のデータ受信部１０３は、受信端末２から、スループットに関するデータを受信する。スループット計測部１０４は、データ受信部１０３が受信したデータを用いて、送信端末１と受信端末２との間の通信のスループットを計測する（Ｓ１０１）。

次に、送信端末１のＱｏＥ算出部１０６は、スループット計測部１０４が計測したスループットに基づいて、未来のスループットを予測する（Ｓ１０２）。

また、送信端末１の分割パターン生成部１０５は、所定時間（例えば、図２では０からｔ３まで）を分割することによって、複数の分割時間で構成されるパターンを生成する（Ｓ１０３）。

次に、ＱｏＥ算出部１０６は、分割パターン生成部１０５が生成したパターンに応じた分割時間ごとに、先に予測した未来のスループットの下限値を超えないような最大ビットレートで受信端末２へ映像データを送信した場合に、該映像データから再生される映像の体感品質を算出する（Ｓ１０４）。なお、Ｓ１０４の詳細については、先に、図３に基づいて説明した。

その後、パラメータ決定部１０７は、分割パターン生成部１０５が生成した複数のパターンのうち、ＱｏＥ算出部１０６が算出する体感品質が最大になるような１つのパターンを選択する（Ｓ１０５）。

続いて、送信端末１のパラメータ決定部１０７は、選択した１つのパターンに応じた分割時間ごとに、符号化パラメータを決定する（Ｓ１０６）。

例えば、図４に示す例において、パラメータ決定部１０７は、前記１つのパターンとして集合Ｒ_０＝｛Ｔ_０，Ｔ_１，Ｔ_２｝を選択した場合、分割時間（Ｔ_１−Ｔ_０）における符号化パラメータ（ビットレートｂ_１およびＧＯＰサイズｇ＝ｆ×Ｔ_１）、および、分割時間（Ｔ_２−Ｔ_１）における符号化パラメータ（ビットレートｂ_２およびＧＯＰサイズｇ＝ｆ×Ｔ_２）をそれぞれ決定する。

送信端末１のエンコーダ１０１は、パラメータ決定部１０７が決定した符号化パラメータを用いて、映像データを圧縮符号化する（Ｓ１０７）。

送信端末１の送信部１０２は、エンコーダ１０１が圧縮符号化した映像データを、受信端末２へ送信する（Ｓ１０８）。

受信端末２の受信部２０１は、送信端末１から、圧縮符号化された映像データを受信する（Ｓ２０２）。その後、フローはＳ２０１へ戻る。

〔実施形態２〕
本実施形態２として、本発明の最小構成について説明する。

図８は、本実施形態２に係わる送信端末３の構成を示す概略構成図である。図８に示すように、本実施形態２に係わる送信端末３は、スループット計測部３０１と、スループット予測部３０２と、パターン生成部３０３と、体感品質算出部３０４と、パターン選択部３０５と、パラメータ決定部３０６とを備える。

本実施形態２のスループット計測部３０１は、例えば、前記実施形態１のスループット計測部１０４と対応する。本実施形態２のスループット予測部３０２および体感品質算出部３０４は、例えば、前記実施形態１のＱｏＥ算出部１０６に対応する。

また、本実施形態２のパターン生成部３０３は、例えば、前記実施形態１の分割パターン生成部１０５と対応する。本実施形態２のパターン選択部３０５およびパラメータ決定部３０６は、例えば、前記実施形態１のパラメータ決定部１０７と対応する。

なお、本実施形態２に係わる送信端末３は、前記実施形態１の送信端末１が備えたエンコーダ１０１および送信部１０２と対応する構成要素を更に備えていてもよい。

スループット計測部３０１は、受信端末（図示せず）との間の通信のスループットを計測する。スループット予測部３０２は、スループット計測部３０１が計測したスループットに基づいて、未来のスループットを予測する。

パターン生成部３０３は、所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成する。

体感品質算出部３０４は、パターン生成部３０３が生成したパターンに応じた分割時間ごとに、スループット予測部３０２が予測した未来のスループットの下限値を超えないような最大ビットレートで受信端末へ映像データを送信した場合に、該映像データから再生される映像の体感品質を算出する。

パターン選択部３０５は、パターン生成部３０３が生成した複数のパターンのうち、体感品質算出部３０４が算出した映像の体感品質が最大になる１つのパターンを選択する。

パラメータ決定部３０６は、パターン選択部３０５が選択した１つのパターンに応じた分割時間ごとに、映像データの圧縮処理のための符号化パラメータを決定する。

本実施形態２の構成によれば、所定時間をどのように分割するかを規定する複数のパターンの中から、映像の体感品質が最大になる１つのパターンを特定し、特定したパターンに基づいて、符号化パラメータを決定する。したがって、ネットワークを介した映像伝送において、映像の体感品質を向上させることができる。

〔実施形態３〕
図９は、本実施形態３に係わる送信端末４のハードウェア構成を示すブロック図である。図９に示すように、本実施形態３に係わる送信端末は、ＣＰＵ（Central Processing Unit）４０１、エンコーダ４０２、およびインターフェース４０３を備えている。本実施形態に係わる送信端末４は、例えば、前記実施形態１に係わる送信端末１、または、前記実施形態２に係わる送信端末３に対応する。

ＣＰＵ４０１は、本実施形態に係わる送信端末４の制御機能を実現する。エンコーダ４０２は、例えば、前記実施形態１のエンコーダ１０１に対応する。インターフェース４０３は、例えば、前記実施形態１の送信部１０２およびデータ受信部１０３に対応する。

本実施形態に係わる送信端末４は、前記実施形態１に係わる送信端末１の制御機能（図１に示す、スループット計測部１０４、分割パターン生成部１０５、ＱｏＥ算出部１０６、パラメータ決定部１０７、およびエンコーダ１０１）の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをＣＰＵ４０１に読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

あるいは、本実施形態に係わる送信端末４は、前記実施形態２に係わる送信端末３の制御機能（図８に示す、スループット計測部３０１、スループット予測部３０２、パターン生成部３０３、体感品質算出部３０４、パターン選択部３０５、およびパラメータ決定部３０６）の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをＣＰＵ４０１に読み込ませ、実行することにより各部の処理を行ってもよい。

ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

また、ＣＰＵ４０１が読み込んで実行するプログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本実施形態３の構成によれば、前記実施形態１または前記実施形態２と同様の効果を奏する。

以上、図面を参照して、本発明の実施形態を詳述してきたが、本発明を実施するための具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

この出願は、２０１７年６月１９日に出願された日本出願特願２０１７−１１９２５７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 送信端末（送信装置）
２ 受信端末（受信装置）
３ 送信端末（送信装置）
４ 送信端末（送信装置）
１０１ エンコーダ
１０２ 送信部（送信手段）
１０４ スループット計測部（スループット計測手段）
１０５ 分割パターン生成部（パターン生成手段、パターン選択手段）
１０６ ＱｏＥ算出部（スループット予測手段、体感品質算出手段）
１０７ パラメータ決定部（パラメータ決定手段）
２０１ 受信部（受信手段）
２０２ データ送信部
３０１ スループット計測部（スループット計測手段）
３０２ スループット予測部（スループット予測手段）
３０３ パターン生成部（パターン生成手段）
３０４ 体感品質算出部（体感品質算出手段）
３０５ パターン選択部（パターン選択手段）
３０６ パターン決定部（パターン決定手段）
４０２ エンコーダ

Claims (10)

1. 受信装置との間の通信のスループットを計測するスループット計測手段と、
   前記スループット計測手段が計測した前記スループットに基づいて、未来のスループットを予測するスループット予測手段と、
   所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成するパターン生成手段と、
   前記パターン生成手段が生成した前記パターンに応じた前記分割時間ごとに、前記スループット予測手段が予測した前記未来のスループットの下限値を超えないような最大ビットレートで前記受信装置へ映像データを送信した場合に、該映像データから再生される映像の体感品質を、前記複数の分割時間の各々における前記最大ビットレートおよびＧＯＰ（Group of picture）サイズを変数として含む算出関数に基づいて算出する体感品質算出手段と、
   前記パターン生成手段が生成した前記複数のパターンのうち、前記体感品質算出手段が算出した前記映像の体感品質が最大になる１つのパターンを選択するパターン選択手段と、
   前記パターン選択手段が選択した前記１つのパターンに応じた前記分割時間ごとに、前記映像データの圧縮処理のための符号化パラメータを決定するパラメータ決定手段と、
   を有する送信装置。
2. 前記パラメータ決定手段が決定した前記符号化パラメータを用いて、前記映像データの圧縮処理を行うエンコーダと、
   前記エンコーダが圧縮した前記映像データを前記受信装置へ送信する送信手段と、
   をさらに有することを特徴とする請求項１に記載の送信装置。
3. 前記符号化パラメータは、ＧＯＰサイズおよびビットレートを少なくとも含むことを特徴とする請求項１または２に記載の送信装置。
4. 前記パターン生成手段が生成する前記パターンは、複数の分割時刻Ｔ_ｉ（ｉ=１、２、・・・）を含み、前記複数の分割時刻Ｔ_ｉは、前記複数の分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）を規定し、
   前記体感品質算出手段は、前記複数の分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）の各々における前記最大ビットレートｂ_ｉおよびＧＯＰサイズｇ_ｉを変数として含む算出関数Ｑ（ｂ_ｉ，ｇ_ｉ）に基づいて、前記体感品質を算出し、
   算出される前記体感品質は以下の数式で表されることを特徴とする請求項１から３のいずれか１項に記載の送信装置。
   

   

   （ここで、ｇ_ｉ＝ｆ＊（Ｔ_ｉ−Ｔ_｛ｉ−１｝）であり、ｆは前記映像データのフレームレートである）
5. 前記パラメータ決定手段は、前記パターン選択手段が選択した前記パターンの分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）における前記最大ビットレートｂ_ｉを、前記分割時間（Ｔ_ｉ−Ｔ_｛ｉ−１｝）における前記符号化パラメータとして決定することを特徴とする請求項４に記載の送信装置。
6. 前記スループット予測手段は、前記スループット計測手段が計測した前記スループットに基づいて、前記未来のスループットの期待値および分散を算出し、
   前記体感品質算出手段は、前記スループット予測手段が算出した前記期待値マイナス前記分散を、前記下限値として設定することを特徴とする請求項１から５のいずれか１項に記載の送信装置。
7. 請求項１から６のいずれか１項に記載の送信装置と、
   前記受信装置と、を含む通信システム。
8. 前記受信装置は、
   前記送信装置から前記映像データを受信する受信手段と、
   前記スループット計測手段が前記スループットを計測するための情報を前記送信装置へ送信するスループット計測用データ送信手段と、
   を有することを特徴とする請求項７に記載の通信システム。
9. 受信装置との間の通信のスループットを計測し、
   計測した前記スループットに基づいて、未来のスループットを予測し、
   所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成し、
   生成した前記パターンに応じた前記分割時間ごとに、前記未来のスループットの下限値を超えないような最大ビットレートで前記受信装置へ映像データを送信した場合に、該映像データから再生される映像の体感品質を、前記複数の分割時間の各々における前記最大ビットレートおよびＧＯＰサイズを変数として含む算出関数に基づいて算出し、
   前記複数のパターンのうち、前記映像の体感品質が最大になる１つのパターンを選択し、
   選択した前記１つのパターンに応じた前記分割時間ごとに、前記映像データの圧縮処理のための符号化パラメータを決定する、
   通信方法。
10. 受信装置との間の通信のスループットを計測することと、
    計測した前記スループットに基づいて、未来のスループットを予測することと、
    所定時間を分割することによって、複数の分割時間でそれぞれ構成される複数のパターンを生成することと、
    生成した前記パターンに応じた前記分割時間ごとに、前記未来のスループットの下限値を超えないような最大ビットレートで前記受信装置へ映像データを送信した場合に、該映像データから再生される映像の体感品質を、前記複数の分割時間の各々における前記最大ビットレートおよびＧＯＰサイズを変数として含む算出関数に基づいて算出することと、
    前記複数のパターンのうち、前記映像の体感品質が最大になる１つのパターンを選択することと、
    選択した前記１つのパターンに応じた前記分割時間ごとに、前記映像データの圧縮処理のための符号化パラメータを決定することと、
    をコンピュータに実行させるプログラム。

Images