JP6076494B2

JP6076494B2 - ビデオストリームを送信するための方法

Info

Publication number: JP6076494B2
Application number: JP2015542282A
Authority: JP
Inventors: ジュリアール，ナタリー; オスモン，マラン
Original assignee: アルカテル−ルーセント
Priority date: 2012-11-20
Filing date: 2013-11-18
Publication date: 2017-02-08
Anticipated expiration: 2033-11-18
Also published as: US20150334156A1; CN104813633A; CN104813633B; EP2733903B1; KR20150090139A; KR101726586B1; EP2733903A1; US9380098B2; JP2016504812A; WO2014079793A1

Description

本発明は、ネットワークにおけるビデオストリームの送信の分野に関する。

ネットワークにおいてビデオストリームを送信する場合に、品質レベルを保証するための、または期待するレベルがもはや保証されないときに対応するための、いくつかの技術的解決方法が知られている。たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）またはＬＴＥネットワークにおいて、呼の設定中に、エンドユーザとネットワークの間で合意を得るためにコーデックが交渉される（ＳＤＰ交渉）。メディアサーバ（ＭＲＦネットワークエレメント、ＩＭＳのメディアリソース機能）内で、またはエンドユーザ端末自身において、所望の品質レベルを維持するために使用可能ないくつかの同期機構、予測または補正アルゴリズムが知られている。たとえば、リアルタイム制御プロトコル（ＲＴＣＰ）を用いたオーディオおよびビデオ同期、ならびにパケットロス隠蔽（ＰＬＣ：ｐａｃｋｅｔｌｏｓｓｃｏｎｃｅａｌｍｅｎｔ）がある。しかしながら、これらの様々な技術的解決方法は、ネットワークの物理的な容量により制限される。

ビデオストリームの品質が不十分の場合、有り得る対応は、ビデオストリームの送信をキャンセルすること、（およびオーディオのみを送信すること）、またはビデオストリームをアバターなど所定のビデオストリームに置き換えることである。しかしながらその場合、ユーザはビデオストリームについて何も情報がない。

したがって、本発明の実施形態の目的は、ネットワークにおいてビデオストリームを送信するための、従来技術の方法の固有の欠点を示さない、改良された方法を提案することである。

本発明の実施形態によれば、本目的は、ネットワークにおいてビデオストリームを送信するための方法であって、ビデオ送信装置により実施され、前記方法は：
− 第１のビデオストリームを送信元通信端末から受信することと、
− 前記第１のビデオストリームの品質レベルを決定することと、
− 前記第１のビデオストリームに基づく第２のビデオストリームを送信先通信端末に送信することと
を備え、
− 前記品質レベルが所定の閾値より高い場合、第２のビデオストリームのフレームが、前記第１のビデオストリームのフレームを含み、
− 前記品質レベルが前記所定の閾値より低い場合、方法が、品質基準を満たす前記第１のビデオストリームのフレームの一部分を決定することを備え、第２のビデオストリームのフレームが、前記一部分と第３のビデオストリームのフレームとを含む、
方法により実現される。

同様に、本発明の実施形態は、ビデオ送信装置であって：
− 第１のビデオストリームを送信元通信端末から受信するための手段と、
− 前記第１のビデオストリームの品質レベルを決定するための手段と、
− 前記第１のビデオストリームに基づく第２のビデオストリームを送信先通信端末に送信するための手段と、
− 前記品質レベルが前記所定の閾値より低い場合に起動される、品質基準を満たす前記第１のビデオストリームのフレームの一部分を決定するための手段と
を備え、
− 前記品質レベルが所定の閾値より高い場合、第２のビデオストリームのフレームが、前記第１のビデオストリームのフレームを含み、
− 前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームのフレームが、前記一部分と第３のビデオストリームのフレームとを含む、
ビデオ送信装置に関する。

このようにして、品質が良好である場合、第１のビデオストリームは、修正なしで送信先通信端末に送信され得る。一方、品質が良好でない場合、第１のビデオストリームの一部分のみが、代替ビデオストリームと組み合わされて、送信先通信端末へ送信される。選択された一部分が品質基準を満たすので、品質劣化は、送信先通信端末のユーザへ（少なくとも部分的に）隠蔽され得る。さらに、代替ビデオストリームがユーザに提供されるので、元のビデオに対して一部分Ｐのサイズが縮小されたことからユーザの注意を逸らすことができる。結果として、ユーザは、品質が劣化していても、滑らかで満足のいく視聴体験を楽しむことができる。

一実施形態では、第１のビデオストリームが、フレームの全領域のデータを含む第１の画像データと、前フレームに対するフレームの領域の変化に関するデータを含む第２の画像データとを含み、第２の画像データが領域に対して所定の期間受信された場合に、前記品質基準が前記領域により満たされる。

前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームの前記フレームが、第３のビデオストリームのメタデータにより指定される位置に前記一部分を含んでもよい。

前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームの前記フレームが、第３のビデオストリームの分析により決定される位置に前記一部分を含んでもよい。

前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームの前記フレームが、所定の位置に前記一部分を含む。

上述の３つの例では、一部分は、最も関心が少ない領域に配置されてもよい。

第３のビデオストリームは広告を含んでもよい。

一実施形態では、第３のビデオストリームが、送信元通信端末または送信先通信端末の識別子に応じて決定されてもよい。したがって、パーソナル化が提供される。

たとえば、第３のビデオストリームが、ソーシャルネットワークサービスから利用可能な前記識別子に関するデータに応じて決定されてもよい。

一実施形態では、品質基準を満たす前記第１のビデオストリームのフレームの一部分を決定することが、前記第１のビデオストリームの連続するフレームに対して反復される。したがって、決定される一部分は、時間を通して、連続するフレームに対して変化し得る。

実施形態は、ビデオ会議に関する。したがって、方法は：
− 複数の第１のビデオストリームをそれぞれの通信端末から受信することと、
− 前記第１のビデオストリームの少なくとも１つに対して品質レベルを決定することと、
− 前記第１のビデオストリームに基づく第２のビデオストリームを前記通信端末に送信することと
を備えてもよく、
− 前記品質レベルが所定の閾値より高い場合、第２のビデオストリームのフレームが、前記第１のビデオストリームの前記少なくとも１つのフレームを含み、
− 前記品質レベルが前記所定の閾値より低い場合、方法が、品質基準を満たす前記少なくとも１つの第１のビデオストリームのフレームの一部分を決定することを備え、第２のビデオストリームのフレームが、前記一部分と第３のビデオストリームのフレームとを含む。

たとえば、第２のビデオストリームが前記第１のビデオストリームのモザイクでもよい。他の実施形態では、第２のビデオストリームは、第１のビデオストリームの１つ、たとえば、参加者が最も大きい声で話すものを選択することにより決定されてもよい。

本発明の実施形態はまた、コンピュータにより実行された場合に、本発明の実施形態による方法を実行するための命令を含む、たとえばコンピュータ可読媒体上のコンピュータプログラムに関する。

添付の図面と併せて実施形態の以下の説明を参照することで、本発明の上記および他の目的ならびに特徴がより明らかになり、本発明自体が最も良く理解されよう。

本発明の一実施形態によるビデオストリームを送信するための方法が実施され得るシステムの概略図である。本発明の一実施形態によるビデオストリームを送信するための方法のフローチャートの図である。ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。本発明の一実施形態によるビデオストリームを送信するための方法が実施され得るシステムの概略図である。図６のシステムにおける、ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。

図面に示された様々な要素の機能は、専用のハードウェア、ならびに、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアを用いて、提供され得ることに注意されたい。機能は、プロセッサにより提供されるとき、単一の専用プロセッサにより、単一の共有プロセッサにより、または一部が共有され得る複数の個別プロセッサにより、提供され得る。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に参照するよう解釈されるべきではく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを限定することなく暗黙に含み得る。従来のおよび／またはカスタムの、他のハードウェアもまた含まれ得る。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックとの相互作用を通して、または手動でも実行され得、特定の技術は文脈からより具体的に理解されるように、実装者により選択可能である。

本明細書の任意のブロック図が、本発明の原理を具現化する例示の回路の概念図を表すことを、当業者にさらに理解されたい。同様に、任意のフローチャート、フロー図、状態遷移図、疑似コードなどは、コンピュータ可読媒体内に実質的に表され、したがってそれらが、そのようなコンピュータまたはプロセッサが明示的に図示されるされないにかかわらず、コンピュータまたはプロセッサにより実行され得る様々な処理を表すことが理解されよう。

図１は、本発明の一実施形態によるビデオストリームを送信するための方法が実施され得るシステム１の概略図である。システム１はネットワーク５により接続された、通信端末２と、ビデオ送信装置３と、通信端末４とを備える。システム１は代替ビデオサーバ６と、ビデオ品質評価装置７とをさらに備えてもよい。

システム１は（送信元端末となる）通信端末２から（送信先端末となる）通信端末４へ、ネットワーク５を通して、ビデオ送信装置３を介して、ソースビデオストリームＶ_Ｓを送信させる。ビデオストリームＶ_Ｓの送信は、セッション開始プロトコル（ＳＩＰ：ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）を用いて、ＩＰマルチメディアサブシステムにおいて開始されてもよい。しかしながら、本発明の実施形態はこの例に限定されない。

通信端末２は、ユーザにより要求され得る複数のビデオストリームを格納するマルチメディアサーバでもよい。通信端末２はまた、ＰＣまたはスマートフォンのようにビデオを取得し、それをビデオ通信のためにネットワークを介して送ることが可能な端末などの、ユーザ端末でもよい。

通信端末４は、表示すべきビデオストリームを受信可能なユーザ端末、たとえば、ＰＣ、スマートフォン、セットトップボックスなどでもよい。

ビデオ送信装置３は、ネットワーク５内に、通信端末２と通信端末４との間に配置される。ビデオ送信装置３により受信されたビデオストリームＶ_ＩＮは、ネットワーク５におけるパケットロスまたは遅延などが原因で、ソースビデオストリームＶ_Ｓと異なることがある。言い換えると、ネットワーク５において利用可能なビデオストリームＶ_ＩＮは歪んでいることがあり、つまり品質が低下していることがある。

起こり得る品質劣化を考慮するために、ビデオ送信装置３は、ビデオストリームＶ_ＩＮの品質レベルＱを決定する。一実施形態では、ビデオ送信装置３は、品質レベルＱ自体を評価する。他の実施形態では、図１に破線で示されるように、ビデオ送信装置３は、ビデオストリームＶ_ＩＮの品質を評価し、品質レベルＱをビデオ送信装置３に提供するように構成されたビデオ品質評価装置７に問い合わせることで、品質レベルＱを決定する。

品質レベルＱは、任意の適切なビデオ品質評価方法により評価されてもよい。ソースビデオストリームＶ_Ｓが（フレームの全領域のデータを含む）Ｉスライスと（前フレームに対するフレームの領域の変化に関するデータを含む）Ｐスライスとに基づいて符号化される実施形態では、品質レベルＱは、Ｐスライスがフレームの各領域に対して所定の期間受信された場合に、品質が十分に良好であることを表してもよく、そうでない場合には品質が不十分であることを表してもよい。

ビデオ送信装置３から通信端末４へ送信されるビデオストリームＶ_ＯＵＴは、決定された品質レベルＱに依存する：
− 品質レベルＱが所定の品質閾値Ｑ_０より高い場合、ビデオストリームＶ_ＯＵＴは、ビデオストリームＶ_ＩＮの全体を含む（たとえば、ビデオストリームＶ_ＯＵＴはビデオストリームＶ_ＩＮに等しい）。
− 品質レベルＱが品質閾値Ｑ_０より低い場合、ビデオ送信装置３は、品質基準を満たすビデオストリームＶ_ＩＮの一部分と代替ビデオストリームＶ_ＳＵＢとを組み合せることにより、ビデオストリームＶ_ＯＵＴを構成する。この組合せのいくつかの可能性を、図３、４および５を参照して以下説明する。

代替ビデオストリームＶ_ＳＵＢは、ビデオ送信装置３に格納されたビデオでもよい。他の実施形態では、図１に破線で示されるように、代替ビデオストリームＶ_ＳＵＢは、代替ビデオサーバ６によりビデオ送信装置３へ提供される。

代替ビデオストリームＶ_ＳＵＢは、広告を含んでもよい。それは通信端末２または通信端末４のユーザのＩＤに依存してもよい。たとえば、代替ビデオサーバ６はプロフィール情報に基づいて広告を選択し、これは選択された広告がユーザに適していることを示す。代替ビデオストリームＶ_ＳＵＢはまた、個人用呼び出し音機能（ＰｅｒｓｏｎａｌＲｉｎｇＢａｃｋＴｏｎｅｆｕｎｃｔｉｏｎ）のビデオへの応用と同様にして、通信端末２または通信端末４のユーザにより事前に選択されたビデオを含んでもよい。代替ビデオストリームＶ_ＳＵＢはまた、ソーシャルネットワークサービスから利用可能な、通信端末２または４のユーザに関連するデータに基づいて決定されたビデオを含んでもよい。たとえば、通信端末２のユーザがソーシャルネットワークサービス上でビデオを共有した場合、このビデオは代替ビデオストリームＶ_ＳＵＢに含まれてもよい。

図２は、ビデオ送信装置３により実施される、ビデオストリームを送信するための方法のフローチャートである。

ビデオ送信装置３は、通信端末２からビデオストリームＶ_ＩＮを受信し（ステップＳ１）、ビデオストリームＶ_ＩＮの品質レベルＱを決定する（ステップＳ２）。決定された品質レベルＱは、閾値Ｑ_０と比較される（ステップＳ３）。

Ｑ＞Ｑ_０（またはＱ≧Ｑ_０）の場合、ビデオ送信装置３は、出力ビデオストリームＶ_ＯＵＴとしてビデオストリームＶ_ＩＮを用いる（ステップＳ４）。

一方、Ｑ＜Ｑ_０（またはＱ≦Ｑ_０）の場合、ビデオ送信装置３は、品質基準を満たすビデオストリームＶ_ＩＮの少なくとも一部分Ｐを決定し（ステップＳ５）、一部分Ｐを代替ビデオストリームＶ_ＳＵＢと組み合せてビデオストリームＶ_ＯＵＴを構成する（ステップＳ６）。

両方の場合において、ビデオストリームＶ_ＯＵＴは通信端末４へ送信される（ステップＳ７）。

図２においてステップＳ７からステップＳ１への矢印により示されるように、ステップＳ１からＳ７は、ビデオストリームを送信しながら連続的に実施される。結果として、ビデオストリーム全体の送信は、Ｖ_ＩＮの品質が良好であり（Ｑ≧Ｑ_０）Ｖ_ＯＵＴがＶ_ＩＮに等しい期間と、Ｖ_ＩＮの品質が良好でなく（Ｑ＜Ｑ_０）Ｖ_ＯＵＴがＶ_ＩＮの一部分と代替ビデオストリームＶ_ＳＵＢとの組合せの結果である他の期間とから構成されてもよい。

ソースビデオストリームＶ_Ｓが（フレームの全領域のデータを含む）Ｉスライスと（前フレームに対するフレームの領域の変化に関するデータを含む）Ｐスライスとに基づいて符号化されるとき、ビデオストリームＶ_ＩＮの一部分Ｐを決定するために用いられる品質基準は以下でもよい：
ある時刻Ｔにおいて、フレームの領域についてのＰスライスが、設定可能であって２つの完全な画像（Ｉスライス）間の時間間隔より短い、多くのミリ秒から定期的に受信された場合に、この領域が品質基準を満たす一部分Ｐとして選択される。Ｐスライスが数個の領域に対して受信された場合は、最大の領域が選択されてもよい。もちろん、他の品質基準が用いられてもよい。

図３に、ビデオストリームＶ_ＩＮの一部分と代替ビデオストリームＶ_ＳＵＢを組み合せることで、ビデオストリームＶ_ＯＵＴを構成する第１の例を示す。図３は、２つの領域Ｒ１およびＲ２が品質基準を満たすビデオストリームＶ_ＩＮのフレームＦ１を示す。最大のもの（この例ではＲ１）が、ビデオストリームＶ_ＯＵＴに含まれるべき一部分Ｐとして選択される。図３は、最も関心が少ない領域Ａを含む代替ビデオストリームＶ_ＳＵＢのフレームＦ２を示す。領域Ａは、たとえば、代替ビデオストリームＶ_ＳＵＢに含まれるメタデータにより指定されてもよい。他の例では、領域Ａは、たとえばビデオストリームＶ_ＩＮの動きベクトルに基づいて代替ビデオストリームＶ_ＳＵＢを分析することで、ビデオ送信装置３により決定されてもよい。最後に、図３は、フレームＦ１の一部分ＰをフレームＦ２上に、領域Ａの位置に重畳することで構成されたビデオストリームＶ_ＯＵＴのフレームＦ３を示す。領域Ａおよび一部分Ｐが同一サイズを有さない場合、一部分Ｐのサイズの増加または減少を含んでもよい。

この組合せは、連続するフレームに対して反復される。一部分Ｐは、各フレームに対して個別に決定されてもよい。したがって、ビデオストリームＶ_ＯＵＴに含まれるビデオストリームＶ_ＩＮの一部分Ｐは、時間を通して変化してもよい。たとえば、Ｐスライスが領域Ｒ２に対してではなく領域Ｒ１に対して受信されなくなった場合、領域Ｒ２が、領域Ｒ１の代わりに一部分Ｐとして選択され、ビデオストリームＶ_ＯＵＴに含まれてもよい。

図４に、ビデオストリームＶ_ＩＮの一部分を代替ビデオストリームＶ_ＳＵＢと組み合せることでビデオストリームＶ_ＯＵＴを構成する第２の例を示す。図４は、一部分ＰがビデオストリームＶ_ＯＵＴに含まれるように選択されたビデオストリームＶ_ＩＮのフレームＦ４を示す。図４は、代替ビデオストリームＶ_ＳＵＢのフレームＦ５を示す。最後に、図４は、フレームＦ４の一部分ＰとフレームＦ５を、黒い背景などの背景上に追加することで構成されるビデオストリームＶ_ＯＵＴのフレームＦ６を示す。この例では、一部分ＰおよびフレームＦ５はフレームＦ６内で部分的に重なるが、重ならずに隣接してもよい。フレームＦ５およびＦ６の相対的なサイズに応じて、フレームＦ５のサイズは、一部分Ｐのための十分なスペースを残した上でフレームＦ６に収まるように縮小されてもよい。

図５に、ビデオストリームＶ_ＩＮの一部分を代替ビデオストリームＶ_ＳＵＢと組み合せることでビデオストリームＶ_ＯＵＴを構成する第３の例を示す。図５は、一部分ＰがビデオストリームＶ_ＯＵＴに含まれるように選択されたビデオストリームＶ_ＩＮのフレームＦ７を示す。この場合、一部分Ｐは、非選択部分Ｐ’を除いたフレームＦ７の大部分を覆う。図５は、代替ビデオストリームＶ_ＳＵＢのフレームＦ８を示す。最後に、図５は、フレームＦ７の非選択部分Ｐ’をフレームＦ８に置換することで構成されるビデオストリームＶ_ＯＵＴのフレームＦ９を示す。非選択部分Ｐ’およびフレームＦ８の相対的なサイズに応じて、フレームＦ８のサイズは、非選択部分Ｐ’上に適合するように増加または減少されてもよい。

図３から図５の例の各々が、個々のフレームを参照して説明された。ビデオストリームＶ_ＯＵＴの連続するフレームが、ビデオストリームＶ_ＩＮの品質が劣化する間に（Ｑ＜Ｑ_０）、同様に構成されることを理解されたい。

システム１において、品質が良好である場合（Ｑ＞Ｑ_０）、ビデオストリームＶ_ＩＮは修正なしでユーザ端末４に送信される。一方、品質が良好でない場合（Ｑ＜Ｑ_０）、ビデオストリームＶ_ＩＮの一部分のみが、代替ビデオストリームＶ_ＳＵＢと組み合されて、通信端末４へ送信される。選択された一部分が品質基準を満たすので、品質劣化は通信端末４のユーザへ（少なくとも部分的に）隠蔽され得る。さらに、代替ビデオストリームがユーザに提供されるので、元のビデオに対して一部分Ｐのサイズが縮小されたことからユーザの注意を逸らすことができる。結果として、通信端末４のユーザは、品質が劣化していても、滑らかで満足のいく視聴体験を楽しむことができる。

これまで、通信端末２から通信端末４へのビデオストリームの送信を説明した。通信端末２および通信端末４の両方が、たとえば双方向ビデオ会話用の、ビデオストリームを送信および受信可能なユーザ端末である場合、ビデオ送信装置３は、通信端末２へ送信されるべきビデオストリームを決定するために、上述と同一の方法を、通信端末４から受信されるビデオストリームに適用してもよい。

図１のシステム１を、２つの通信端末間の通信を参照して説明した。しかしながら、本発明の実施形態は、図６に示されたように、複数の（すなわち２より多い）通信端末間の通信にも適用される。図６では、図１と同じ参照符号は、同一または類似の構成要素を指定する。

図６のシステム１は、ネットワーク５を通してビデオ送信装置３を介して接続された複数の通信端末２ａ、２ｂ、２ｃ、２ｄを備える。

各通信端末２ａ、２ｂ、２ｃ、２ｄは、それぞれのソースビデオストリームＶ_Ｓａ、Ｖ_Ｓｂ、Ｖ_Ｓｃ、Ｖ_Ｓｄをビデオ送信装置３に送信する。ネットワーク５におけるパケットロスおよび遅延などが原因で、ビデオ送信装置３により受信されたビデオストリームＶ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄはソースビデオストリームＶ_Ｓａ、Ｖ_Ｓｂ、Ｖ_Ｓｃ、Ｖ_Ｓｄと異なることがあり、言い換えると、品質が劣化していることがある。

ビデオ送信装置３はビデオ会議サーバとして働き、ビデオストリームＶ_{ＯＵＴ＿Ｍ}を各通信端末２ａ、２ｂ、２ｃ、２ｄに送信する。

一実施形態では、たとえば、どの参加者が最も大きな声で話すかに基づいて、ビデオストリームＶ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄの１つを選択し、図２の方法を選択されたビデオストリームに適用することで、ビデオストリームＶ_{ＯＵＴ＿Ｍ}が決定される。

図６の実施形態では、ビデオ送信装置３は、同一のビデオストリームＶ_{ＯＵＴ＿Ｍ}を各通信端末２ａ、２ｂ、２ｃ、２ｄに送信する。しかしながら、他の実施形態では、異なるビデオストリームが各通信端末２ａ、２ｂ、２ｃ、２ｄに送信されてもよい。

図７に例示される他の実施形態では、図２の方法をビデオストリームＶ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄの少なくとも１つに適用し、その結果のビデオストリームのモザイクを構成することにより、ビデオストリームＶ_{ＯＵＴ＿Ｍ}が決定される。好ましくは、図２の方法は、ビデオストリームＶ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄの各々に並行して適用される。したがって、図７の例では、ビデオストリームＶ_ＩＮａ、Ｖ_ＩＮｃおよびＶ_ＩＮｄの品質レベルは十分であると判断された一方で、ビデオストリームＶ_ＩＮｂの品質レベルは不十分であると判断された。結果として、ビデオストリームＶ_{ＯＵＴ＿Ｍ}のモザイクは、ビデオストリームＶ_ＩＮａ、Ｖ_ＩＮｃおよびＶ_ＩＮｄの各々の全体のフレームと、代替ビデオストリームのフレームと組み合されたビデオストリームＶ_ＩＮｂのフレームの一部分とを含む。この組合せは、たとえば図３から図５の１つを参照して上述されたように行われてもよい。

本方法の実施形態は、専用のハードウェアおよび／またはソフトウェアまたはそれらの任意の組合せにより実施され得る。

本発明の原理は特定の装置に関して上述されたが、この説明はあくまで一例に過ぎず、添付の特許請求の範囲に定義された本発明の範囲を制限するものではないことが、明らかに理解されよう。

Claims

ネットワーク（５）においてビデオストリームを送信するための方法であって、ビデオ送信装置（３）により実施され、
第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）を送信元通信端末（２；２ａ、２ｂ、２ｃ、２ｄ）から受信すること（Ｓ１）と、
前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）の品質レベル（Ｑ）を決定すること（Ｓ２）と、
前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）に基づく第２のビデオストリーム（Ｖ_ＯＵＴ）を送信先通信端末（４；２ａ、２ｂ、２ｃ、２ｄ）に送信すること（Ｓ７）と
を備え、
前記品質レベル（Ｑ）が所定の閾値（Ｑ_０）より高い場合、第２のビデオストリーム（Ｖ_ＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）を含み、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ_０）より低い場合、方法が、品質基準を満たす前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定すること（Ｓ５）を備え、第２のビデオストリーム（Ｖ_ＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記一部分（Ｐ）と、ビデオ送信装置（３）に格納された、または、代替ビデオサーバ（６）によりビデオ送信装置（３）へ提供される第３のビデオストリーム（Ｖ_ＳＵＢ）のフレーム（Ｆ２、Ｆ５、Ｆ８）とを含む、方法。
ネットワーク（５）においてビデオストリームを送信するための方法であって、ビデオ送信装置（３）により実施され、
複数の第１のビデオストリーム（Ｖ _ＩＮａ、Ｖ _ＩＮｂ、Ｖ _ＩＮｃ、Ｖ _ＩＮｄ）をそれぞれの通信端末（２ａ、２ｂ、２ｃ、２ｄ）から受信することと、
前記第１のビデオストリーム（Ｖ _ＩＮａ、Ｖ _ＩＮｂ、Ｖ _ＩＮｃ、Ｖ _ＩＮｄ）の少なくとも１つに対して品質レベル（Ｑ）を決定することと、
前記第１のビデオストリーム（Ｖ _ＩＮａ、Ｖ _ＩＮｂ、Ｖ _ＩＮｃ、Ｖ _ＩＮｄ）に基づく第２のビデオストリーム（Ｖ _{ＯＵＴ＿Ｍ} ）を前記通信端末（２ａ、２ｂ、２ｃ、２ｄ）に送信すること（Ｓ７）と
を備え、
前記品質レベル（Ｑ）が所定の閾値（Ｑ _０）より高い場合、第２のビデオストリーム（Ｖ _{ＯＵＴ＿Ｍ} ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記第１のビデオストリーム（Ｖ _ＩＮ；Ｖ _ＩＮａ、Ｖ _ＩＮｂ、Ｖ _ＩＮｃ、Ｖ _ＩＮｄ）の前記少なくとも１つのフレーム（Ｆ１、Ｆ４、Ｆ７）を含み、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ _０）より低い場合、方法が、品質基準を満たす前記少なくとも１つの第１のビデオストリーム（Ｖ _ＩＮ；Ｖ _ＩＮａ、Ｖ _ＩＮｂ、Ｖ _ＩＮｃ、Ｖ _ＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定することを備え、第２のビデオストリーム（Ｖ _{ＯＵＴ＿Ｍ} ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記一部分（Ｐ）と、ビデオ送信装置（３）に格納された、または、代替ビデオサーバ（６）によりビデオ送信装置（３）へ提供される第３のビデオストリーム（Ｖ _ＳＵＢ）のフレーム（Ｆ２、Ｆ５、Ｆ８）とを含む、
方法。
第２のビデオストリーム（Ｖ _{ＯＵＴ＿Ｍ} ）が前記第１のビデオストリーム（Ｖ _ＩＮａ、Ｖ _ＩＮｂ、Ｖ _ＩＮｃ、Ｖ _ＩＮｄ）に基づくモザイクである、請求項２に記載の方法。
前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）が、フレームの全領域のデータを含む第１の画像データと、前フレームに対するフレームの領域の変化に関するデータを含む第２の画像データとを含み、第２の画像データが領域（Ｒ１、Ｒ２）に対して所定の期間の間受信された場合に、前記品質基準が前記領域（Ｒ１、Ｒ２）により満たされ、前記品質基準を満たす前記領域（Ｒ１、Ｒ２）から、前記一部分（Ｐ）が、選択される、請求項１から３のいずれか一項に記載の方法。
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ_０）より低い場合、第２のビデオストリーム（Ｖ_ＯＵＴ）の前記フレーム（Ｆ３）が、第３のビデオストリーム（Ｖ_ＳＵＢ）のメタデータにより指定されるフレーム上の位置に前記一部分（Ｐ）を含む、請求項１から４のいずれか一項に記載の方法。
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ_０）より低い場合、第２のビデオストリーム（Ｖ_ＯＵＴ）の前記フレーム（Ｆ３）が、第３のビデオストリーム（Ｖ_ＳＵＢ）の分析により決定されるフレーム上の位置に前記一部分（Ｐ）を含む、請求項１から４のいずれか一項に記載の方法。
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ_０）より低い場合、第２のビデオストリーム（Ｖ_ＯＵＴ）の前記フレーム（Ｆ３、Ｆ６）が、所定の位置に前記一部分（Ｐ）を含む、請求項１から４のいずれか一項に記載の方法。
第３のビデオストリーム（Ｖ_ＳＵＢ）が、送信元通信端末（２；２ａ、２ｂ、２ｃ、２ｄ）または送信先通信端末（４；２ａ、２ｂ、２ｃ、２ｄ）の識別子に応じて決定される、請求項１から７のいずれか一項に記載の方法。
第３のビデオストリーム（Ｖ_ＳＵＢ）が、ソーシャルネットワークサービスから利用可能な前記識別子に関するデータに応じて決定される、請求項８に記載の方法。
品質基準を満たす前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定すること（Ｓ５）が、前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）の連続するフレームに対して反復される、請求項１から９のいずれか一項に記載の方法。
コンピュータにより実行された場合に、請求項１から１０のいずれか一項に記載の方法を実行するための命令を含む、コンピュータプログラム。
第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）を送信元通信端末（２；２ａ、２ｂ、２ｃ、２ｄ）から受信するための手段と、
前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）の品質レベル（Ｑ）を決定するための手段と、
前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）に基づく第２のビデオストリーム（Ｖ_ＯＵＴ）を送信先通信端末（４；２ａ、２ｂ、２ｃ、２ｄ）に送信するための手段と、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ_０）より低い場合に起動される、品質基準を満たす前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定するための手段（Ｓ５）と
を備え、
前記品質レベル（Ｑ）が所定の閾値（Ｑ_０）より高い場合、第２のビデオストリーム（Ｖ_ＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記第１のビデオストリーム（Ｖ_ＩＮ；Ｖ_ＩＮａ、Ｖ_ＩＮｂ、Ｖ_ＩＮｃ、Ｖ_ＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）を含み、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ_０）より低い場合、第２のビデオストリーム（Ｖ_ＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記一部分（Ｐ）と、ビデオ送信装置（３）に格納された、または、代替ビデオサーバ（６）によりビデオ送信装置（３）へ提供される第３のビデオストリーム（Ｖ_ＳＵＢ）のフレーム（Ｆ２、Ｆ５、Ｆ８）とを含む、ビデオ送信装置（３）。