JP2023533363A - インタラクティブ型コラボライブ配信の制御方法、装置、システム、機器及び媒体 - Google Patents

Abstract

インタラクティブ型コラボライブ配信の制御方法、装置、システム、機器及び媒体である。インタラクティブ型コラボライブ配信の制御方法は、第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボライブ配信状態にあり、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られることと、前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得ることと、を含む。【選択図】図１

Description

［関連出願の相互参照］
本願は、２０２０年０８月１４日に中国国家知識産権局に出願された、出願番号が２０２０１０８２１１１６．７である中国特許出願の優先権を主張し、該出願の全ての内容は引用により本願に組み込まれている。

［技術分野］
本開示は、コンピュータデータ処理の技術分野に関し、例えばインタラクティブ型コラボライブ配信の制御方法、装置、システム、機器及び媒体に関する。

ネットワークライブ配信が広く受け入れられ応用されており、コラボライブ配信の応用は、ネットワークライブ配信に、より多くの面白さを増加させる。

コラボライブ配信時に、視聴者視点で所在するライブルームの配信者が同じ側に位置することを確保するために、２つの配信者側の動画ストリームを直接位置交換して観客側に表示させることができる。しかし、インタラクティブ型のコラボライブ配信の場合、上記した、動画ストリームを直接位置交換する方式は、画面の乱れを引き起こし、インタラクティブ型のコラボライブ配信を実現することができない。

本開示は、インタラクティブ型コラボライブ配信シーンを満たす表示画面を形成し、画面の混乱を回避するためのインタラクティブ型コラボライブ配信の制御方法、装置、システム、機器及び媒体を提供する。

本開示は、
第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボライブ配信状態にあり、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られることと、
前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得ることと、を含む、
インタラクティブ型コラボライブ配信の制御方法を提供する。

本開示は、
ゲームサーバにより、第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得ることと、
前記ゲームサーバにより、第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて前記第１の端末に伝送することと、を含む、
インタラクティブ型コラボライブ配信の制御方法をさらに提供する。

本開示は、
第１の端末に集積されるインタラクティブ型コラボライブ配信の制御装置であって、
第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信するように構成され、前記第１の端末と前記第２の端末とがコラボライブ配信状態にあり、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られるインタラクティブ画面取得モジュールと、
前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得るように構成される目的インタラクティブ画面決定モジュールと、を備える、
インタラクティブ型コラボライブ配信の制御装置をさらに提供する。

本開示は、
サーバに集積されるインタラクティブ型コラボライブ配信の制御装置であって、
第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得るように構成されるミラーリングインタラクティブ画面決定モジュールと、
第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて前記第１の端末に伝送するように構成されるミラーリングインタラクティブ画面伝送モジュールと、を備える、
インタラクティブ型コラボライブ配信の制御装置をさらに提供する。

本開示は、
コラボライブ配信状態にある第１の端末及び第２の端末と、ゲームサーバとを備えるインタラクティブ型コラボライブ配信の制御システムであって、
前記第１の端末が、第１のインタラクティブ画面を収集し、前記第１のインタラクティブ画面を前記ゲームサーバに送信するように構成され、
前記第２の端末が、第２のインタラクティブ画面を収集し、前記第２のインタラクティブ画面を前記ゲームサーバに送信するように構成され、
前記ゲームサーバが、前記第１のインタラクティブ画面及び前記第２のインタラクティブ画面に対してそれぞれミラーリング処理を行い、第１のミラーリングインタラクティブ画面及び第２のミラーリングインタラクティブ画面を得、前記第１のミラーリングインタラクティブ画面を前記第２の端末に伝送し、前記第２のミラーリングインタラクティブ画面を前記第１の端末に伝送するように構成され、
前記第１の端末が、さらに、前記第１のインタラクティブ画面及び前記第２のミラーリングインタラクティブ画面に基づいて第１の目的インタラクティブ画面を生成するように構成され、
前記第２の端末が、さらに、前記第２のインタラクティブ画面及び前記第１のミラーリングインタラクティブ画面に基づいて第２の目的インタラクティブ画面を生成するように構成される、
インタラクティブ型コラボライブ配信の制御システムをさらに提供する。

本開示は、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するように構成される記憶装置と、備える電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサに、上記したインタラクティブ型コラボライブ配信の制御方法を実現させる、
電子機器をさらに提供する。

本開示は、
コンピュータ実行可能な命令が含まれる記憶媒体であって、
前記コンピュータ実行可能な命令がコンピュータプロセッサにより実行されると、上記したインタラクティブ型コラボライブ配信の制御方法の実行に用いられる、
記憶媒体をさらに提供する。

本開示の実施例１に係る１つのインタラクティブ型コラボライブ配信の制御方法のフロー模式図である。 本開示の実施例１に係る１つの第１の端末により表示されるコラボライブ配信の表示エリアの模式図である。 本開示の実施例１に係る１つの第２の端末により表示されるコラボライブ配信の表示エリアの模式図である。 本開示の実施例１に係る１つのインタラクティブシーンの模式図である。 本開示の実施例１に係る他の１つのコラボライブ配信表示エリアの模式図である。 本開示の実施例２に係る１つのインタラクティブ型コラボライブ配信の制御方法のフロー模式図である。 本開示の実施例２に係る１つのライブ配信手順の模式図である。 本開示の実施例３に係る１つのインタラクティブ型コラボライブ配信の制御方法のフロー模式図である。 本開示の実施例５に係る１つのインタラクティブ型コラボライブ配信の制御装置の構造模式図である。 本開示の実施例６に係る１つのインタラクティブ型コラボライブ配信の制御装置の構造模式図である。 本開示の実施例７に係る１つのインタラクティブ型コラボライブ配信の制御システムの構造模式図である。 本開示の実施例７に係る他の１つのインタラクティブ型コラボライブ配信の制御システムの構造模式図である。 本開示の実施例８に係る１つの電子機器の構造模式図である。

以下は、図面を参照しながら本開示の実施例を説明する。図面には本開示のいくつかの実施例が表示されているが、本開示は、様々な形式により実現可能であり、且つここで論述される実施例に限られるものとして解釈されるべきではない。

本開示の方法実施形態に記載の複数のステップは、異なる順番に従って実行されてもよいし、及び／または並行して実行されてもよい。また、方法実施形態は、付け加えられるステップを含んでもよいし、及び／または示されるステップを省略して実行されてもよい。本開示の範囲はこの方面で制限されない。

本明細書で使用される用語「含む」及びその変形は開放的に含むことであり、即ち「含むが限らない」ことである。用語「基づく」は、「少なくとも部分的に基づく」ことである。用語「１つの実施例」は、「少なくとも１つの実施例」を表すものであり、用語「他の１つの実施例」は、「少なくとも１つの他の実施例」を表すものであり、用語「いくつかの実施例」は、「少なくともいくつかの実施例」を表すものである。その他の用語の関連定義は、下記明細書の説明の中で与えられる。

本開示で言及される「第１」、「第２」などの概念は、異なる装置、モジュールまたはユニットを区別するためのものに過ぎず、これらの装置、モジュールまたはユニットにより実行される機能の順番または相互依存関係を限定するためのものではない。

本開示で言及される「１つ」、「複数」の修飾は、模式的なものであり、制限的なものではなく、文脈で別途指示されない限り、「１つまたは複数」として理解されるべきである。

図１は、本開示の実施例１に係る１つのインタラクティブ型コラボライブ配信の制御方法のフロー模式図であり、本開示の実施例は、インタラクティブ型コラボライブ配信の応用シーンで、ライブ配信インタラクティブ画面を形成する状況に適用され、該方法は、インタラクティブ型コラボライブ配信の制御装置により実行可能であり、該装置は、ソフトウェア及び／またはハードウェアの形式により実現されることができ、好ましくは、電子機器により実現され、該電子機器は、移動端末またはパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ）側などであってもよい。

図１に示すように、本実施例の方法は、以下のことを含む。

Ｓ１１０において、第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信する。

Ｓ１２０において、前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得る。

第１の端末と第２の端末とはコラボライブ配信し、第１の端末及び第２の端末は、例えば携帯電話、タブレットコンピュータなどの移動端末であってもよいし、またはＰＣ側などの電子機器であってもよい。第１の端末または第２の端末は、ライブ配信サーバに、第１の端末及び第２の端末の識別情報が含まれ得るコラボリクエストを送信し、ライブ配信サーバによりコラボリクエストに応じてコラボマッチングを行うことで、第１の端末と第２の端末とのコラボライブ配信を実現することができる。

本実施例において、第１の端末と第２の端末とは、表示インタフェースの同じインタラクティブエリア内でインタラクティブオブジェクトに基づいてインタラクティブを行う。例示的には、図２Ａ及び図２Ｂを参照し、図２Ａは、本開示の実施例１に係る１つの第１の端末のコラボライブ配信の表示エリアの模式図であり、図２Ｂは、本開示の実施例１に係る１つの第２の端末により表示されるコラボライブ配信の表示エリアの模式図である。表示エリアには、第１の配信者の表示エリア、第２の配信者の表示エリア、及びインタラクティブエリア（点線エリア）を含むことができ、図２Ａ及び図２Ｂにおけるインタラクティブエリアは、１つの例示に過ぎず、インタラクティブエリアは、第１の配信者の表示エリア及び第２の配信者の表示エリアと全部重畳したり、部分的に重畳したり、または全く重畳しなかったりすることができ、ここでは限定しない。インタラクティブエリアのサイズは、表示エリア全体のサイズ以下である。

第１の配信者の表示エリアは、第１の端末がカメラヘッドを介して収集した第１の配信者の画像または動画を表示するために用いられ、第２の配信者の表示エリアは、第２の端末がカメラヘッドを介して収集した第２の配信者の画像または動画を表示するために用いられる。インタラクティブエリアは、第１の端末と第２の端末とのインタラクティブ画面を表示するために用いられる。インタラクティブ画面には、少なくとも１つのインタラクティブオブジェクトが含まれ、例えば図２Ａ及び図２Ｂには、矢印方向に沿って移動する１つのインタラクティブオブジェクトが含まれる。インタラクティブオブジェクトは、図２Ａ及び図２Ｂに示す球状オブジェクトに限られず、インタラクティブシーンに応じてリアルタイムに変化可能であり、且つインタラクティブオブジェクトの移動方式もインタラクティブシーンに応じて決定されることができ、且つその移動方向は図２Ａ及び図２Ｂに示すものに限られない。

好ましくは、インタラクティブシーンには、制御オブジェクト、即ち配信者が入力した制御命令により制御可能なオブジェクトがさらに含まれてもよい。いくつかの実施例において、制御オブジェクトは、インタラクティブオブジェクトと異なってもよく、第１の端末及び第２の端末の制御オブジェクトは、異なってもよく、即ち第１の端末と第２の端末とは、それぞれ異なる制御オブジェクトに対応し、例示的には、図２Ｃを参照し、図２Ｃは、本開示の実施例１に係る１つのインタラクティブシーンの模式図である。図２Ｃにおいて、第１の端末と第２の端末とは、それぞれ１つの制御オブジェクトに対応し、それぞれ対応する制御オブジェクトを制御して位置、速度、方向、形態などを変化させることができる。且つ図２Ｃには、制御オブジェクトと区別する、インタラクティブシーンで移動するインタラクティブオブジェクトが含まれる。いくつかの実施例において、制御オブジェクトは、インタラクティブオブジェクトのうちの１つまたは複数であってもよく、即ち第１の端末または第２の端末のいずれも、インタラクティブオブジェクトを制御して位置、速度、方向、形態などを変化させるように、インタラクティブオブジェクトのうちの１つまたは複数に対して制御を行うことができる。

図２Ａ及び図２Ｂから分かるように、第１の端末の表示エリアにおける第１の配信者の表示エリアと、第２の端末の表示エリアにおける第２の配信者の表示エリアとは、位置が同じである。即ちいずれか１つの端末において、該端末の操作ユーザの表示エリアは、同じ位置、例えばコラボ表示エリアの左側に位置すべきである。同じように、インタラクティブエリアにおいて表示されるインタラクティブ画面は、同様に２つの端末が収集したインタラクティブ画面により決定され、第１の端末により、第１のインタラクティブ画面を収集し、第２の端末により、第２のインタラクティブ画面を収集し、第１のインタラクティブ画面及び第２のインタラクティブ画面のサイズの和が、インタラクティブ画面全体のサイズと同じであり、且つ第１のインタラクティブ画面のサイズが、第２のインタラクティブ画面のサイズと同じであってもよい。例示的には、図２Ａ及び図２Ｂを参照し、第１の端末の表示エリアにおいて、第１の配信者表示エリアと第２の配信者表示エリアとの境界線を分割線とし、第１の配信者表示エリアに位置するインタラクティブ画面を第１のインタラクティブ画面とし、同じように、第２の端末の表示エリアにおいて、第１の配信者表示エリアと第２の配信者表示エリアとの境界線を分割線とし、第２の配信者表示エリアに位置するインタラクティブ画面を第２のインタラクティブ画面とする。図２Ｃを参照し、いずれか１つの端末の表示されるインタラクティブ画面において、現在端末に対応する制御オブジェクトは、同じ側、例えばインタラクティブエリアの左側に位置する。インタラクティブオブジェクトはインタラクティブエリアで移動し、即ち第１のインタラクティブ画面及び／または第２のインタラクティブ画面に、前記第１のインタラクティブ画面と第２のインタラクティブ画面との間を移動する少なくとも１つのインタラクティブオブジェクトが含まれる。

完全なインタラクティブ画面を形成するために、第１の端末により第１のインタラクティブ画面を収集し、第２の端末により第２のインタラクティブ画面を収集する。好ましくは、前記第１の端末により第１のインタラクティブ画面を収集することは、第１の端末により、第１のユーザの動画画面における制御情報を識別し、前記制御情報に基づいてインタラクティブシーンにおける制御オブジェクトを制御し、フレーム別に前記第１の端末のインタラクティブエリアに対応する第１のインタラクティブ画面を収集する、ことを含む。第１の端末には、第１の配信者の動画を収集するように構成されるカメラヘッドが配置されることができ、第１の端末は、動画におけるマルチフレームの動画画面における制御情報を識別することにより、インタラクティブシーンにおける制御オブジェクトを制御する。動画画面における制御情報を識別することは、第１の配信者のキーポイントの位置情報及び／または姿勢情報を識別することにより決定されることができ、例えばキーポイントが、手指、アーム及び頭部などであってもよいが、これらに限定されない。例えば、キーポイントの位置情報により制御オブジェクトの位置情報を調節し、キーポイントの姿勢情報により制御オブジェクトの方向または形態を調節することができる。いくつかの実施例において、人の顔の座標を識別することにより制御オブジェクトの制御情報を得ることができ、人の顔の縦軸が制御オブジェクトの縦方向の制御情報に対応し、人の顔の横軸が制御オブジェクトの横方向の制御情報に対応し、人の顔の座標が、人の顔の中心点座標またはいずれか１つの指定器官の座標であってもよい。

第１の配信者の動画におけるマルチフレームの動画画面の制御情報に応じて、フレーム毎に制御オブジェクトの、第１の端末に対応するインタラクティブエリアにおけるデータを決定し、第１の端末のインタラクティブエリアにおける制御オブジェクト及び／またはインタラクティブオブジェクトのデータに基づいて、対応するフレームの第１のインタラクティブ画面を形成し、第１の端末に対応するインタラクティブエリアは、第１の配信者表示エリアが所在する側の一部のインタラクティブエリアであってもよく、該一部のインタラクティブエリアは、インタラクティブエリア全体の半分であってもよい。

同じように、第２の端末は、上記方式に基づいて第２のインタラクティブ画面を収集する。第２の端末は、収集された第２のインタラクティブ画面をゲームサーバに送信し、ゲームサーバは、受信された第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得、ミラーリングインタラクティブ画面を第１の端末に伝送する。ゲームサーバは、該ミラーリングインタラクティブ画面を第１の端末に直接伝送してもよいし、リアルタイム通信コネクタ（Ｒｅａｌｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＲＴＣ）により該ミラーリングインタラクティブ画面を第１の端末に伝送してもよい。

第１のインタラクティブ画面及び第２のインタラクティブ画面は、それぞれ時刻を収集するタイムスタンプを携帯し、相応的に、ミラーリングインタラクティブ画面にはタイムスタンプが携帯され、ミラーリングインタラクティブ画面のタイムスタンプは、ミラーリング処理が行われる第２のインタラクティブ画面のタイムスタンプと同じである。

第１の端末は、同一のタイムスタンプを有する第１のインタラクティブ画面とミラーリングインタラクティブ画面とを組み合わせ、第１の端末の目的インタラクティブ画面を得る。例えば、第１のインタラクティブ画面の位置を変えずに、ミラーリングインタラクティブ画面と第１のインタラクティブ画面に対して位置合わせ及び接合を行い、目的インタラクティブ画面を形成し、タイムスタンプにより第１のインタラクティブ画面とミラーリングインタラクティブ画面とを組み合わせ、インタラクティブ画面の同期が確保され、インタラクティブ画面の乱れが回避される。マルチフレームの目的インタラクティブ画面により、第１の端末で提示される目的インタラクティブ動画を形成し、第１の端末のコラボライブ配信表示インタフェースで表示し、該目的インタラクティブ動画を第１の端末に対応する観客側にストリームプッシュする。

上記実施例のもとで、第１の端末は、第１のインタラクティブ画面をゲームサーバに送信し、これにより、ゲームサーバにより、第１のインタラクティブ画面に対してミラーリング処理を行った後に、第１のインタラクティブ画面のミラーリングインタラクティブ画面を第２の端末に伝送し、第２の端末は、収集された第２のインタラクティブ画面及び第１のインタラクティブ画面のミラーリングインタラクティブ画面に基づいて、第２の端末の目的インタラクティブ画面を形成し、第２の端末の目的インタラクティブ画面のうちの第２のインタラクティブ画面が、インタラクティブエリアの左側に位置し、第１のインタラクティブ画面のミラーリングインタラクティブ画面が、インタラクティブエリアの右側に位置し、完全なインタラクティブ画面が形成される。

第１の端末または第２の端末により表示される表示エリアのレイアウトは、図２Ａまたは図２Ｂに示すものに限られない。図２Ｄを参照し、図２Ｄは、本開示の実施例１に係る他の１つのコラボライブ配信表示エリアの模式図である。図２Ｄにおける第１の配信者の表示エリア、第２の配信者の表示エリア及びインタラクティブエリアの間は重畳せず、インタラクティブエリアには、インタラクティブエリアの２つのインタラクティブ画面を移動するインタラクティブオブジェクト及び／または制御オブジェクトが含まれることができる。図２Ｄにおける第１の配信者の表示エリア、第２の配信者の表示エリア及びインタラクティブエリアのレイアウトは、設計ニーズに応じて調節を行うことができ、これについて限定しない。

本実施に係る技術案において、第１の端末は、収集された第１のインタラクティブ画面と、受信された第２の端末の第２のインタラクティブ画面のミラーリングインタラクティブ画面とを組み合わせることにより、第１の端末の表示に適応される目的インタラクティブ画面を得、異なる端末の、ライブ配信シーンでのインタラクティブエリアのインタラクティブ画面の明瞭さ且つ的確さが確保され、インタラクティブ画面の乱れが回避される。

図３は、本開示の実施例２に係る１つのインタラクティブ型コラボライブ配信の制御方法のフロー模式図である。上記実施例のもとで説明が行われ、該方法は、以下のことを含む。

Ｓ２１０において、第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボし、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られる。

Ｓ２２０において、前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得る。

Ｓ２３０において、前記第１の端末により、第１の動画ストリームを収集し、前記第２の端末の第２の動画ストリームを受信して、前記第１の動画ストリーム及び前記第２の動画ストリームに基づいて初期動画統合ストリームを形成する。

Ｓ２４０において、前記第１の端末により、前記目的インタラクティブ画面を前記初期動画統合ストリームに描画し、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成する。

第１の端末及び第２の端末のいずれにもカメラヘッドが配置されている。第１の端末は、第１のカメラヘッドを介して、第１の配信者が含まれる動画ストリームであってもよい第１の動画ストリームを収集し、第２の端末は、第２のカメラヘッドを介して、第２の配信者が含まれる動画ストリームであってもよい第２の動画ストリームを収集する。第２の端末は、第２の動画ストリームを第１の端末に伝送し、例えばリアルタイム通信コネクタにより動画ストリームの伝送を行うことができる。例えば、第１の端末は、収集された第１の動画ストリームをリアルタイム通信コネクタに送信し、第２の端末は、収集された第２の動画ストリームをリアルタイム通信コネクタに送信し、リアルタイム通信コネクタは、該第１の動画ストリームを第２の端末に伝送し、第２の動画ストリームを第１の端末に伝送する。

第１の端末は、第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行い、初期動画統合ストリームを得る。前記第１の動画ストリーム及び前記第２の動画ストリームに基づいて初期動画統合ストリームを形成することは、前記第１の動画ストリームの識別子及び前記第２の動画ストリームの識別子に応じて、前記第１の動画ストリームと前記第２の動画ストリームとの統合ストリーム位置を決定することと、前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行い、初期動画統合ストリームを形成することと、を含む。図２Ａを参照し、図２Ａにおいて第１の配信者の表示エリアは、即ち第１の動画ストリームの統合ストリーム位置であり、第２の配信者の表示エリアは、即ち第２の動画ストリームの統合ストリーム位置である。いずれか１つの端末について、現在端末により収集された動画ストリームの統合ストリーム位置は、現在端末コラボライブ配信表示エリアにおける第１のプリセット位置に位置することができ、例えば左側位置であってもよく、コラボ端末により収集された動画ストリームの統合ストリーム位置は、現在端末コラボライブ配信表示エリアにおける第２のプリセット位置に位置することができ、例えば右側位置であってもよい。

第１の端末は、第１の動画ストリームの識別子及び前記第２の動画ストリームの識別子に応じて、第１の動画ストリームと前記第２の動画ストリームとに対してそれぞれ対応する統合ストリーム位置で統合ストリームを行い、初期動画統合ストリームを得る。好ましくは、前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行うことは、前記第１の動画ストリーム及び前記第２の動画ストリームにおける複数の動画フレームのタイムスタンプに基づいて、前記統合ストリーム位置に応じて、前記第１の動画ストリーム及び前記第２の動画ストリームにおける同一のタイムスタンプが設けられた動画フレームに対してストリーム統合処理を行うことを含む。タイムスタンプに基づいて第１の動画ストリームと前記第２の動画ストリームとに対して統合ストリームを行い、２つの動画ストリームのライブ配信の時間遅延が回避され、動画ストリームの同期性が高められる。

第１の端末は、目的インタラクティブ画面を初期動画統合ストリームにおいて対応する複数の動画フレームに描画して、第１の端末の目的動画統合ストリームを得る。目的インタラクティブ画面及び初期動画統合ストリームにおける複数の動画フレームのいずれにもタイムスタンプが設けられ、目的インタラクティブ画面を同一のタイムスタンプを有する動画フレームに描画する。

いくつかの実施例において、目的インタラクティブ画面には、制御オブジェクト及び／またはインタラクティブオブジェクトのデータが含まれ、上記データに基づいて制御オブジェクト及び／またはインタラクティブオブジェクトを対応する動画フレームでレンダリングし、目的インタラクティブ画面の描画を完成させる。いくつかの実施例において、インタラクティブエリアの、表示インタフェースにおける位置に基づいて、目的インタラクティブ画面における複数の画素点の画素値を対応する動画フレームでレンダリングし、目的インタラクティブ画面の描画を完成させてもよい。インタラクティブエリアと、第１の配信者の表示位置及び第２の配信者の表示位置とに重畳が存在するときに、目的インタラクティブ画面の画面背景は透明背景であり、初期動画統合ストリームにおける画面に対する遮蔽が回避され、相応的に、目的インタラクティブ画面のサイズは、図２Ａ及び図２Ｂを参照し、初期動画統合ストリームにおける各画面フレームのサイズ以下である。インタラクティブエリアと、第１の配信者の表示位置及び第２の配信者の表示位置とに重畳が存在しないときに、目的インタラクティブ画面の画面背景は、ニーズに応じて設けられることができ、目的インタラクティブ画面に対して描画を行うことは、同一のタイムスタンプを有する目的インタラクティブ画面及び初期動画統合ストリームの動画フレームに対応する表示エリアをそれぞれレンダリングすることであってもよい。

目的動画統合ストリームが第１の端末で表示され、且つ該目的動画統合ストリームを第１の端末に対応する観客側にストリームプッシュし、これにより、観客側で表示されたライブ配信画面において、所在するライブルームの配信者が同じプリセット位置に位置することが確保される。コンテンツデリバリネットワーク（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ、ＣＤＮ）サーバに基づいて目的動画統合ストリームのストリームプッシュを実現することができる。

本実施例において、第１の端末及び第２の端末は、ローカル統合ストリーム機能を有する端末であり、ライブ配信サーバにより動画統合ストリームを行う代わりに、第１の端末により動画統合ストリームを行い、これにより、動画統合ストリームの遅延が減少し、動画ストリームのフリーズが回避される。

例示的には、図４を参照し、図４は、本開示の実施例２に係る１つのライブ配信手順の模式図である。カメラは、第１の動画ストリームを収集し、効果処理モジュール（ｅｆｆｅｃｔ ｓｄｋ）に伝送し、効果処理モジュールにより、収集された第１の動画ストリームに対して美顔処理、特殊効果処理を行い、第２の動画ストリームを受信し、第１の動画ストリームと第２の動画ストリームとに対してストリーム統合処理を行い、初期動画統合ストリームを得、効果処理モジュールは、第１のインタラクティブ画面を収集し且つ第２のインタラクティブ画面のミラーリングインタラクティブ画面を受信し、第１のインタラクティブ画面とミラーリングインタラクティブ画面とを組み合わせた後に、得られた目的インタラクティブ画面を初期動画統合ストリームに描画して、目的動画統合ストリームを得、目的動画統合ストリームをｌｉｖｅｃｏｒｅに伝送する。同時に、第１の端末の収音機器により音声ストリームを収集し、または第１の端末における音響効果音声ストリームを呼び出し、音声ストリームをｌｉｖｅｃｏｒｅに伝送し、ｌｉｖｅｃｏｒｅは、動画ストリームと音声ストリームとに対して統合ストリームを行う。ＣＤＮを介して観客側にストリームプッシュすることを行い、表面図（ｓｕｒｆａｃｅ ｖｉｅｗ）に基づいて第１の端末において動画ストリームの表示を行う。

ステップＳ２１０～Ｓ２２０及びＳ２３０は、順番に実行されてもよいし、同時に実行されてもよく、さらに、ステップＳ２３０を先に実行してから、ステップＳ２１０～Ｓ２２０を実行してもよい。

本実施例に係る技術案において、第１の端末は第１のインタラクティブ画面及び第１の動画ストリームを収集し、第２の端末は第２のインタラクティブ画面及び第２の動画ストリームを収集し、第１の端末は第２の動画ストリーム及び第２のインタラクティブ画面のミラーリングインタラクティブ画面を受信し、第１のインタラクティブ画面とミラーリングインタラクティブ画面とを接合して目的インタラクティブ画面を得、第１の動画ストリームと第２の動画ストリームとに対して統合ストリームを行って初期動画統合ストリームを得、マルチフレームの目的インタラクティブ画面を初期動画統合ストリームの対応する動画フレームにそれぞれ描画して、目的動画統合ストリームを得、これにより、コラボライブ配信シーンで配信者動画画面とインタラクティブ画面とを組み合わせることが実現され、インタラクティブ型動画統合ストリームの的確性が高められ、動画統合ストリームの乱れが回避される。

上記実施例のもとで、第１の端末と第２の端末とのインタラクティブシーンは、ゲームシーンであってもよく、ゲームサーバによりゲームシーン内の点数加減、勝負判定を行う。ゲームシーン内の時間同期を確保するために、第１の端末は、ゲームサーバから送信された制御シグナリングを受信し、前記制御シグナリングに従って前記第１の端末及び前記第１の端末が所在するインタラクティブシーンの状態を調節し、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される。

ゲームサーバは、第１の端末及び第２の端末に上記制御シグナリングを同期実行させるように、コラボを行う２つの端末に同じ制御シグナリングを同期送信し、これにより、ゲームシーンの同期性が高められる。好ましくは、制御シグナリングは、始動シグナリング、終了シグナリング及び状態切替シグナリングを含む。始動シグナリングは、ゲームシーンの始動を制御するために用いられ、終了シグナリングは、ゲームシーンの終了を制御するために用いられ、状態切替シグナリングは、ゲームシーンの進行過程で状態切替を行うために用いられ、状態切替シグナリングの種類及び数は、ゲームシーンが異なることに応じて設定可能である。

上記制御シグナリングを設けることにより、ゲームシーンの開始、終了及び過程の中で第１の端末及び第２の端末に対して同期制御を行うことができ、シーンの同期性が実現され、時間遅延によるインタラクティブ乱れが低減される。

図５は、本開示の実施例３に係る１つのインタラクティブ型コラボライブ配信の制御方法のフロー模式図である。本開示の実施例は、インタラクティブ型コラボライブ配信の応用シーンにおいて、ライブ配信インタラクティブ画面を形成する状況に適用され、該方法は、インタラクティブ型コラボライブ配信の制御装置により実行可能であり、該装置は、ソフトウェア及び／またはハードウェアの形式により実現されることができ、好ましくは、電子機器により実現され、該電子機器は、サーバなどであってもよい。

Ｓ３１０において、ゲームサーバにより、第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得る。

Ｓ３２０において、前記ゲームサーバにより、第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて第１の端末に伝送する。

本実施例において、第１の端末について、ゲームサーバは、第２の端末から送信された第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得、第１の端末に伝送し、これにより、第１の端末により、第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成し、上記過程で第１のインタラクティブ画面に対して処理を行う必要がなく、目的インタラクティブ画面の正確性が確保され、同時にゲームサーバの計算量が低減される。

同じように、第２の端末について、ゲームサーバは、第１の端末から送信された第１のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得、第２の端末に伝送し、これにより、第２の端末により、収集された第２のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成し、上記過程で第２のインタラクティブ画面に対して処理を行う必要がない。

好ましくは、前記第２のインタラクティブ画面に対してミラーリング処理を行うことは、前記第２のインタラクティブ画面における前記第１のインタラクティブ画面との共有辺をミラーリング辺とし、前記第２のインタラクティブ画面に対してミラーリング処理を行う、ことを含む。例えば、第２のインタラクティブ画面におけるインタラクティブエリアの中心線と重なり合う辺をミラーリング辺とすることができる。これにより、ミラーリング処理後に得られたミラーリングインタラクティブ画面と第１のインタラクティブ画面とが正確に繋がることが確保され、目的インタラクティブ画面の混乱が回避される。第２のインタラクティブ画面に対してミラーリング処理を行うことは、ミラーリング辺に基づいて、第２のインタラクティブ画面における複数の画素点をミラーリング辺の他方側の対応位置に対応して設けることであってもよく、例示的には、ミラーリング辺が縦方向の辺であるときに、画素点の縦軸が変化せず、現在画素点の横軸とミラーリング辺の横軸との差値が、ミラーリング画素点の横軸とミラーリング辺の横軸との差値と同じであるように維持する。同じように、ミラーリング辺が横方向の辺であるときに、画素点の横軸が変化せず、現在画素点の縦軸とミラーリング辺の縦軸との差値が、ミラーリング画素点の縦軸とミラーリング辺の縦軸との差値と同じであるように維持する。

本実施例の技術案は、ゲームサーバにより、コラボを行う２つの端末のうちの１つの端末により収集されたインタラクティブ画面に対してミラーリング処理を行った後に、ミラーリング処理後のインタラクティブ画面を他の１つの端末に伝送して、他の１つの端末にインタラクティブ画面の組合せを行わせ、他の１つの端末の表示ニーズを満たす目的インタラクティブ画面を得る。任意の端末に適応し、上記方式に基づいて複数の端末の表示ニーズを満たす目的インタラクティブ画面を得ることができ、インタラクティブニーズとコラボライブ配信の表示ニーズとが両立され、複数の端末により表示される目的インタラクティブ画面の的確性が確保される。

好ましくは、前記ゲームサーバは、前記第１の端末及び前記第２の端末に制御シグナリングを同期実行させるように、前記第１の端末及び前記第２の端末に制御シグナリングを同期送信する。前記制御シグナリングは、始動シグナリング、終了シグナリング及び状態切替シグナリングを含む。上記制御シグナリングを設けることにより、ゲームシーンの開始、終了及び過程の中で第１の端末及び第２の端末に対して同期制御を行うことができ、シーンの同期性が実現され、時間遅延によるインタラクティブ乱れが低減される。

本実施例において、ゲームインタラクティブシーンを例にとり、上記実施例に係るインタラクティブコラボライブ配信の制御方法におけるインタラクティブエリアの画面形成方式について説明を行う。図２Ｃに示すように、現在配信者の制御オブジェクト及びコラボ配信者の制御オブジェクトがいずれも邪魔板であり、インタラクティブオブジェクトが１つの小球であり、現在配信者は、現在配信者に対応する邪魔板を表示エリアで上下移動させるように制御可能であり、これにより、小球が現在配信者に対応する邪魔板に衝突した後に、コラボ配信者に対応する邪魔板が所在する表示エリアに反発される。図２Ｃは、小球が水平移動の方式で、現在配信者に対応する邪魔板が所在する表示エリアからコラボ配信者に対応する邪魔板が所在する表示エリアに移動することを例示的に示しているに過ぎず、ゲームインタラクティブシーンにおいて、小球と邪魔板とが衝突した後の反発規則に符合する限り、小球は任意の方向に移動してもよい。

本実施例において、現在配信者は、顔部の位置を変えることにより邪魔板の上下移動を制御し、即ち現在配信者が下に向かって頷くことは、邪魔板を下に向かって移動させるように制御することを表し、現在配信者が上に向かって見上げることは、邪魔板を上に向かって移動させるように制御することを表す。現在配信者の端末は、現在配信者の動画画面における現在配信者の顔部の縦軸である制御情報を識別し、該制御情報に基づいてフレーム毎にゲームインタラクティブシーンにおける現在配信者に対応する邪魔板の、表示エリアにおける位置データを決定し、該位置データ及び小球の位置データに基づいて現在配信者についてのインタラクティブ画面をレンダリングして形成し、且つ現在配信者のインタラクティブ画面において、現在配信者に対応する邪魔板は、常に現在配信者のインタラクティブ画面の左側に位置する。同じように、コラボ配信者の端末側において、上記方式と同じ方式によりコラボ配信者のインタラクティブ画面をレンダリングして形成し、コラボ配信者のインタラクティブ画面では、コラボ配信者に対応する邪魔板は、常にコラボ配信者のインタラクティブ画面の左側に位置する。

現在配信者の端末は、それ自体が収集したインタラクティブ画面と、コラボ配信者のインタラクティブ画面のミラーリング画面とを組み合わせ、現在配信者の端末に表示されるインタラクティブエリアの画面を形成し、これにより、インタラクティブエリアの画面における現在配信者及びコラボ配信者に対応する邪魔板が、インタラクティブエリアの画面の両側に位置し、且つ現在配信者に対応する邪魔板が、図２Ｃに示すように、インタラクティブエリアの画面の左側に位置する。同じように、コラボ配信者の端末側のインタラクティブエリアにおいて、コラボ配信者のインタラクティブ画面と現在配信者のインタラクティブ画面のミラーリング画面とからなる画面を形成し、且つコラボ配信者に対応する邪魔板が、インタラクティブエリアの画面の左側に位置する。

上記方式により、配信者の端末においてインタラクティブエリアにおける画面を継続的にレンダリングし、該インタラクティブエリアにおける画面を該配信者のライブ配信ルームにおける観客側にプッシュし、これにより、観客側において表示されるインタラクティブエリアの画面と、該配信者の端末でのインタラクティブエリアにおける画面とが一致するようになる。

図６は、本開示の実施例５に係る１つのインタラクティブ型コラボライブ配信の制御装置の構造模式図であり、該インタラクティブ型コラボライブ配信の制御装置は、端末内、例えば移動可能な端末またはＰＣ側に集積される。図６に示すように、該装置は、インタラクティブ画面取得モジュール４１０及び目的インタラクティブ画面決定モジュール４２０を備える。

インタラクティブ画面取得モジュール４１０は、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボし、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られる、ように構成され、目的インタラクティブ画面決定モジュール４２０は、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得るように構成される。

本開示の実施例の技術案は、インタラクティブ画面取得モジュールにより、それぞれ第１のインタラクティブ画面及びミラーリングインタラクティブ画面を取得し、目的インタラクティブ画面決定モジュールに基づいて収集された第１のインタラクティブ画面と、受信された第２の端末の第２のインタラクティブ画面のミラーリングインタラクティブ画面とを組み合わせ、第１の端末の表示に適応される目的インタラクティブ画面を得、異なる端末のライブ配信シーンでのインタラクティブエリアのインタラクティブ画面の明瞭さ且つ的確さが確保され、インタラクティブ画面の乱れが回避される。

上記技術案のもとで、前記第１のインタラクティブ画面及び／または第２のインタラクティブ画面には、前記第１のインタラクティブ画面と第２のインタラクティブ画面との間を移動する少なくとも１つのインタラクティブオブジェクトが含まれる。

上記技術案のもとで、インタラクティブ画面取得モジュール４１０は、以下の方式により第１のインタラクティブ画面を収集するように構成される。即ち、第１のユーザの動画画面における制御情報を識別し、前記制御情報に基づいてフレーム毎にインタラクティブシーンにおける制御オブジェクトの、前記第１の端末のインタラクティブエリアにおけるデータを決定し、前記データに基づいて前記第１の端末のインタラクティブエリアに対応する第１のインタラクティブ画面を形成する。

上記技術案のもとで、前記制御オブジェクトは、前記インタラクティブオブジェクトと異なり、または、前記制御オブジェクトは、前記少なくとも１つのインタラクティブオブジェクトのうちの１つまたは複数である。

上記技術案のもとで、該装置は、第１の動画ストリームを収集し、前記第２の端末の第２の動画ストリームを受信するように構成される動画ストリーム取得モジュールと、前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成するように構成される初期動画統合ストリーム生成モジュールと、前記目的インタラクティブ画面を前記初期動画統合ストリームに描画し、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成するように構成される目的動画統合ストリーム生成モジュールと、をさらに備える。

上記技術案のもとで、初期動画統合ストリーム生成モジュールは、前記第１の動画ストリームの識別子及び前記第２の動画ストリームの識別子に応じて、前記第１の動画ストリームと前記第２の動画ストリームとの統合ストリーム位置を決定するように構成される統合ストリーム位置ユニットと、前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行い、初期動画統合ストリームを形成するように構成される統合ストリームユニットと、を備える。

上記技術案のもとで、統合ストリームユニットは、さらに、前記第１の動画ストリーム及び前記第２の動画ストリームにおける複数の動画フレームのタイムスタンプに基づいて、前記統合ストリーム位置に応じて、前記第１の動画ストリーム及び前記第２の動画ストリームにおける同一のタイムスタンプが設けられた動画フレームに対してストリーム統合処理を行うように構成される。

上記技術案のもとで、該装置は、ゲームサーバから送信された制御シグナリングを受信し、前記制御シグナリングに従って前記第１の端末及び前記第１の端末が所在するインタラクティブシーンの状態を調節するように構成されるシグナリング受信実行モジュールをさらに備え、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される。

上記技術案のもとで、前記制御シグナリングは、始動シグナリング、終了シグナリング及び状態切替シグナリングを含む。

本開示の実施例に係る装置は、本開示の任意の実施例に係る方法を実行可能であり、方法の実行に相応な機能モジュール及び効果を備える。

上記装置に備えられる複数のユニット及びモジュールは、機能ロジックに従って区分されるものに過ぎず、相応な機能が実現できる限り上記した区分に限られるものではなく、また、複数の機能ユニットの名称も互いに区別しやすくするためのものに過ぎず、本開示の実施例の保護範囲を制限するためのものではない。

図７は、本開示の実施例６に係る１つのインタラクティブ型コラボライブ配信の制御装置の構造模式図である。該装置は、サーバに集積されることができ、図７に示すように、前記装置は、ミラーリングインタラクティブ画面決定モジュール５１０及びミラーリングインタラクティブ画面伝送モジュール５２０を備える。

ミラーリングインタラクティブ画面決定モジュール５１０は、第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得るように構成され、ミラーリングインタラクティブ画面伝送モジュール５２０は、第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて第１の端末に伝送するように構成される。

本開示の実施例の技術案は、ゲームサーバにおけるミラーリングインタラクティブ画面決定モジュールにより、コラボを行う２つの端末のうちの１つの端末により収集されたインタラクティブ画面に対してミラーリング処理を行った後に、ミラーリングインタラクティブ画面伝送モジュールに基づいてミラーリング処理後のインタラクティブ画面を他の１つの端末に伝送して、他の１つの端末にインタラクティブ画面の組合せを行わせ、他の１つの端末の表示ニーズを満たす目的インタラクティブ画面を得る。任意の端末に適応し、上記方式に基づいて複数の端末の表示ニーズを満たす目的インタラクティブ画面を得ることができ、インタラクティブニーズとコラボライブ配信の表示ニーズとが両立され、複数の端末により表示される目的インタラクティブ画面の的確性が確保される。

上記技術案のもとで、ミラーリングインタラクティブ画面決定モジュール５１０は、以下の方式により前記第２のインタラクティブ画面に対してミラーリング処理を行うように構成される。即ち、前記第２のインタラクティブ画面における前記第１のインタラクティブ画面との共有辺をミラーリング辺とし、前記第２のインタラクティブ画面に対してミラーリング処理を行う。

上記技術案のもとで、該装置は、前記第１の端末及び前記第２の端末に制御シグナリングを同期実行させるように、前記第１の端末及び前記第２の端末に制御シグナリングを同期送信するように構成される制御シグナリング送信モジュールをさらに備える。

上記技術案のもとで、前記制御シグナリングは、始動シグナリング、終了シグナリング及び状態切替シグナリングを含む。

本開示の実施例に係る装置は、本開示の任意の実施例に係る方法を実行可能であり、方法の実行に相応な機能モジュール及び効果を備える。

上記装置に備えられる複数のユニット及びモジュールは、機能ロジックに従って区分されるものに過ぎず、相応な機能が実現できる限り上記した区分に限られるものではなく、また、複数の機能ユニットの名称も互いに区別しやすくするためのものに過ぎず、本開示の実施例の保護範囲を制限するためのものではない。

図８は、本開示の実施例７に係る１つのインタラクティブ型コラボライブ配信の制御システムの構造模式図であり、該システムは、第１の端末６１０、第２の端末６２０及びゲームサーバ６３０を備え、
第１の端末６１０が、第１のインタラクティブ画面を収集し、第１のインタラクティブ画面をゲームサーバ６３０に送信し、第２の端末６２０が、第２のインタラクティブ画面を収集し、第２のインタラクティブ画面をゲームサーバ６３０に送信し、ゲームサーバ６３０が、第１のインタラクティブ画面及び第２のインタラクティブ画面に対してそれぞれミラーリング処理を行い、第１のミラーリングインタラクティブ画面及び第２のミラーリングインタラクティブ画面を得、第１のミラーリングインタラクティブ画面を第２の端末６２０に伝送し、第２のミラーリングインタラクティブ画面を第１の端末６１０に伝送し、第１の端末６１０が、第１のインタラクティブ画面及び第２のミラーリングインタラクティブ画面に基づいて第１の目的インタラクティブ画面を生成し、第２の端末６２０が、第２のインタラクティブ画面及び第１のミラーリングインタラクティブ画面に基づいて第２の目的インタラクティブ画面を生成する。

本実施例に係る技術案は、ゲームサーバにより、コラボを行う第１の端末及び第２の端末によりそれぞれ収集されたインタラクティブ画面に対してミラーリング処理を行った後、ミラーリング処理後のインタラクティブ画面を他の１つの端末に伝送して、他の１つの端末にインタラクティブ画面の組合せを行わせ、他の１つの端末の表示ニーズを満たす目的インタラクティブ画面を得る。第１の端末及び第２の端末の表示ニーズを同時に満たすことができ、複数の端末により表示される目的インタラクティブ画面の的確性が確保される。

上記実施例のもとで、前記システムは、前記第１の端末、前記第２の端末及び前記ゲームサーバに通信接続されるリアルタイム通信コネクタをさらに備え、例示的には、図９を参照し、図９は、本開示の実施例７に係る他の１つのインタラクティブ型コラボライブ配信の制御システムの模式図である。

前記リアルタイム通信コネクタは、前記ゲームサーバから伝送された前記第１のミラーリングインタラクティブ画面及び前記第２のミラーリングインタラクティブ画面を受信し、前記第１のミラーリングインタラクティブ画面を前記第２の端末に伝送し、前記第２のミラーリングインタラクティブ画面を前記第１の端末に伝送するように構成される。

上記実施例のもとで、前記第１の端末は、第１の動画ストリームを収集し、前記リアルタイム通信コネクタに基づいて前記第１の動画ストリームを前記第２の端末に伝送し、前記第２の端末は、第２の動画ストリームを収集し、前記リアルタイム通信コネクタに基づいて前記第２の動画ストリームを前記第１の端末に伝送し、第１の動画ストリーム及び第２の動画ストリームには、目的端末の識別子が設けられてもよく、リアルタイム通信コネクタが、目的端末の識別子に応じて伝送対象を決定可能である。リアルタイム通信コネクタによりミラーリングインタラクティブ画面を伝送し、伝送速度が速く、伝送効率及び同期性が効果的に高められる。

前記第１の端末は、前記第１の動画ストリーム、前記第２の動画ストリーム及び前記第１の目的インタラクティブ画面に基づいて第１の動画統合ストリームを形成し、前記第２の端末は、前記第１の動画ストリーム、前記第２の動画ストリーム及び前記第２の目的インタラクティブ画面に基づいて第２の動画統合ストリームを形成する。

該システムは、前記第１の端末及び前記第２の端末に通信接続されるコンテンツデリバリネットワークサーバであって、前記第１の端末から伝送された第１の動画統合ストリーム及び前記第２の端末から伝送された第２の動画統合ストリームを受信し、前記第１の動画統合ストリーム及び前記第２の動画統合ストリームを対応する観客側にそれぞれストリームプッシュするように構成されるコンテンツデリバリネットワークサーバをさらに備える。第１の動画統合ストリーム及び第２の動画統合ストリームには、例えば端末識別子（Ｉｄｅｎｔｉｆｉｅｒ、ＩＤ）などでありうる対応する識別子が設けられてもよく、コンテンツデリバリネットワークサーバは、動画統合ストリームにおける識別子に応じて、対応する観客側を決定してストリームプッシュを行い、これにより、ストリームプッシュの正確さが確保される。

前記システムは、前記第１の端末及び前記第２の端末に通信接続されるライブ配信サーバであって、前記第１の端末または前記第２の端末のコラボリクエストを受信し、前記コラボリクエストに基づいて前記第１の端末と前記第２の端末とに対してコラボマッチングを行うように構成されるライブ配信サーバをさらに備える。図９におけるコラボリクエストは、ハイパーテキストトランスファープロトコル（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰ）リクエストとして構成されることができる。ライブ配信サーバは、コラボライブ配信マッチング及びライブ配信に関する情報の伝送を行うもののみとして構成され、動画ストリーム統合処理を行う必要がなく、ライブ配信サーバの作業量が減少され、ライブ配信サーバの遅延及びフリーズが回避される。ゲームサーバとライブ配信サーバとは相互に独立し、互いに繋がらない。

前記ゲームサーバは、前記第１の端末及び前記第２の端末に制御シグナリングを同期実行させるように、前記第１の端末及び前記第２の端末に制御シグナリングを同期送信する。図９において、該制御シグナリングは、下りゲームシグナリングとして構成され、下りゲームシグナリングは、開始ゲームシグナリング、ルーム準備シグナリング、表示ｔｏａｓｔシグナリング、１試合ゲーム準備完成シグナリング、１試合ゲーム終了シグナリング、ゲーム終了シグナリング、ゲームデータシグナリング、道具争奪開始シグナリング、道具発効／終了シグナリング、情報通知シグナリングなどであってもよいが、これらに限定されない。上りゲームシグナリングは、第１の端末及び第２の端末がゲームサーバにそれぞれ伝送するゲームデータシグナリングであってもよい。

以下は図１０を参照し、そこには、本開示の実施例を実現するために適した電子機器（例えば図１０における端末機器またはサーバ）７００の構造模式図が示されている。本開示の実施例における端末機器は、例えば移動電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、タブレットコンピュータ（ＰＡＤ）、ポータブルマルチメディアプレイヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰ）、車載端末（例えば車載ナビゲーション端末）などのような移動端末、及び例えばデジタルテレビジョン（ＴｅｌｅＶｉｓｉｏｎ、ＴＶ）、デスクトップ型コンピュータなどのような固定端末を含むことができるが、これらに限定されない。図１０に示す電子機器は、１つの例示に過ぎず、本開示の実施例の機能及び使用範囲に如何なる制限も与えるべきではない。

図１０に示すように、電子機器７００は、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）７０２に記憶されたプログラム、または記憶装置７０６からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）７０３にロードされたプログラムに応じて様々な適切な動作及び処理を実行可能な処理装置（例えば中央プロセッサ、グラフィックプロセッサなど）７０１を備えることができる。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに記憶されている。処理装置７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに繋がっている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラヘッド、マイクロホン、加速度計、ジャイロスコープなどが含まれる入力装置７０６と、例えば液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、拡声器、バイブレータなどが含まれる出力装置７０７と、例えば磁気テープ、ハードディスクなどが含まれる記憶装置７０６と、通信装置７０９とは、Ｉ／Ｏインタフェース７０５に接続されることができる。通信装置７０９は、電子機器７００とその他の機器とが無線または有線通信してデータを交換することを可能にする。図１０には、様々な装置を有する電子機器７００が示されているが、示されている全ての装置を実施したり、備えたりするように要求しているわけではない。装置を代替的に実施したり、より多くまたはより少なく備えたりしてもよい。

本開示の実施例によれば、上記明細書の、フロー図を参照して説明された過程は、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムが含まれる１つのコンピュータプログラム製品を含み、該コンピュータプログラムには、フロー図に示す方法を実行するためのプログラムコードが含まれる。このような実施例において、該コンピュータプログラムは、通信装置７０９によりネットワークからダウンロード及びインストールされてもよいし、または記憶装置７０６からインストールされてもよいし、またはＲＯＭ７０２からインストールされてもよい。該コンピュータプログラムが処理装置７０１により実行されると、本開示の実施例の方法で限定される上記機能が実行される。

本開示の実施例に係る電子機器と上記実施例に係るインタラクティブ型コラボライブ配信の制御方法とは、同じ構想に属し、本実施例で詳しく説明されていない技術詳細は、上記実施例を参照することができ、且つ本実施例は、上記実施例と同じ効果を有する。

本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ記憶媒体であって、該プログラムがプロセッサにより実行されると、上記実施例に係るインタラクティブ型コラボライブ配信の制御方法が実現される、コンピュータ記憶媒体を提供する。

本開示の上記したコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、またはコンピュータ可読記憶媒体であってもよいし、または上記両者の任意の組合せであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、または半導体のシステム、装置またはデバイス、或いは上記ものの任意の組合せであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の例には、１つまたは複数のリード線を有する電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラマブルリードオンリーメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）またはフラッシュメモリ、光ファイバ、ポータブルコンパクト磁気ディスクリードオンリーメモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記ものの任意の適切な組合せ、が含まれることができるが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むまたは記憶するあらゆる有形の媒体であってもよく、該プログラムは、命令実行システム、装置またはデバイスに使用される、またはそれらと結び付けて使用されることができる。また本開示において、コンピュータ可読信号媒体は、ベースバンドにおいて、または搬送波の一部として伝搬されるデータ信号を含むことができ、その中には、コンピュータ可読のプログラムコードが担持されている。このように伝搬されるデータ信号は、様々な形式を採用可能であり、電磁信号、光信号または上記ものの任意の適切な組合せを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらに、コンピュータ可読記憶媒体以外のあらゆるコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスにより使用される、またはそれらと結び付けて使用されるためのプログラムを送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）など、または上記ものの任意の適切な組合せが含まれるがこれらに限定されない、あらゆる適切な媒体を用いて伝送されることができる。

いくつかの実施形態において、クライアント側、サーバは、例えばＨＴＴＰのようなあらゆる現在知られているまたは将来開発されるネットワークプロトコルを利用して通信可能であり、且つ任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続することができる。通信ネットワークの例示には、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、Ｉｎｔｅｒｎｅｔ（例えば、ｉｎｔｅｒｎｅｔ）及びピアツーピアネットワーク（例えば、ａｄ ｈｏｃピアツーピアネットワーク）、並びにあらゆる現在知られているまたは将来開発されるネットワーク、が含まれている。

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、個別に存在して該電子機器に装着されていないものであってもよい。

上記コンピュータ可読媒体には、１つまたは複数のプログラムが担持され、上記１つまたは複数のプログラムが該電子機器で実行されると、該電子機器に、
第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボし、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られ、前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得る、ようにさせる。

１つのまたは複数のプログラム設計言語またはその組合せにより、本開示の操作を実行するためのコンピュータプログラムコードを書くことができ、上記プログラム設計言語は、オブジェクト指向のプログラム設計言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋を含むが、これらに限定されず、さらに、一般的な手続き型プログラム設計言語、例えば「Ｃ」言語または類似するプログラム設計言語を含む。プログラムコードは、完全にユーザコンピュータで実行されてもよいし、部分的にユーザコンピュータで実行されてもよいし、１つの独立したソフトウェアパッケージとして実行されてもよいし、一部がユーザコンピュータで一部がリモートコンピュータで実行されてもよいし、或いは完全にリモートコンピュータまたはサーバで実行されてもよい。リモートコンピュータに関わる場合には、リモートコンピュータは、ＬＡＮまたはＷＡＮを含む任意の種類のネットワークを介してユーザコンピュータに接続されることができる、または外部コンピュータに接続されることができる（例えばＩＮＴＥＲＮＥＴサービスプロバイダを利用し、ＩＮＴＥＲＮＥＴを介して接続される）。

図面におけるフロー図及びブロック図には、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能な体系アーキテクチャ、機能及び操作が図示されている。この点では、フロー図またはブロック図における各ブロックは、１つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、該モジュール、プログラムセグメント、またはコードの一部には、所定のロジック機能を実現するための１つまたは複数の実行可能な命令が含まれる。なお、とあるいくつかの置換である実現において、ブロックに表記された機能は、図面に表記された順番と異なるように発生してもよい。例えば、２つの連続的に表されたブロックは、実際のところ、ほぼ並行して実行されてもよいし、場合によってはそれらは逆の順番で実行されてもよく、これは係る機能によって決められる。なお、ブロック図及び／またはフロー図における各ブロック、並びにブロック図及び／またはフロー図におけるブロックの組合せは、所定の機能または操作を実行するハードウェアに基づく専用のシステムを用いて実現されてもよいし、または専用のハードウェアとコンピュータ命令との組合せを用いて実現されてもよい。

本開示の実施例で説明される関連するユニットは、ソフトウェアの方式により実現されてもよいし、ハードウェアの方式により実現されてもよい。ユニット／モジュールの名称が１つの状況にあることは、該ユニット自体を限定するものには当たらず、例えば、インタラクティブ画面取得行動データ収集モジュールは、さらに、「取得モジュール」として説明されてもよい。

本明細書において、以上で説明された機能は、少なくとも部分的に１つまたは複数のハードウェアロジック部材により実行されることができる。例えば、非制限的に、使用できる手本種類のハードウェアロジック部材には、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、特定用途向け標準製品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ、ＡＳＳＰ）、システムオンチップ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、Ｓｏｃ）、コンプレックスプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤ）など、が含まれる。

本開示の文脈において、機械可読媒体は、命令実行システム、装置または機器に使用される、または命令実行システム、装置または機器と結び付けて使用されるプログラムを含むまたは記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読格納媒体であってもよい。機械可読媒体は、電子的なものの、磁性的なものの、光学的なものの、電磁的なものの、赤外的なものの、または半導体のシステム、装置または機器、または上記内容のあらゆる適切な組合せを含むことができるが、これらに限定されない。機械可読記憶媒体の例示には、１つまたは複数の線に基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭまたはフラッシュメモリ、光ファイバ、ＣＤ－ＲＯＭ、光学格納機器、磁気格納機器、または上記内容のあらゆる適切な組合せ、が含まれる。

本開示の１つまたは複数の実施例によれば、［例示１］は、
第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボライブ配信状態にあり、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られることと、前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得ることと、を含むインタラクティブ型コラボライブ配信の制御方法を提供する。

本開示の１つまたは複数の実施例によれば、［例示２］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記第１のインタラクティブ画面及び／または前記第２のインタラクティブ画面には、前記第１のインタラクティブ画面と前記第２のインタラクティブ画面との間を移動する少なくとも１つのインタラクティブオブジェクトが含まれる。

本開示の１つまたは複数の実施例によれば、［例示３］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記第１の端末により第１のインタラクティブ画面を収集することは、前記第１の端末により、第１のユーザの動画画面における制御情報を識別し、前記制御情報に基づいてフレーム毎にインタラクティブシーンにおける制御オブジェクトの、前記第１の端末のインタラクティブエリアにおけるデータを決定することと、前記データに基づいて前記第１の端末のインタラクティブエリアに対応する第１のインタラクティブ画面を形成することとを含む。

本開示の１つまたは複数の実施例によれば、［例示４］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記制御オブジェクトは、前記インタラクティブオブジェクトと異なり、または、前記制御オブジェクトは、前記少なくとも１つのインタラクティブオブジェクトのうちの１つまたは複数である。

本開示の１つまたは複数の実施例によれば、［例示５］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、該方法は、
前記第１の端末により、第１の動画ストリームを収集し、前記第２の端末の第２の動画ストリームを受信して、前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成することと、
前記第１の端末により、前記目的インタラクティブ画面を前記初期動画統合ストリームに描画し、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成することと、をさらに含む。

本開示の１つまたは複数の実施例によれば、［例示６］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成することは、
前記第１の動画ストリームの識別子及び前記第２の動画ストリームの識別子に応じて、前記第１の動画ストリームと前記第２の動画ストリームとの統合ストリーム位置を決定することと、前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行い、初期動画統合ストリームを形成することと、を含む。

本開示の１つまたは複数の実施例によれば、［例示７］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行うことは、
前記第１の動画ストリーム及び前記第２の動画ストリームにおける複数の動画フレームのタイムスタンプに基づいて、前記第１の動画ストリーム及び前記第２の動画ストリームにおける同一のタイムスタンプが設けられた動画フレームに対して前記統合ストリーム位置に応じてそれぞれストリーム統合処理を行う、ことを含む。

本開示の１つまたは複数の実施例によれば、［例示８］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記目的インタラクティブ画面の画面背景は透明背景である。

本開示の１つまたは複数の実施例によれば、［例示９］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記目的インタラクティブ画面のサイズは、前記初期動画統合ストリームにおける各画面フレームのサイズ以下である。

本開示の１つまたは複数の実施例によれば、［例示１０］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、該方法は、
前記第１の端末により、ゲームサーバから送信された制御シグナリングを受信し、前記制御情報に基づいて前記第１の端末及び前記第１の端末が所在するインタラクティブシーンの状態を調節し、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される、ことをさらに含む。

本開示の１つまたは複数の実施例によれば、［例示１１］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記制御シグナリングは、始動シグナリング、終了シグナリング及び状態切替シグナリングを含む。

本開示の１つまたは複数の実施例によれば、［例示１２］は、
ゲームサーバにより、第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得ることと、前記ゲームサーバにより、第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて前記第１の端末に伝送することと、を含むインタラクティブ型コラボライブ配信の制御方法を提供する。

本開示の１つまたは複数の実施例によれば、［例示１３］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記第２のインタラクティブ画面に対してミラーリング処理を行うことは、
前記第２のインタラクティブ画面における前記第１のインタラクティブ画面との共有辺をミラーリング辺とし、前記第２のインタラクティブ画面に対してミラーリング処理を行う、ことを含む。

本開示の１つまたは複数の実施例によれば、［例示１４］は、以下のことをさらに含むインタラクティブ型コラボライブ配信の制御方法を提供する。

好ましくは、前記ゲームサーバは、前記第１の端末及び前記第２の端末に制御シグナリングを同期実行させるように、前記第１の端末及び前記第２の端末に制御シグナリングを同期送信する。

上記説明は、本開示の実施例及び運用される技術的原理に対する説明に過ぎない。本開示に係る開示範囲は、上記技術特徴の特定の組合せからなる技術案に限られず、同時に上記構想から逸脱しない場合、上記技術特徴またはその等価の特徴を任意に組み合わせて形成されるその他の技術案をも包含すべきである。例えば上記特徴と本開示に開示される（それに限られない）類似する機能を有する技術特徴とが、互いに置換されて形成される技術案である。

また、特定の順序を採用して複数の操作を説明するが、これは、これらの操作を示された特定の順序または順番的順序で実行するように要求していると理解されるべきではない。一定の環境において、マルチタスク及び並行処理が有利である可能性がある。同様に、以上の検討に複数の実現詳細が含まれているが、これらは、本開示の範囲を制限するものとして解釈されるべきではない。個別の実施例の文脈で説明されるいくつかの特徴は、組み合わせて単一の実施例で実現されてもよい。逆に、単一の実施例の文脈で説明される複数の特徴も、個別的にまたはあらゆる適切な下位組合せの方式により複数の実施例で実現されてもよい。

Ｓ２４０において、前記第１の端末により、前記目的インタラクティブ画面を前記初期動画統合ストリームに加え、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成する。

第１の端末は、目的インタラクティブ画面を初期動画統合ストリームにおいて対応する複数の動画フレームに加え、第１の端末の目的動画統合ストリームを得る。目的インタラクティブ画面及び初期動画統合ストリームにおける複数の動画フレームのいずれにもタイムスタンプが設けられ、目的インタラクティブ画面を同一のタイムスタンプを有する動画フレームに描画する。

上記実施例のもとで、第１の端末と第２の端末とのインタラクティブシーンは、ゲームシーンであってもよく、ゲームサーバによりゲームシーン内の点数加減、勝負判定を行う。ゲームシーン内の時間同期を確保するために、第１の端末は、ゲームサーバから送信された制御シグナリングを受信し、前記制御シグナリングに従って前記第１の端末及び前記第２の端末が所在するインタラクティブシーンの状態を調節し、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される。

上記技術案のもとで、該装置は、第１の動画ストリームを収集し、前記第２の端末の第２の動画ストリームを受信するように構成される動画ストリーム取得モジュールと、前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成するように構成される初期動画統合ストリーム生成モジュールと、前記目的インタラクティブ画面を前記初期動画統合ストリームに加え、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成するように構成される目的動画統合ストリーム生成モジュールと、をさらに備える。

上記技術案のもとで、該装置は、ゲームサーバから送信された制御シグナリングを受信し、前記制御シグナリングに従って前記第１の端末及び前記第２の端末が所在するインタラクティブシーンの状態を調節するように構成されるシグナリング受信実行モジュールをさらに備え、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される。

図１０に示すように、電子機器７００は、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）７０２に記憶されたプログラム、または記憶装置７０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）７０３にロードされたプログラムに応じて様々な適切な動作及び処理を実行可能な処理装置（例えば中央プロセッサ、グラフィックプロセッサなど）７０１を備えることができる。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに記憶されている。処理装置７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに繋がっている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラヘッド、マイクロホン、加速度計、ジャイロスコープなどが含まれる入力装置７０６と、例えば液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、拡声器、バイブレータなどが含まれる出力装置７０７と、例えば磁気テープ、ハードディスクなどが含まれる記憶装置７０８と、通信装置７０９とは、Ｉ／Ｏインタフェース７０５に接続されることができる。通信装置７０９は、電子機器７００とその他の機器とが無線または有線通信してデータを交換することを可能にする。図１０には、様々な装置を有する電子機器７００が示されているが、示されている全ての装置を実施したり、備えたりするように要求しているわけではない。装置を代替的に実施したり、より多くまたはより少なく備えたりしてもよい。

本開示の実施例によれば、上記明細書の、フロー図を参照して説明された過程は、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムが含まれる１つのコンピュータプログラム製品を含み、該コンピュータプログラムには、フロー図に示す方法を実行するためのプログラムコードが含まれる。このような実施例において、該コンピュータプログラムは、通信装置７０９によりネットワークからダウンロード及びインストールされてもよいし、または記憶装置７０８からインストールされてもよいし、またはＲＯＭ７０２からインストールされてもよい。該コンピュータプログラムが処理装置７０１により実行されると、本開示の実施例の方法で限定される上記機能が実行される。

上記コンピュータ可読媒体には、１つまたは複数のプログラムが担持され、上記１つまたは複数のプログラムが該電子機器で実行されると、該電子機器に、
第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記電子機器と前記第２の端末とがコラボし、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られ、
前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得る、ようにさせる。

好ましくは、該方法は、
前記第１の端末により、第１の動画ストリームを収集し、前記第２の端末の第２の動画ストリームを受信して、前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成することと、
前記第１の端末により、前記目的インタラクティブ画面を前記初期動画統合ストリームに加え、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成することと、をさらに含む。

好ましくは、該方法は、
前記第１の端末により、ゲームサーバから送信された制御シグナリングを受信し、前記制御シグナリングに基づいて前記第１の端末及び前記第２の端末が所在するインタラクティブシーンの状態を調節し、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される、ことをさらに含む。

Claims (20)

1. 第１の端末により、第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信して、前記第１の端末と前記第２の端末とがコラボライブ配信状態にあり、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られることと、
   前記第１の端末により、前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得ることと、を含む、
   インタラクティブ型コラボライブ配信の制御方法。
2. 前記第１のインタラクティブ画面及び前記第２のインタラクティブ画面のうちの少なくとも１つに、少なくとも１つのインタラクティブオブジェクトが含まれ、前記インタラクティブオブジェクトが前記インタラクティブ画面内を移動している、
   請求項１に記載の方法。
3. 第１の端末により第１のインタラクティブ画面を収集することは、
   前記第１の端末により、第１のユーザの動画画面における制御情報を識別し、前記制御情報に基づいてフレーム毎にインタラクティブシーンにおける制御オブジェクトの、前記第１の端末のインタラクティブエリアにおけるデータを決定することと、
   前記データに基づいて前記第１の端末のインタラクティブエリアに対応する第１のインタラクティブ画面を形成することとを含む、
   請求項２に記載の方法。
4. 前記制御オブジェクトは、前記インタラクティブオブジェクトと異なり、または、
   前記制御オブジェクトは、前記少なくとも１つのインタラクティブオブジェクトのうちの少なくとも１つである、
   請求項３に記載の方法。
5. 前記第１の端末により、第１の動画ストリームを収集し、前記第２の端末の第２の動画ストリームを受信して、前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成することと、
   前記第１の端末により、前記目的インタラクティブ画面を前記初期動画統合ストリームに描画し、前記第１の端末の観客側へのプッシュに用いられる目的動画統合ストリームを生成することと、をさらに含む、
   請求項１に記載の方法。
6. 前記第１の動画ストリームと前記第２の動画ストリームとに基づいて初期動画統合ストリームを形成することは、
   前記第１の動画ストリームの識別子及び前記第２の動画ストリームの識別子に応じて、前記第１の動画ストリームと前記第２の動画ストリームとの統合ストリーム位置を決定することと、
   前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行い、前記初期動画統合ストリームを形成することと、を含む、
   請求項５に記載の方法。
7. 前記統合ストリーム位置に応じて前記第１の動画ストリームと前記第２の動画ストリームとに対してストリーム統合処理を行うことは、
   前記第１の動画ストリーム及び前記第２の動画ストリームにおける複数の動画フレームのタイムスタンプに基づいて、前記統合ストリーム位置に応じて、前記第１の動画ストリーム及び前記第２の動画ストリームにおける同一のタイムスタンプが設けられた動画フレームに対してストリーム統合処理を行うことを含む、
   請求項６に記載の方法。
8. 前記第１の端末により、ゲームサーバから送信された制御シグナリングを受信し、前記制御シグナリングに従って前記第１の端末及び前記第１の端末が所在するインタラクティブシーンの状態を調節し、前記制御シグナリングが、前記ゲームサーバにより前記第１の端末及び第２の端末に同期送信される、ことをさらに含む、
   請求項１に記載の方法。
9. 前記制御シグナリングは、始動シグナリング、終了シグナリング及び状態切替シグナリングを含む、
   請求項８に記載の方法。
10. ゲームサーバにより、第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得ることと、
    前記ゲームサーバにより、第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて前記第１の端末に伝送することと、を含む、
    インタラクティブ型コラボライブ配信の制御方法。
11. 前記第２のインタラクティブ画面に対してミラーリング処理を行うことは、
    前記第２のインタラクティブ画面における前記第１のインタラクティブ画面との共有辺をミラーリング辺とし、前記第２のインタラクティブ画面に対してミラーリング処理を行うことを含む、
    請求項１０に記載の方法。
12. 前記ゲームサーバにより、前記第１の端末及び前記第２の端末に制御シグナリングを同期実行させるように、前記第１の端末及び前記第２の端末に前記制御シグナリングを同期送信することをさらに含む、
    請求項１１に記載の方法。
13. 第１の端末に集積されるインタラクティブ型コラボライブ配信の制御装置であって、
    第１のインタラクティブ画面を収集し、第２の端末のミラーリングインタラクティブ画面を受信するように構成され、前記第１の端末と前記第２の端末とがコラボライブ配信状態にあり、前記第２の端末のミラーリングインタラクティブ画面が、前記第２の端末の第２のインタラクティブ画面に対してミラーリング処理を行うことにより得られるインタラクティブ画面取得モジュールと、
    前記第１のインタラクティブ画面と前記ミラーリングインタラクティブ画面とを組み合わせ、目的インタラクティブ画面を得るように構成される目的インタラクティブ画面決定モジュールと、を備える、
    インタラクティブ型コラボライブ配信の制御装置。
14. サーバに集積されるインタラクティブ型コラボライブ配信の制御装置であって、
    第２の端末から送信された第２のインタラクティブ画面を受信し、前記第２のインタラクティブ画面に対してミラーリング処理を行い、ミラーリングインタラクティブ画面を得るように構成されるミラーリングインタラクティブ画面決定モジュールと、
    第１の端末に、収集された第１のインタラクティブ画面及び前記ミラーリングインタラクティブ画面に基づいて目的インタラクティブ画面を形成させるように、前記ミラーリングインタラクティブ画面をリアルタイム通信接続に基づいて前記第１の端末に伝送するように構成されるミラーリングインタラクティブ画面伝送モジュールと、を備える、
    インタラクティブ型コラボライブ配信の制御装置。
15. コラボライブ配信状態にある第１の端末及び第２の端末と、ゲームサーバとを備えるインタラクティブ型コラボライブ配信の制御システムであって、
    前記第１の端末が、第１のインタラクティブ画面を収集し、前記第１のインタラクティブ画面を前記ゲームサーバに送信するように構成され、
    前記第２の端末が、第２のインタラクティブ画面を収集し、前記第２のインタラクティブ画面を前記ゲームサーバに送信するように構成され、
    前記ゲームサーバが、前記第１のインタラクティブ画面及び前記第２のインタラクティブ画面に対してそれぞれミラーリング処理を行い、第１のミラーリングインタラクティブ画面及び第２のミラーリングインタラクティブ画面を得、前記第１のミラーリングインタラクティブ画面を前記第２の端末に伝送し、前記第２のミラーリングインタラクティブ画面を前記第１の端末に伝送するように構成され、
    前記第１の端末が、さらに、前記第１のインタラクティブ画面及び前記第２のミラーリングインタラクティブ画面に基づいて第１の目的インタラクティブ画面を生成するように構成され、
    前記第２の端末が、さらに、前記第２のインタラクティブ画面及び前記第１のミラーリングインタラクティブ画面に基づいて第２の目的インタラクティブ画面を生成するように構成される、
    インタラクティブ型コラボライブ配信の制御システム。
16. 前記第１の端末、前記第２の端末及び前記ゲームサーバに通信接続されるリアルタイム通信コネクタをさらに備え、
    前記リアルタイム通信コネクタが、前記ゲームサーバから伝送された前記第１のミラーリングインタラクティブ画面及び前記第２のミラーリングインタラクティブ画面を受信し、前記第１のミラーリングインタラクティブ画面を前記第２の端末に伝送し、前記第２のミラーリングインタラクティブ画面を前記第１の端末に伝送するように構成される、
    請求項１５に記載のシステム。
17. 前記第１の端末は、さらに、第１の動画ストリームを収集し、前記リアルタイム通信コネクタに基づいて前記第１の動画ストリームを前記第２の端末に伝送するように構成され、
    前記第２の端末は、さらに、第２の動画ストリームを収集し、前記リアルタイム通信コネクタに基づいて前記第２の動画ストリームを前記第１の端末に伝送するように構成され、
    前記第１の端末は、さらに、前記第１の動画ストリーム、前記第２の動画ストリーム及び前記第１の目的インタラクティブ画面に基づいて第１の動画統合ストリームを形成するように構成され、
    前記第２の端末は、さらに、前記第１の動画ストリーム、前記第２の動画ストリーム及び前記第２の目的インタラクティブ画面に基づいて第２の動画統合ストリームを形成するように構成される、
    請求項１６に記載のシステム。
18. 前記第１の端末及び前記第２の端末に通信接続されるコンテンツデリバリネットワークサーバをさらに備え、
    前記コンテンツデリバリネットワークサーバが、前記第１の端末から伝送された第１の動画統合ストリーム及び前記第２の端末から伝送された第２の動画統合ストリームを受信し、前記第１の動画統合ストリーム及び前記第２の動画統合ストリームを対応する観客側にそれぞれストリームプッシュするように構成される、
    請求項１７に記載のシステム。
19. 少なくとも１つのプロセッサと、
    少なくとも１つのプログラムを記憶するように構成される記憶装置とを備える電子機器であって、
    前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに、請求項１～１２のいずれか１項に記載のインタラクティブ型コラボライブ配信の制御方法を実現させる、
    電子機器。
20. コンピュータ実行可能な命令が含まれる記憶媒体であって、
    前記コンピュータ実行可能な命令がコンピュータプロセッサにより実行されると、請求項１～１２のいずれか１項に記載のインタラクティブ型コラボライブ配信の制御方法の実行に用いられる、
    記憶媒体。