JP6818144B2 - ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末 - Google Patents

ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末 Download PDF

Info

Publication number
JP6818144B2
JP6818144B2 JP2019528445A JP2019528445A JP6818144B2 JP 6818144 B2 JP6818144 B2 JP 6818144B2 JP 2019528445 A JP2019528445 A JP 2019528445A JP 2019528445 A JP2019528445 A JP 2019528445A JP 6818144 B2 JP6818144 B2 JP 6818144B2
Authority
JP
Japan
Prior art keywords
video stream
terminal
live
live video
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528445A
Other languages
English (en)
Other versions
JP2020504488A (ja
Inventor
学凌 李
学凌 李
建▲強▼ 胡
建▲強▼ 胡
健▲鴻▼ ▲陳▼
健▲鴻▼ ▲陳▼
晨 ▲呉▼
晨 ▲呉▼
Original Assignee
▲広▼州市百果▲園▼信息技▲術▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ▲広▼州市百果▲園▼信息技▲術▼有限公司 filed Critical ▲広▼州市百果▲園▼信息技▲術▼有限公司
Publication of JP2020504488A publication Critical patent/JP2020504488A/ja
Application granted granted Critical
Publication of JP6818144B2 publication Critical patent/JP6818144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541Rights Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations

Description

本発明は、ネットワークライブの技術分野に関し、具体的にライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末に関する。
ネットワーク技術及びスマート移動端末装置の発展に伴い、さまざまなネットワーク製品は人々の仕事、生活に多くの利便と娯楽をもたらしてきた。近年、さまざまな映像ライブのためのライブプラットフォームが次々と出現し、映像ライブが人々によりリアルタイムな社交体験をもたらしている。現在のライブプラットフォームは、移動端用のライブプラットフォームとPC端用のライブプラットフォームを含む。
映像ライブへのニーズの多様性により、ストリーマーは、見ているユーザーとより良いインタラクションを行うように、PC端での内容(例えば、PCでのゲーム画面)とストリーマーの個人のイメージを同時に生放送する必要があり、該ライブ態様は、多視点またはマルチプラットフォーム同期ライブと呼ばれ、現在の多視点同期ライブは以下のようないくつかの解決手段採用している。
1、独立しているPCクライアントと第3者の外付けカメラを組み合わせてライブを行う。
このような手段を採用すると、1セットのPC端の完全なクライアントソフトウェアを個別に開発する必要があり、かつ第三者の外部カメラに合わせて、手動で生放送する必要があるプロセスウィンドウをカメラと組み合わせた後、ライブクライアントによりサーバーにライブストリームをアップロードして、サーバーから各視聴端にダウンロードしなければならず、操作設置のフローが複雑であり、かつ第三者の周辺機器の実装、使用及び第三者の映像ソフトウェアの追加によって、ようやく人がプロセスウィンドウと同期して生放送するという効果を実現することができる。
2、WEB端と第3者のライブプッシュストリーミソフトウェア及び外付けカメラを組み合わせてライブを行う。
一般のWEBライブプラットフォームは、WEB端バックグラウンドと第3者のライブプッシュストリーミソフトウェアを用いてライブを行い、ユーザーがWEB端のライブプラットフォームでアカウントを登録して、フローによってWEB端のライブ権限を取得した後、さらに、パーソナルネットワークに対して速度測定を行う必要があり、かつ指定されたビットレートに従って、第3者のライブプッシュストリーミソフトウェアを設定しなければならず、フローが非常に複雑であるだけでなく、第三者のライブソフトウェアの様々な設置を把握する必要があり、かつ人工の速度測定を行って設定する必要があり、マルチプラットフォームライブの進行に不便である。
3、移動端は手動形態でクロスプラットフォームのライブを行う。
移動端でライブを行う過程には、PC端の内容を生放送する必要があれば、ユーザーが移動端のカメラの方向及び位置を調整することによって手動中継放送の形態で多視点ライブを行ってもよく、該操作は相対的に簡単であるが、ライブの範囲及びライブの内容が保証されにくいためライブの品質が低くなり、同時に移動端のカメラで他のプラットフォームの内容に対する中継放送を行うことで、ユーザーのライブ過程での操作及び視聴者とのインタラクションに影響を与え、ライブ過程でのインタラクション効果に大きな影響を与える。
要するに、現在サポートされている多視点、クロスプラットフォームのライブ方法は、操作フローが煩雑であり、又はライブ効果が低く、ストリーマーユーザーが複数の端末のライブ内容を速やかに共有し、ライブ内容及びインタラクションをよりよく体験させる効果を満たすことができない。
本発明の主要な目的は、ライブルームの映像ストリームのプッシュ制御方法及び該方法ステップを実行するサーバーを提供する。
本発明の別の目的は、ライブルームの映像ストリームのプッシュ制御方法及び該方法ステップを実行する移動端末を提供する。
該目的を実現するために、本発明は、以下のような技術手段を採用する。
第1の態様では、本発明は、サーバーで実行されるライブルームの映像ストリームのプッシュ制御方法を提供し、前記方法は、
サーバーはライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するステップと、
サーバーは該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップと、
サーバーは第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップとを含む。
具体的に、サーバーは、前記接続要求に応答し、第1の端末からアップロードした第1のライブ映像ストリームを第2の端末にダウンロードするように、前記事前プロトコル情報に従って第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信する。
さらに、該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップから、前記第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップまでに、さらに、
第2のライブ映像ストリームを収集する制御ウィンドウを第2の端末のユーザーインタフェースに生成するように、サーバーは第2のライブ映像ストリームを収集する制御指令を第2の端末に送信するステップを含む。
具体的に、前記第1、第2及び第3のライブ映像ストリームは、いずれも画像ストリームと音声ストリームを含み、前記第3のライブ映像ストリームは、第1のライブ映像ストリーム、第2のライブ映像ストリームの少なくとも1つの画像ストリームを含み、さらに該両方の少なくとも1つの音声ストリームを含む。
第2の態様では、本発明は、第1の端末で実行されるライブルームの映像ストリームのプッシュ制御方法をさらに提供し、前記方法は、
第1の端末は第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するステップと、
第1の端末はストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするステップとを含む。
具体的に、前記事前プロトコル情報は、二次元コードの形態で特徴付けられ、前記第1の端末は、カメラによって二次元コードを走査して前記事前プロトコル情報を取得する。
好ましくは、前記ストリーマーユーザーアイデンティティでサーバーに前記接続要求を送信した後、前記ストリーマーユーザーの確認指令に応答する前に、第1の端末は、ストリーマーユーザーの確認指令を受信した後にローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするように、接続を確認する操作インタフェースを提供する。
さらに、前記方法は、
第1の端末は第2の端末のユーザーインタフェースに第2のライブ映像ストリームを収集する制御ウィンドウを生成するように、サーバーによって第2のライブ映像ストリームを収集する制御指令を第2の端末に送信する次のステップをさらに含む。
第3の態様では、本発明は、第2の端末で実行されるライブルームの映像ストリームのプッシュ制御方法をさらに提供し、前記方法は、
第2の端末は特徴付き事前プロトコル情報のリンク識別を出力するステップと、
第2の端末は第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するステップと、
第2の端末は、前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするステップとを含む。
具体的に、前記事前プロトコル情報は第2の端末の唯一の装置識別を含む。
好ましくは、前記第2の端末が第1のライブ映像ストリームを受信する過程、第2のライブ映像ストリームを収集する過程、第3のライブ映像ストリームを結合する過程及び第3のライブ映像ストリームをアップロードする過程は並列動作する。
また、前記第1の態様に対応して、本発明はサーバーをさらに提供し、前記サーバーは、
前記ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するステップと、
該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップと、
第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップとを実行するために用いられるように配置される。
また、前記第2の態様に対応して、本発明は移動端末をさらに提供し、前記移動端末は、
第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するステップと、
ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするステップとを実行するために用いられるように配置される。
また、前記第3の態様に対応して、本発明は移動端末をさらに提供し、前記移動端末は、
特徴付き事前プロトコル情報のリンク識別を出力するステップと、
第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するステップと、
前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするステップとを実行するために用いられるように配置される。
最後に、本発明は、第1の端末、第2の端末の少なくとも2つの端末及びそれらと通信接続を確立するサーバーを含むライブルームの映像ストリームのプッシュ制御システムをさらに提供し、前記システムは、
前記第2の端末は特徴付き事前プロトコル情報のリンク識別を出力し、前記第1の端末は第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信し、前記第1の端末はストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードし、前記サーバーは該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードし、前記第2の端末はサーバーからダウンロードされる第1のライブ映像ストリームを受信して、前記第1のライブ映像ストリームとローカルに収集される第2のライブ映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、前記第3のライブ映像ストリームをサーバーにアップロードして、前記サーバーは第2の端末からアップロードされる第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュすることを特徴とする。
従来の技術に比べて、本発明は以下の利点を有する。
本発明は、ライブルームのライブ内容が映像ストリーム、音声ストリーム、弾幕情報、プレゼント情報などを含むことを考慮し、ライブ映像ストリームの分離と結合技術に基づき、異なる端末のライブ映像ストリームをストリーマーユーザー端末によって結合した後、サーバーにアップロードされ、次にサーバーにより結合された映像ストリームをライブルームの各視聴ユーザーにプッシュし、サーバーが映像ストリームを過剰に結合するストレスを低減し、リソースを節約する。
同時に、本発明は、移動端をストリーマーがライブを行う迅速なログイン及び認証の入口として利用し、一般的に、移動端のライブアプリケーションにはいずれもストリーマーがライブを速やかに起動する入口が配置され、ユーザーはライブプラットフォームのアカウントを登録するだけで移動端のライブを速やかに起動することができ、このようにPC端が第三者の周辺機器を追加しない時に速やかに自動化するライブサポートに合わせて、PC端でのライブクライアントが第三者の外部カメラを追加しないと、ライブパラメータを速やかに、自動的に設定してPC端におけるソフトウェア/デスクトップの画面を録画することができる。複数の端末の映像ストリームのオープニング閾値を大幅に低下させ、より早く、柔軟なマルチプラットフォームのライブフローを実現させる。
また、本発明は、移動端及びPC端アカウントの分離体系に基づき、PC端の高い性能の画像処理能力を利用し、移動端がライブを速やかに起動する利便性に合わせて、各ライブコンテンツをPC端で処理し、結合し、さらにサーバーにアップロードして、サーバーからライブルームの各視聴ユーザーにプッシュし、ライブ映像ストリームの時間同期性を保証する。
要するに、本発明は、移動端及びPC端のそれぞれの映像ライブクライアントの利点を結合し、マルチプラットフォーム、多視点ライブの操作ステップを簡略化し、マルチプラットフォーム、多視点ライブの技術閾値を低下させ、ストリーマーユーザーがマルチプラットフォーム、多視点同期ライブをより便利に、速く使用させ、ライブ効率を向上させることで、ユーザー体験を向上させる。
明らかに、上記本発明の利点に係る説明は概略的であり、より多くの利点は後続の実施例に示され、及び当業者は本発明に開示する内容に基づいて本発明の他の多くの利点を合理的に見出すことができる。
本発明に付加される方面と利点は、以下の説明に部分的に示され、これらは以下の説明から明らかになり、又は本発明の実践により理解される。
本発明のライブルームの映像ストリームのプッシュ制御方法の一実施例のフローチャートである。 サーバーは第1の端末との接続を確立した後に第1の端末の操作インタフェースに結合モードの選択ウィンドウを表示する一実施例の模式図である。 本発明の第3のライブ映像ストリームの一実施例の模式図である。 本発明のライブルームの映像ストリームのプッシュ制御方法の一実施例のフローチャートである。 第1の端末は事前プロトコル情報を取得する操作インタフェースの模式図である。 本発明のライブルームの映像ストリームのプッシュ制御装置の一実施例の模式図である。 本発明のライブルームの映像ストリームのプッシュ制御装置の一実施例の模式図である。 本発明のライブルームの映像ストリームのプッシュ制御装置の一実施例の模式図である。 本発明の移動端末の一実施例の構造模式図である。 本発明に係るライブルームの映像ストリームのプッシュ制御方法を実現するシステム模式図である。
以下、図面及び例示的な実施例を参照しながら本発明をさらに説明し、図面において同じ符号は全て同じ部品を指す。また、既知の技術の詳細な説明が本発明の特徴を示すことについて必要ではない場合には、それを省略する。
当業者にとって、特に断りのない限り、本明細書で使用された単数形「1」、「1つ」、「前記」及び「該」が複数形を含んでもよいことを理解できる。さらに理解すべきは、本発明の明細書に使用される用語「含む」は前記特徴、整数、ステップ、操作、素子及び/又は部品が存在することを指すが、1つまたは複数の他の特徴、整数、ステップ、操作、素子、部品及び/又はそれらのグループの存在または追加を排除するものではない。理解すべきは、本発明者は素子が別の素子に「接続」又は「結合」される時に、それを他の素子に直接接続又は結合してもよく、又は中間素子が存在してもよい。また、ここで使用される「接続」又は「結合」は、無線接続又は無線結合が含まれてもよい。ここで使用される用語「及び/又は」は1つ以上の関連する列挙項の全部又はいずれかのユニットと全ての組み合わせを含む。
当業者にとって、他に定義されない限り、本明細書で使用される全ての用語(技術用語及び科学用語を含む)は、当業者により一般に理解されることと同じ意味を有することを理解できる。さらに、例えば、一般に使用される辞書で定義された用語は、従来の技術の文脈における意味と一致する意味を有すると理解すべきであり、かつ本明細書のように特に定義しない限り、理想化された、またはフォーマルすぎる意味で解釈されないことを理解すべきである。
当業者にとって、本明細書で使用される「端末」、「端末装置」は送信能力のない無線信号受信器のみを備える無線信号受信機の装置を含むだけではなく、さらに双方向通信リンクで双方向通信の送受信を行うことができるハードウェア装置を有する送受信ハードウェア装置を含むことを理解できる。このような装置は、単一回線表示装置を有し、又はマルチ回線表示装置を有し、又はマルチ回線表示装置を有しないセルラー又は他の通信装置と、音声、データ処理、ファックス及び/又はデータ通信能力を組み合わせてもよいPCS(Personal Communications Service、パーソナル通信システム)と、RF受信機、ページャー、インターネット/イントラネットアクセス、ネットワークブラウザ、メモ帳、カレンダ及び/又はGPS(Global Positioning System、全地球測位システム)受信機を含んでもよいPDA(Personal Digital Assistant、パーソナルデジタルアシスタント)と、RF受信機を有する及び/又は含む通常のラップトップ型及び/又はパームトップ型コンピュータ又は他の装置と、を含んでもよい。本明細書で使用される「端末」、「端末装置」は携帯式、輸送可能な、交通機関(航空、海上輸送及び/又は陸上)に取り付けられるものであってもよく、又はローカルで動作することに適する及び/又はローカルで動作するように設定し、及び/又は分布形態で地球及び/又は空間のいずれの他の位置で動作するものであってもよい。本明細書で使用される「端末」、「端末装置」はさらに、通信端末、インターネット接続端末、音楽/映像再生端末であってもよく、例えばPDA、MID(Mobile Internet Device、モバイルインターネットデバイス)及び/又は、音楽/映像再生機能を有する携帯電話であってもよく、スマートテレビ、セットトップボックスなどの装置であってもよい。
当業者にとって、本明細書で使用される遠隔ネットワーク装置は、コンピュータ、ネットワークホスト、単一のネットワークサーバー、複数のネットワークサーバーセット又は複数のサーバーで構成されるクラウドを含むが、それらに限定されないことを理解できる。ここで、クラウドはクラウド計算(Cloud Computing)に基づく大量のコンピュータ又はネットワークサーバーで構成され、クラウドコンピューティングは分散計算の一種であり、一組の疎結合のコンピュータセットからなる1つのスーパー仮想計算機である。本発明の実施例では、遠隔ネットワーク装置、端末装置とWNSサーバーとの間はいずれの通信態様により通信を実現することができ、3GPP、LTE、WIMAXに基づく移動通信、TCP/IP、UDPプロトコルに基づくコンピュータネットワーク通信及びブルートゥース(登録商標)、赤外線伝送規格に基づく近接無線伝送態様を含むが、これに限定されない。
当業者にとって、本発明に係るユーザーインタフェース/操作インタフェースとは、スマート端末に制御指令を送信するために使用可能な表示インタフェースを指すことを理解できる。例えば、Androidシステムの設置ページ内の1つのオプション(又はボタンであり、前記アプリケーションプログラムにより追加し、以下は同じである)であってもよく、デスクトップから呼び出される通知欄又はインタラクティブページ内の1つのオプションであってもよく、前記アプリケーションプログラムの1つのアクティブ部品により構成されたページ内の1つのオプションであってもよい。
当業者にとって、本発明でいう「アプリケーション」、「アプリケーションプログラム」、「アプリケーションソフトウェア」及び類似する表現の概念は、当業者に公知される同じ概念であることを理解すべきであり、一連のコンピュータ指令及び関連するデータリソースにより有機的に構成された電子動作に適するコンピュータソフトウェアを指す。特に指定されない限り、このような命名自体は、プログラミング言語の種類、レベル、それにより動作する操作システム又はプラットフォームにより制限されない。もちろん、このような概念もいかなる形態の端末によっても限定されない。
ライブルーム:本発明に係るライブルームは、以下の意味を含む。(1)ネットワークライブプラットフォームに基づいて作成された仮想空間(又は仮想ルーム)であり、ライブルームは一般的にストリーマークライアントにより複数の視聴クライアントを作成・接続し、すなわちライブルームにはストリーマー及び複数の視聴者を含み、該仮想空間内に存在する視聴クライアントはストリーマークライアントのライブ内容を見ることができ、同時にストリーマークライアントのユーザーと視聴クライアントのユーザー、視聴クライアントのユーザーと視聴クライアントのユーザーの間には、さらに音声、画像、文字又は電子プレゼントの贈呈のインタラクションを行うことができる。(2)ユーザーをグループとして集めたインスタント通信プラットフォームであり、例えば映像会議システムでは、ユーザーがクライアントにログインすることによりグループに入り、ユーザーがグループ内にグループメンバーというアイデンティティで存在し、同じグループ内に複数のグループメンバーを含み、ユーザーは任意にグループに参加する又はグループから脱退することができ、グループ内で文字、音声、映像などの様々なインタラクションを行うことができる。
第1の態様では、図1に示すのは本発明のライブルームの映像ストリームのプッシュ制御方法の一実施例のフローチャートであり、該方法は、ネットワーク装置により実行され、前記ネットワーク装置は単一のネットワークサーバー、複数のネットワークサーバーにより構成されるサーバーグループ又はクラウド計算(Cloud Computing)に基づく大量のホスト又はネットワークサーバーにより構成されるクラウドを含むが、これに限定されない。該方法はステップS100〜S120を含む。
ステップS100:前記ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信する。
ライブルームのストリーマーユーザーの第1の端末は、第2の端末から出力される特徴付き事前プロトコル情報のリンク識別を認識することで、前記事前プロトコル情報を取得して、第1の端末はサーバーに該事前プロトコル情報を含む接続要求を送信し、サーバーは後続の処理のために該接続要求を受信する。
具体的に、前記事前プロトコル情報は、第2の端末の唯一の装置識別及びサーバーと端末との専用リンクを作成する認可トークンまたは認証情報とを含み、かつ前記事前プロトコル情報が暗号化態様で処理され、特徴付き事前プロトコル情報のリンク識別に記憶され、必ず相応する認可されるアプリケーションプログラムを介して前記リンク識別から解析して前記事前プロトコル情報を得る。一般的に、事前プロトコル情報の暗号化態様、特徴付き事前プロトコル情報のリンク識別は、各ライブプラットフォームにより定義され、該ライブプラットフォームが認可したアプリケーションプログラムを介して前記リンク識別を認識した後、前記事前プロトコル情報を得ることができる。
一実施形態では、前記特徴付き事前プロトコル情報のリンク識別は、二次元コードの形態で出力され、二次元コードは、特定の幾何学図形により、所定の規律に従って、二次元平面上に分布されるモノクロの図形記録データシンボル情報であり、二次元コードはコードの作成に対して、コンピュータ内部の論理ベースを構成する「0」、「1」ビットストリームの概念を巧みに利用し、二値に対応する複数の幾何学図形を用いて文字、数値などの情報を表示し、画像入力装置又は光電走査装置により二次元コードを識別して二次元コードに含まれる情報を取得してもよい。二次元コードは、各符号化態様がその特定の文字セットを有することと、各文字が所定の幅を占めることと、一定の検証機能等を有すること等のバーコード技術の複数の共通点を有する。
ステップS110:該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードする。
サーバーは前記接続要求に応答し、そのうちの事前プロトコル情報を検証し、該事前プロトコル情報がライブプラットフォームにより定義される事前プロトコル情報規則に一致すれば、該接続要求が合法的な接続要求と見なされ、第2の端末との専用通信リンクを作成するように、第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信し、さらに、受信した第1の端末アップロードの第1のライブ映像ストリームを第2の端末にダウンロードする。
好ましくは、サーバーは前記接続要求を受信した後、第2の端末との専用ネットワーク通信リンクを作成した後、第2の端末との接続作成が完了した情報を第1の端末にフィードバックし、かつ第1の端末からの確認指令を受信した時に、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードする。同時に、第2のライブの映像ストリームを収集する制御ウィンドウを第2の端末のユーザーインタフェースに生成するように、第2のライブの映像ストリームを収集する制御指令を第2の端末に送信した後、ストリーマーユーザーが該制御ウィンドウから第2のライブ映像ストリームの映像ソースを選択し、第2のライブ映像ストリームを速やかに収集することができる。
ステップS120:第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュする。
具体的に、前記第1、第2、第3のライブ映像ストリームはいずれも画像ストリームと音声ストリームを含み、前記第3のライブ映像ストリームは、第1のライブ映像ストリーム、第2のライブ映像ストリームの少なくとも1つの画像ストリームを含み、該両者の少なくとも1つの音声ストリームをさらに含み、第3のライブ映像ストリームは以下の種類を含む。
(1)第1のライブ映像ストリームの画像ストリーム及び第1のライブ映像ストリームの音声ストリーム。
(2)第2のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの音声ストリーム。
(3)第1のライブ映像ストリームの画像ストリーム及び第1のライブ映像ストリームの音声ストリーム及び第2のライブ映像ストリームの画像ストリーム。
(4)第1のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの音声ストリーム。
(5)第1のライブ映像ストリームの画像ストリーム及び第1のライブ映像ストリームの音声ストリーム及び第2のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの音声ストリーム。
図4に示すのは本発明の第3のライブ映像ストリームの一実施例の模式図であり、第1のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの画像ストリームを含み、両者の音声ストリームをさらに含んでもよく、第1のライブ映像ストリームの画像ストリームは図に示す人物ウィンドウであり、第2のライブ映像ストリームの画像ストリームは図に示す「PC画面」の画像ウィンドウであり、多視点、クロスプラットフォームの同期ライブが実現される。
好ましくは、ストリーマーユーザーが選択を行うように、第1の端末と第2の端末に相応する映像ストリーム、音声ストリームのオン/オフオプションを提供し、ストリーマーユーザーがある映像ストリームの画像ストリームまたは音声ストリームをオン/オフすることを選択する時に、相応する合成された第3のライブ映像ストリームがそれに従って変更され、ストリーマーユーザーが必要に応じてライブルームの内容をよりよく表示させる。例えば、現在の第3のライブ映像ストリームが上記第(5)種類である場合、ストリーマーユーザーが第1のライブ映像ストリームの画像ストリーム、音声ストリームを一時的に閉じて第2の映像ストリーム、音声ストリームによって視聴者ユーザーとよりよいインタラクションを行うことを望めば、ストリーマーユーザーは、第1の端末で第1のライブ映像ストリームを閉じることを選択してもよく、この時に第2の端末により収集した第2のライブ映像ストリームは、結合した第3の映像ストリームである。その後、サーバーは第2の端末からアップロードされる第3のライブ映像ストリームを受信した後、それをライブルームの視聴者ユーザーにプッシュする。好ましくは、ストリーマーユーザーが第2の端末に第1のライブ映像ストリームを閉じることを選択してもよく、この時にサーバーは第1のライブ映像ストリームを第2の端末にダウンロードしない。その後、第2の端末により収集した第2のライブ映像ストリームは、結合した第3の映像ストリームとして、サーバーにアップロードされ、サーバーは該第3のライブ映像ストリームをライブルームの視聴ユーザーにアップロードし、例えば、第2の端末ユーザーインタフェースに提供される第1のライブ映像ストリーム、音声ストリームのオン/オフオプションボタンであり、ストリーマーユーザーが「オフ」オプションボタンを選択した後、第1のライブ映像ストリームを受信する通信リンクを閉じて、第1のライブ映像ストリームを受信しない。
より好ましくは、第2の端末のユーザーインタフェースには、ストリーマーユーザーが第1のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの画像ストリームの表示区域サイズを設置してもよく、相応する結合した第3のライブ映像ストリームに対し、第1のライブ映像ストリームと第2のライブ映像ストリームに対する修正に従って修正を行って、修正した第3のライブ映像ストリームをサーバーにアップロードし、サーバーはさらに第3のライブ映像ストリームをライブルームにプッシュし、ストリーマーユーザーにより多くのカスタム選択肢を提供し、ライブルームライブ内容の表示を保証する。
第2の態様では、図2に示すのは本発明のライブルームの映像ストリームのプッシュ制御方法の一実施例のフローチャートであり、本実施例において、該方法は、第1の端末により実行され、前記第1の端末は移動端末であることが好ましく、前記方法は第1の端末での映像ライブのアプリケーションプログラムにより実行されると理解されてもよく、ステップS200〜S220を含む。
ステップS200:第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信する。
具体的に、前記事前プロトコル情報は、第2の端末の唯一の装置識別及びサーバーと端末との専用リンクを作成する認可トークンまたは認証情報とを含み、かつ前記事前プロトコル情報が暗号化態様で処理され、特徴付き事前プロトコル情報のリンク識別に記憶され、必ず相応する認可されるアプリケーションプログラムを介して前記リンク識別から解析して前記事前プロトコル情報を得る。一般的に、事前プロトコル情報の暗号化態様、特徴付き事前プロトコル情報のリンク識別は、各ライブプラットフォームにより定義され、該ライブプラットフォームが認可したアプリケーションプログラムを介して前記リンク識別を認識した後、前記事前プロトコル情報を得ることができる。
ライブルームのストリーマーユーザーの第1の端末は、第2の端末から出力される特徴付き事前プロトコル情報のリンク識別を認識することで、前記事前プロトコル情報を取得し、すなわち、サーバーによって第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信するように、ユーザーが第1の端末に該映像ライブのアプリケーションプログラムを動作して、ストリーマーアイデンティティで前記事前プロトコル情報の特徴付き形態に従って、特徴付き事前プロトコル情報のリンク識別を認識して、前記事前プロトコル情報を取得して、サーバーに該事前プロトコル情報を含む接続要求を送信し、ストリーマーユーザーのアイデンティティ情報はライブプラットフォーム上のストリーマーユーザーUIDであり、唯一の1つのストリーマーユーザーを特徴付けるために用いられ、また、ライブルームの特徴情報はライブルームのチャンネルIDである。図5に示すのは第1の端末が事前プロトコル情報を取得する操作インタフェースの模式図であり、図5中の矢印が指す、例えば、「PCライブ」のボタンをクリックすることにより、走査フレームが出現して、第2の端末が二次元コード形態で出力する特徴付き事前プロトコル情報のリンク識別を走査することにより、相応する事前プロトコル情報を取得し、同時にストリーマーアイデンティティで該事前プロトコル情報を含む接続要求をサーバーに送信する。
ステップS210:ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードする。
サーバーは前記接続要求に応答し、そのうちの事前プロトコル情報を検証し、該事前プロトコル情報がライブプラットフォームにより定義される事前プロトコル情報規則に一致すれば、該接続要求が合法的な接続要求と見なされ、第2の端末との専用通信リンクを作成するように、第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信し、サーバーは第2の端末との専用通信リンクを作成した後、第1の端末に接続作成が完了した提示情報をフィードバックし、第1の端末は該提示情報を受信した後に第1の端末のユーザーインタフェース上に接続を確認する操作インタフェースを生成し、前記操作インタフェースがストリーマーユーザーの確認指令を受信するために用いられ、例えば、第1の端末のユーザーインタフェースに例えば接続を「確認」するボタンを提供し、かつストリーマーユーザーの確認指令を受信した時に、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードし、サーバーが該第1のライブ映像ストリームを第2の端末にダウンロードさせる。
好ましくは、ストリーマーユーザーが接続を確認した後、第1の端末は、第2の端末のユーザーインタフェースに第2のライブ映像ストリームを収集する制御ウィンドウを生成するように、サーバーによって第2のライブ映像ストリームを収集する制御指令を第2の端末に送信して、ストリーマーユーザーが該制御ウィンドウから第2のライブ映像ストリームの映像ソースを選択し、第2のライブ映像ストリームを速やかに収集することができる。
第3の態様では、図3に示すのは本発明のライブルームの映像ストリームのプッシュ制御方法の別の実施例のフローチャートであり、本実施例において、該方法は第2の端末により実行され、端末の画像処理性能を考慮し、前記第2の端末はPC端であることが好ましく、前記方法は第2の端末上の映像ライブクライアントにより実行されると理解されてもよく、ステップS300〜S320を含む。
ステップS300:特徴付き事前プロトコル情報のリンク識別を出力する。
具体的に、前記事前プロトコル情報は、第2の端末の唯一の装置識別及びサーバーと端末との専用リンクを作成する認可トークンまたは認証情報とを含み、かつ前記事前プロトコル情報が暗号化態様で処理され、特徴付き事前プロトコル情報のリンク識別に記憶され、必ず相応する認可されるアプリケーションプログラムを介して前記リンク識別から解析して前記事前プロトコル情報を得る。一般的に、事前プロトコル情報の暗号化態様、特徴付き事前プロトコル情報のリンク識別は、各ライブプラットフォームにより定義され、該ライブプラットフォームが認可したアプリケーションプログラムを介して前記リンク識別を認識した後、前記事前プロトコル情報を得ることができ、一実施形態では、前記特徴付き事前プロトコル情報のリンク識別は、二次元コードの形態で出力される。例えば、PC端での映像ライブクライアントの操作インタフェースには、例えば「共有ライブ」のボタンを設け、事前プロトコル情報がリンク識別を生成して端末のユーザーインタフェースに表示するために用いられ、ユーザーが「共有ライブ」ボタンをクリックした後、映像ライブクライアントの操作インタフェースに1つの二次元コードを出力し、ライブプラットフォームが認可する第1の端末での映像ライブクライアントは、該二次元コードを走査することにより、前記事前プロトコル情報を取得することができる。
ステップS310:第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信する。
ライブルームのストリーマーユーザーの第1の端末は、第2の端末から出力される特徴付き事前プロトコル情報のリンク識別を認識することで、前記事前プロトコル情報を取得して、第1の端末はサーバーに該事前プロトコル情報を含む接続要求を送信した後、第2の端末は該要求に応答してサーバーから送信される第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を受信して、サーバーとの専用通信リンクを作成し、さらに該専用リンクにより、サーバーからダウンロードされる第1のライブ映像ストリームを受信する。
好ましくは、第2の端末は前記接続要求に応答してサーバーとの専用通信リンクを作成した後、かつサーバーは第1の端末の確認指令を受信して第2の端末にフィードバックする時に、サーバーからダウンロードされる第1のライブ映像ストリームを受信する。
ステップS320:前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードする。
第2の端末は、サーバーが第1の端末の確認指令を受信したというフィードバックを受信すると同時に、サーバーから送信される、第2のライブ映像ストリームを収集する制御指令を受信し、第2の端末は該制御指令を受信して第2のライブ映像ストリームを収集する制御ウィンドウをユーザーインタフェースに生成して、ストリーマーユーザーが該制御ウィンドウに第2のライブ映像ストリームの映像ソースを選択し、第2のライブ映像ストリームを速やかに収集することができる。一般的に、第2の端末収集の第2のライブ映像ストリームの画像ストリームは、プロセス画面(例えは、ゲームウィンドウ画面)とデスクトップ画面(すなわち第2の端末のデスクトップ画面の全体)を含むため、制御ウィンドウは上記2種の画像ストリーム選択肢を含み、ユーザーが自身のニーズに応じて相応する映像ソースを第2のライブ映像ストリームとして収集する。その後、ストリーマーユーザーは、第3のライブ映像ストリームを選択しプッシュし、この時、第2の端末は第2のライブ映像ストリームを収集すると同時に、受信した第1のライブ映像ストリームと第2のライブ映像ストリームを第3のライブ映像ストリームに結合して、第3のライブ映像ストリームをサーバーにアップロードすることで、前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュさせる。
具体的に、第2の端末が前記第1のライブ映像ストリームを受信する過程、第2のライブ映像ストリームを収集する過程、第3のライブ映像ストリームを結合する過程及び第3のライブ映像ストリームをアップロードする過程は、並行動作である。並行動作とは、同一時刻又は同一時間間隔内に2種又は2種以上の性質が同じか又は異なる動作を完了することであり、並列動作は以下の特徴を有する。(1)時間重複性:隣接する処理過程に時間的ずれがあり、同じセットのハードウェアの各部を順番に重ねて使用する。(2)リソース共有性:複数のユーザーが一定の時間順に同じセットのリソースを順番に使用し、リソース利用率を向上させる。(3)リソースの重複:ハードウェアリソースを繰り返して設定し、ハードウェアの信頼性及び性能を向上させる。具体的に、本発明の実施例に対して、並行動作とは、第2の端末は第1のライブ映像ストリームを受信する時に、第2のライブ映像ストリームを同時/同期に収集してもよく、かつ受信された第1のライブ映像ストリームと収集された第2のライブ映像ストリームを同時/同期に第3のライブ映像ストリームに結合し、かつ第3のライブ映像ストリームを同時/同期にサーバーにアップロードし、ライブ映像ストリームの同時/同期性を保証する。
好ましくは、ストリーマーユーザーが選択を行うように、第2の端末に相応する第1、第2のライブ映像ストリームの画像ストリーム、音声ストリームのオン/オフオプションを提供し、ストリーマーユーザーがある映像ストリームの画像ストリームまたは音声ストリームをオン/オフすることを選択する時に、相応する合成された第3のライブ映像ストリームがそれに従って変更され、ストリーマーユーザーが必要に応じてライブルームの内容をよりよく表示させる。
より好ましくは、第2の端末のユーザーインタフェースには、ストリーマーユーザーが第1のライブ映像ストリームの画像ストリーム及び第2のライブ映像ストリームの画像ストリームの表示区域サイズを設置してもよく、相応する結合した第3のライブ映像ストリームに対し、第1のライブ映像ストリームと第2のライブ映像ストリームに対する修正に従って修正を行って、修正した第3のライブ映像ストリームをサーバーにアップロードし、サーバーはさらに第3のライブ映像ストリームをライブルームにプッシュし、ストリーマーユーザーにより多くのカスタム選択肢を提供し、ライブルームライブ内容の表示を保証する。
前記第1の態様の方法に相応し、図6に示すのは本発明のライブルームの映像ストリームのプッシュ制御装置であり、前記ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するために用いられる受信要求モジュールと、該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするために用いられる応答要求モジュールと、第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合連結することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするために用いられる映像プッシュモジュールとを含む。
前記第2の態様の方法に相応し、図7に示すのは本発明のライブルームの映像ストリームのプッシュ制御装置であり、第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するために用いられる取得モジュールと、ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするために用いられる送信モジュールとを含む。
前記第3の態様の方法に相応し、図8に示すのは本発明のライブルームの映像ストリームのプッシュ制御装置であり、特徴付き事前プロトコル情報のリンク識別を出力するために用いられる出力モジュールと、第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するために用いられる受信モジュールと、前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするために用いられる結合モジュールとを含む。
また、第1の態様に相応し、本発明は、さらに、プロセッサーを含むサーバーを提供し、前記プロセッサーは、
前記ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するステップと、
該接続要求を応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップと、
第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップとを実行するために用いられるように配置される。
また、第2の態様に相応し、本発明は、さらに、プロセッサー、メモリ、タッチ感知ディスプレイ及びカメラを含む移動端末を提供し、前記プロセッサーは、
第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するステップと、
ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするステップとを実行するために用いられるように配置されることを特徴とする。
最後に、第3の態様に相応し、本発明は、さらに移動端末を提供し、前記移動端末は、
特徴付き事前プロトコル情報のリンク識別を出力するステップと、
第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するステップと、
前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするステップとを実行するために用いられるように配置される。
図9に示すのは本発明の移動端末の一実施例の構造模式図である。該移動端末は携帯電話、タブレットコンピュータ、PDA(Personal Digital Assistant、パーソナルデジタルアシスタント)、POS(Point of Sales、販売端末)、車載コンピュータなどのいずれの端末装置であってもよく、移動端末が携帯電話であることを例とする。
図9を参照し、携帯電話は、RF(RadioFrequency)回路910、メモリ920、入力ユニット930、表示ユニット940、センサー950、音声回路960、ワイヤレスフィデリティ(wirelessfidelity、WiFi)モジュール970、プロセッサー980、及び電源990などの部品を含む。当業者にとって、図9に示す携帯電話の構造は携帯電話を限定するものではなく、図示よりも多い又は少ない部品、又はある部品の組み合わせ、又は異なる部品の組み合わせの配置を含んでも良いことを理解できる。
以下、図9を参照して携帯電話の各構成部品を具体的に説明する。
RF回路910は、情報を送受信するために用いられてもよく、又は通話過程において信号の受信と送信に用いられてもよく、特に、基地局の下り情報を受信した後、プロセッサー980に処理され、また、上りを設計するデータを基地局に送信する。一般的に、RF回路910はアンテナ、少なくとも1つの増幅器、送受信機、結合器、低雑音増幅器(Low Noise Amplifier、LNA)、デュプレクサ等を含むが、これに限定されない。また、RF回路910は、無線通信によりネットワーク、他の装置と通信してもよい。上記無線通信はいずれかの通信標準又はプロトコルを使用してもよく、グローバル移動通信システム(Global SystemofMobileccommunication、GSM(登録商標))、通用パケット無線サービス(General Packet Radio Service、GPRS)、広帯域コード分割多元接続(Code Division Multiple Access 、WCDMA(登録商標))、広帯域コード分割多元接続(Wideband Code Division Multiple Access、WCDMA(登録商標))、LTE(Long Term Evolution)、電子メール、ショートメッセージサービス(ShortMessaging Service、SMS)などを含むが、これらに限定されない。
メモリ920は、ソフトウェアプログラム及びモジュールを記憶するために用いられてもよく、プロセッサー980は、メモリ920に記憶されるソフトウェアプログラム及びモジュールを動作することにより、携帯電話の各機能アプリケーション及びデータ処理を実行する。メモリ920は、主に記憶プログラム領域及び記憶データ領域を含んでもよく、記憶プログラム領域は操作システム、少なくとも1つの機能に必要なアプリケーションプログラム(例えば、声音再生機能、画像再生機能など)などを記憶してもよく、記憶データ領域は携帯電話の使用により作成されたデータ(例えば音声データ、電話帳など)などを記憶してもよい。また、メモリ920は、高速ランダムアクセスメモリを含んでもよく、さらに不揮発性メモリを含んでもよく、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の揮発性固体記憶装置を含んでもよい。
入力ユニット930は入力された数字又は文字情報を受信し、及び携帯電話のユーザー設定及び機能制御に関するキー信号の入力を生成するために用いられてもよい。具体的に、入力ユニット930はタッチパネル931及び他の入力装置932を含んでもよい。タッチパネル931は、タッチスクリーンとも呼ばれ、ユーザーのその上又は近傍のタッチ操作(例えばユーザーが指、タッチペンなどのあらゆる適切な物体又はアクセサリーを用いてタッチパネル931上又はタッチパネル931の近傍で操作すること)を収集してもよく、かつ予定されたプログラムに従って対応する接続装置を駆動する。好ましくは、タッチパネル931はタッチ検出装置及びタッチコントローラの2つの部分を含んでもよい。タッチ検出装置はユーザーのタッチ方位を検出して、タッチ操作による信号を検出し、信号をタッチコントローラに伝送し、タッチコントローラはタッチ検出装置からタッチ情報を受信し、かつそれを接触点座標に変換し、さらにプロセッサー980に送信し、かつプロセッサー980から送信されたコマンドを受信して実行することができる。また、抵抗態様、静電容量態様、赤外線及び弾性表面波などの色々なテープを採用してもよい。入力部930は、タッチパネル931に加えて、他の入力装置932を含んでもよい。具体的に、他の入力装置932は物理的キーボード、機能キー(例えば、音量制御ボタン、スイッチボタンなど)、トラックボール、マウス、操作レバーなどの1種又は複数種を含むが、それに限定されない。
表示ユニット940はユーザーにより入力される情報又はユーザーに提供される情報及び携帯電話の様々なメニューを表示するために用いられてもよい。表示ユニット940は表示パネル941を含み、好ましくは、液晶ディスプレイ(Liquid Crystal Display、LCD)、有機発光ダイオード(Organic Light−Emitting Diode、OLED)などの形態で表示パネル941を配置してもよい。さらに、タッチパネル931は表示パネル941を覆ってもよく、タッチパネル931がその上又は近傍でのタッチ操作を検出した後、プロセッサー980に転送してタッチイベントのタイプを確定し、その後にプロセッサー980はタッチイベントのタイプに従って表示パネル941に相応する視覚出力を提供する。図9において、タッチパネル931と表示パネル941は2つの独立した部品として携帯電話の入力及び入力機能を実現するが、ある実施例において、タッチパネル931を表示パネル941と集積して携帯電話の入力及び出力機能を実現してもよい。
携帯電話はさらに少なくとも1種のセンサー950、例えば光センサー、運動センサー及び他のセンサーを含んでもよい。具体的に、光センサーは環境光センサー及び近接センサーを含んでもよく、環境光センサーは環境光の明暗に従って表示パネル941の輝度を調整してもよく、近接センサーは携帯電話が耳元に移動する時に、表示パネル941を閉じ、及び/又はバックライトになってもよい。運動センサーの1種として、加速度センサーは各方向(一般的には三軸であり)における加速度の大きさを検出してもよく、静止時に重力の大きさ及び方向を検出してもよく、携帯電話の姿勢を識別するアプリケーション(例えば縦横のスクリーンの切り替え、関連ゲーム、磁力計姿勢較正)、振動識別に関連する機能(例えば歩数計、タップ)などに用いられてもよく、携帯電話にさらにジャイロスコープ、気圧計、湿度計、温度計、赤外線センサーなどの他のセンサーを配置してもよく、ここでは説明を省略する。
音声回路960、スピーカ961、マイクロフォン962はユーザーと携帯電話との間の音声インタフェースを提供してもよい。音声回路960は受信された音声データを変換した後の電気信号を、スピーカ961に伝送し、スピーカ961により声音信号に変換して出力してもよく、一方、マイクロフォン962は、集音した声音信号を電気信号に変換し、音声回路960で受信した後、音声データに変換し、音声データを処理部980に出力して処理した後、RF回路910を介して、例えば、他の携帯電話機に送信したり、音声データをメモリ920に出力したりしてさらに処理する。
WiFiは短距離無線伝送技術に属し、携帯電話はWiFiモジュール970によりユーザーが電子メールを送受信し、ウェブページを閲覧し、ストリーミングメディア等にアクセスすることに寄与することができ、それはユーザーに無線のブロードバンドインターネットアクセスを提供する。図9にWiFiモジュール970を示すが、それは携帯電話の必須構成に属しておらず、必要に応じて発明の本質を変更しない範囲で省略可能であることを理解できる。
プロセッサー980は携帯電話の制御センターであり、様々なインタフェース及び回線を利用して携帯電話全体の各部を接続し、メモリ920内に記憶されたソフトウェアプログラム及び/又はモジュールを動作又は実行し、メモリ920内に記憶されたデータを呼び出すことにより、携帯電話の様々な機能及び処理データを実行することで、携帯電話を全体的に監視する。好ましくは、プロセッサー980は1つ又は複数の処理ユニットを含んでもよく、好ましくは、プロセッサー980はアプリケーションプロセッサー及び変復調プロセッサーを集積してもよく、アプリケーションプロセッサーは主に操作システム、ユーザーインタフェース及びアプリケーションプログラムなどを処理し、変復調プロセッサーは主に無線通信を処理する。上記変復調プロセッサーはプロセッサー980に集積されなくてもよいことを理解できる。
携帯電話は、さらに各部品に電力を供給する電源990(例えば、バッテリー)を含み、好ましくは、電源は電源管理システムによりプロセッサー980と論理的に接続されることで、電源管理システムにより充電管理、放電管理、及び消費電力管理などの機能を実現する。
図示しないが、携帯電話はさらにカメラを含み、かつ前記プロセッサー980及び携帯電話の他の部品と電気的に接続される。
図10に示すのは本発明に係るライブルームの映像ストリームのプッシュ制御方法のシステム模式図であり、第1の端末、第2の端末、複数のサーバー及び複数の視聴ユーザーを含み、該システム模式図は、本発明に係る方法の主なフローチャートを表示し、ストリーマーユーザーが第1の端末からアイデンティティサーバーに第2の端末から出力される事前プロトコル情報を含む接続要求を送信し、アイデンティティサーバーは前記事前プロトコル情報を検証した後、第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信して、映像ストリームサーバーは第1の端末との通信リンクを作成して第1の端末からアップロードされる第1のライブ映像ストリームを受信し、及び第2の端末との専用リンクを作成して該専用リンクを介して第1のライブ映像ストリームを第2の端末にダウンロードし、第2の端末は同時にローカルの第2のライブ映像ストリームを収集し、第1のライブ映像ストリームと第2のライブ映像ストリームの両者の少なくとも1つを第3のライブ映像ストリームに合成して映像ストリームサーバーにアップロードして、映像ストリームサーバーにより第3のライブ映像ストリームをライブルームの各ユーザーA、B、Cにプッシュする。
以下、サーバー、第1の端末(移動端)、第2の端末(PC端)を例として本発明の1つの実施過程を説明し、ユーザーは同時にライブゲーム画面及びパーソナルイメージを速く起動する必要がある。まず移動端の映像ライブアプリケーションプログラムを起動し、ライブプラットフォームアカウントにログインした後にライブルームを速く作成し、この時、ユーザーはストリーマーユーザーである。また、PC端で映像ライブクライアントを起動して該ライブプラットフォームアカウントにログインして、PC端の「共有ライブ」ボタンをクリックし、PC端でのユーザーインタフェースに特徴付き事前プロトコル情報のリンク識別(二次元コードを特徴付き事前プロトコル情報のリンク識別とすることを例として)を出力して、ユーザーは移動端の「PCライブ」ボタンをクリックし、二次元コード走査インタフェースがポップアップし、移動端のカメラでPC端インタフェースに出力された二次元コードを走査し、その特徴付き事前プロトコル情報を取得してサーバーに該事前プロトコル情報を含む接続要求を送信し、サーバーは要求検証を完了した後、移動端の唯一の装置識別、ストリーマーユーザーのUID及びライブルームのチャンネルIDをPC端に送信し、この時に映像ストリームサーバーと携帯電話端末及びPC端との通信リンク接続を確立して接続確立が完了した情報を第1の端末にフィードバックし、ユーザーが移動端で接続を確認した後、ローカルに生成される第1のライブ映像ストリームを映像ストリームサーバーにアップロードし、映像ストリームサーバーにより前記第1のライブ映像ストリームをPC端にダウンロードする。次に、ユーザーがPC端で収集しようとする映像ソースを第2のライブ映像ストリームとして選択して、PC端が受信された第1のライブ映像ストリームとローカルで収集された第2のライブ映像ストリームを第3のライブ映像ストリームに合成し、かつユーザーがPC端で必要に応じて第1、第2のライブ映像ストリームの画像画面のサイズ割合を調整することにより、ライブ内容をよりよく表示することができる。最後、PC端が結合された第3のライブ映像ストリームを映像ストリームサーバーにアップロードし、映像ストリームサーバーにより第3のライブ映像ストリームをライブルームの各視聴ユーザーにプッシュする。
概略的に、本発明に係る技術手段は、以下の通りである。
ライブルームの映像ストリームのプッシュ制御方法は、
前記ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するステップと、
該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップと、
第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップとを含む。
以上のライブルームの映像ストリームのプッシュ制御方法は、さらに以下のような技術内容を含む。
該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップは、具体的に、
該接続要求に応答し、第1の端末からアップロードした第1のライブ映像ストリームを第2の端末にダウンロードするように、前記事前プロトコル情報に従って第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信し、
該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップから、前記第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップまでは、さらに、第2のライブ映像ストリームを収集する制御ウィンドウを第2の端末のユーザーインタフェースに生成するように、第2のライブ映像ストリームを収集する制御指令を第2の端末に送信するステップを含み、前記接続要求を受信した後、第1の端末からの確認指令を受信する時にのみ、後続のステップを続ける。
同時に別のライブルームの映像ストリームのプッシュ制御方法を提供し、該方法は、
第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するステップと、
ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするステップとを含む。
該別のライブルームの映像ストリームのプッシュ制御方法は、さらに以下のような技術内容を含む。
前記事前プロトコル情報は、二次元コードの形態で特徴付けられ、カメラによって二次元コードを走査して前記事前プロトコル情報を取得し、
前記ストリーマーユーザーアイデンティティでサーバーに前記接続要求を送信した後、前記ストリーマーユーザーの確認指令に応答する前、第1の端末は、ストリーマーユーザーの確認指令を受信した後にローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするように、接続を確認する操作インタフェースを提供する。
前記別のライブルームの映像ストリームのプッシュ制御方法は、
第2の端末のユーザーインタフェースに第2のライブ映像ストリームを収集する制御ウィンドウを生成するように、サーバーによって第2のライブ映像ストリームを収集する制御指令を第2の端末に送信する次のステップをさらに含む。
同時に第3種のライブルームの映像ストリームのプッシュ制御方法を提供し、該方法は、
特徴付き事前プロトコル情報のリンク識別を出力するステップと、
第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するステップと、
前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするステップとを含む。
該第3種のライブルームの映像ストリームのプッシュ制御方法は、さらに以下のような技術内容を含む。
第1のライブ映像ストリームを受信する過程、第2のライブ映像ストリームを収集する過程、第3のライブ映像ストリームを結合する過程及び第3のライブ映像ストリームをアップロードする過程は並列動作する。
ライブルームの映像ストリームのプッシュ制御装置は、
前記ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するために用いられる受信要求モジュールと、
該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするために用いられる応答要求モジュールと、
第2の端末からアップロードされる第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成される第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするために用いられる映像プッシュモジュールとを含む。
ライブルームの映像ストリームのプッシュ制御装置は、
第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するために用いられる取得モジュールと、
ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするために用いられる送信モジュールとを含む。
ライブルームの映像ストリームのプッシュ制御装置は、
特徴付き事前プロトコル情報のリンク識別を出力するために用いられる出力モジュールと、
第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するために用いられる受信モジュールと、
前記サーバーがライブルームの少なくとも1つのユーザーに前記第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするために用いられる結合モジュールとを含む。
プロセッサーを含むサーバーであって、該プロセッサーは上記第1種のライブルームの映像ストリームのプッシュ制御方法を実行するために用いられるサーバー。
プロセッサー、メモリ、タッチ感知ディスプレイ及びカメラを含む移動端末であって、前記プロセッサーは、上記第2、第3種のライブルームの映像ストリームのプッシュ制御方法のいずれかを実行するために用いられる、ことを特徴とする移動端末。
本発明は、ライブルームのライブ内容が映像ストリーム、音声ストリーム、弾幕情報、プレゼント情報などを含むことを考慮し、ライブ映像ストリームの分離と結合技術に基づき、異なる端末のライブ映像ストリームをストリーマーユーザー端末によって結合した後、サーバーにアップロードされ、次にサーバーにより結合された映像ストリームをライブルームの各視聴ユーザーにプッシュし、サーバーが映像ストリームを過剰に結合するストレスを低減し、リソースを節約する。同時に、本発明は、移動端をストリーマーがライブを行う迅速なログイン及び認証の入口として利用し、このようにPC端が第三者の周辺機器を追加しない時に速やかに自動化するライブサポートに合わせ、複数の端末の映像ストリームのオープニング閾値を大幅に低下させ、より早く、柔軟なマルチプラットフォームのライブフローを実現させ、また、本発明は、移動端及びPC端アカウントの分離体系に基づき、PC端の高い性能の画像処理能力を利用し、移動端がライブを速やかに起動する利便性に合わせ、各ライブコンテンツをPC端で処理し、結合し、さらにサーバーにアップロードして、サーバーからライブルームの各視聴ユーザーにプッシュし、ライブ映像ストリームの時間同期性を保証する。
要するに、本発明は、移動端及びPC端のそれぞれの映像ライブクライアントの利点を結合し、マルチプラットフォーム、多視点ライブの操作ステップを簡略化し、マルチプラットフォーム、多視点ライブの技術閾値を低下させ、ストリーマーユーザーがマルチプラットフォーム、多視点同期ライブをより便利に、速く使用させ、ライブ効率を向上させることで、ユーザー体験を向上させる。
以上の内容は本発明のいくつかの例示的な実施例を示したが、当業者にとって、本発明の原理又は精神から逸脱しない場合、これらの例示的な実施例を変更することができ、本発明の範囲は、特許請求の範囲およびその同等物により限定されることを理解できる。
910 RF回路
920 メモリ
930 入力ユニット
931 タッチパネル
932 他の入力装置
940 表示ユニット
941 表示パネル
950 センサー
960 音声回路
970 WiFiモジュール
980 プロセッサー
990 電源

Claims (14)

  1. サーバーはライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するステップと、
    サーバーは該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップと、
    サーバーは第2の端末からアップロードされる第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップであって、前記第3のライブ映像ストリームは、前記第2の端末で収集される第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成されるステップとを含む、ことを特徴とするライブルームの映像ストリームのプッシュ制御方法。
  2. 該接続要求に応答し、第1の端末からアップロードした第1のライブ映像ストリームを第2の端末にダウンロードするように、前記事前プロトコル情報に従って第1の端末の唯一の装置識別、ストリーマーユーザーのアイデンティティ情報及びライブルームの特徴情報を第2の端末に送信する、ことを特徴とする請求項1に記載の方法。
  3. 該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップから、前記第2の端末からアップロードされる第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップまでは、さらに、
    第2のライブ映像ストリームを収集する制御ウィンドウを第2の端末のユーザーインタフェースに生成するように、サーバーは第2のライブ映像ストリームを収集する制御指令を第2の端末に送信するステップを含む、ことを特徴とする請求項1に記載の方法。
  4. 前記第1、第2及び第3のライブ映像ストリームは、いずれも画像ストリームと音声ストリームを含み、前記第3のライブ映像ストリームは、第1のライブ映像ストリーム、第2のライブ映像ストリームの少なくとも1つの画像ストリームを含み、さらに該両方の少なくとも1つの音声ストリームを含む、ことを特徴とする請求項1に記載の方法。
  5. 第1の端末は第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するステップと、
    第1の端末はストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするステップとを含む、ことを特徴とするライブルームの映像ストリームのプッシュ制御方法。
  6. 前記事前プロトコル情報は、二次元コードの形態で特徴付けられ、カメラによって二次元コードを走査して前記事前プロトコル情報を取得する、ことを特徴とする請求項5に記載の方法。
  7. 前記ストリーマーユーザーアイデンティティでサーバーに前記接続要求を送信した後、前記ストリーマーユーザーの確認指令に応答する前、第1の端末は、ストリーマーユーザーの確認指令を受信した後にローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするように、接続を確認する操作インタフェースを提供する、ことを特徴とする請求項5に記載の方法。
  8. 第2の端末のユーザーインタフェースに第2のライブ映像ストリームを収集する制御ウィンドウを生成するように、サーバーによって第2のライブ映像ストリームを収集する制御指令を第2の端末に送信する次のステップをさらに含む、ことを特徴とする請求項5に記載の方法。
  9. 第2の端末は特徴付き事前プロトコル情報のリンク識別を出力するステップと、
    第2の端末は第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するステップと、
    第2の端末は、前記サーバーがライブルームの少なくとも1つのユーザーに第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするステップとを含む、ことを特徴とするライブルームの映像ストリームのプッシュ制御方法。
  10. 前記第2の端末が第1のライブ映像ストリームを受信する過程、第2のライブ映像ストリームを収集する過程、第3のライブ映像ストリームを結合する過程及び第3のライブ映像ストリームをアップロードする過程は並列動作する、ことを特徴とする請求項9に記載の方法。
  11. ライブルームのストリーマーユーザーが第1の端末から送信する、第2の端末から出力される事前プロトコル情報を含む接続要求を受信するステップと、
    該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードするステップと、
    第2の端末からアップロードされる第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュするステップであって、前記第3のライブ映像ストリームは、前記第2の端末で収集される第2のライブ映像ストリームと前記第1のライブ映像ストリームの少なくとも1つを結合することによって形成されるステップとを実行するために用いられるように配置される、サーバー。
  12. 第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信するステップと、
    ストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードするステップとを実行するために用いられるように配置される、移動端末。
  13. 特徴付き事前プロトコル情報のリンク識別を出力するステップと、
    第1の端末からサーバーに送信する、前記事前プロトコル情報を含む接続要求に応答し、サーバーからダウンロードされる第1のライブ映像ストリームを受信するステップと、
    前記サーバーがライブルームの少なくとも1つのユーザーに第3のライブ映像ストリームをプッシュするように、ローカルの第2のライブ映像ストリームを収集して、前記第1のライブ映像ストリームと第2の映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、それをサーバーにアップロードするステップとを実行するために用いられるように配置される、移動端末。
  14. 第1の端末、第2の端末の少なくとも2つの端末及びそれらと通信接続を確立するサーバーを含むライブルームの映像ストリームのプッシュ制御システムであって、
    前記第2の端末は特徴付き事前プロトコル情報のリンク識別を出力し、前記第1の端末は第2の端末から出力される事前プロトコル情報を取得して、ストリーマーユーザーアイデンティティでサーバーに該事前プロトコル情報を含む接続要求を送信し、前記第1の端末はストリーマーユーザーの確認指令に応答し、ローカルに生成される第1のライブ映像ストリームをサーバーにアップロードし、前記サーバーは該接続要求に応答し、受信した第1の端末からアップロードされる第1のライブ映像ストリームを第2の端末にダウンロードし、前記第2の端末はサーバーからダウンロードされる第1のライブ映像ストリームを受信して、前記第1のライブ映像ストリームとローカルに収集される第2のライブ映像ストリームの少なくとも1つを第3のライブ映像ストリームに結合して、前記第3のライブ映像ストリームをサーバーにアップロードして、前記サーバーは第2の端末からアップロードされる第3のライブ映像ストリームを受信して、それを前記ライブルームのメンバーユーザーにプッシュする、ことを特徴とするライブルームの映像ストリームのプッシュ制御システム。
JP2019528445A 2016-11-22 2016-11-22 ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末 Active JP6818144B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/106755 WO2018094556A1 (zh) 2016-11-22 2016-11-22 直播间视频流推送控制方法及相应的服务器与移动终端

Publications (2)

Publication Number Publication Date
JP2020504488A JP2020504488A (ja) 2020-02-06
JP6818144B2 true JP6818144B2 (ja) 2021-01-20

Family

ID=59431224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528445A Active JP6818144B2 (ja) 2016-11-22 2016-11-22 ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末

Country Status (6)

Country Link
US (1) US11616990B2 (ja)
EP (1) EP3547697A4 (ja)
JP (1) JP6818144B2 (ja)
KR (1) KR102257646B1 (ja)
CN (1) CN107005721B (ja)
WO (1) WO2018094556A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846633B (zh) * 2016-09-18 2023-07-14 腾讯科技(深圳)有限公司 一种直播方法及系统
CN106792081B (zh) * 2016-12-07 2020-01-10 腾讯科技(深圳)有限公司 直播视频的推送方法及装置
CN108259409B (zh) * 2016-12-28 2020-08-11 腾讯科技(深圳)有限公司 信息处理方法、终端及系统
CN108055577A (zh) * 2017-12-18 2018-05-18 北京奇艺世纪科技有限公司 一种直播交互方法、系统、装置及电子设备
CN108093267B (zh) * 2017-12-27 2020-12-04 广州虎牙信息科技有限公司 一种直播方法、装置、存储介质及电子设备
CN109274979B (zh) * 2018-08-31 2021-03-23 广州虎牙信息科技有限公司 直播间跳转方法、装置、存储介质和服务器
CN109982148B (zh) * 2019-04-03 2022-05-20 广州虎牙信息科技有限公司 一种直播方法、装置、计算机设备与存储介质
CN110062254A (zh) * 2019-04-19 2019-07-26 上海连尚网络科技有限公司 一种弹幕发布的方法及设备
CN110213522B (zh) * 2019-05-27 2021-07-27 腾讯科技(深圳)有限公司 一种视频数据处理方法、装置以及相关设备
CN112312144B (zh) * 2019-07-31 2022-11-29 腾讯科技(深圳)有限公司 一种直播方法、装置、设备和存储介质
CN110519610B (zh) * 2019-08-14 2021-08-06 咪咕文化科技有限公司 直播资源处理方法及系统、服务器和客户端设备
CN111372093B (zh) * 2020-03-09 2022-02-25 广州市百果园信息技术有限公司 直播房间管理方法、装置、设备及存储介质
WO2021185302A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 基于云手机的直播和配置方法以及相关装置和系统
CN112291629B (zh) * 2020-03-27 2022-08-23 北京字节跳动网络技术有限公司 交互方法、装置、电子设备和可读介质
KR102227062B1 (ko) * 2020-04-10 2021-03-12 주식회사 에이에스엘 실시간 방송중계장치
CN111641839B (zh) * 2020-05-27 2021-09-21 北京达佳互联信息技术有限公司 直播方法、装置、电子设备及存储介质
CN113810726B (zh) * 2020-06-12 2023-07-18 阿里巴巴集团控股有限公司 一种控制方法、控制装置和控制设备
CN113923528B (zh) * 2020-07-08 2023-03-28 华为技术有限公司 屏幕共享方法、终端和存储介质
CN113949885B (zh) * 2020-07-15 2023-08-15 腾讯科技(深圳)有限公司 直播处理方法、装置、电子设备及计算机可读存储介质
US11683538B2 (en) * 2020-09-03 2023-06-20 Meta Platforms, Inc. Live group video streaming
CN112312226B (zh) * 2020-10-28 2023-06-27 北京达佳互联信息技术有限公司 连麦方法、系统、装置、电子设备及存储介质
CN112337100B (zh) * 2020-11-05 2022-11-18 北京字节跳动网络技术有限公司 基于直播的数据处理方法、装置、电子设备和可读介质
CN112423008B (zh) * 2020-11-09 2021-10-29 北京达佳互联信息技术有限公司 直播方法、装置、终端、服务器以及存储介质
CN114666613B (zh) * 2020-12-22 2024-01-05 华为终端有限公司 一种网络直播方法及电子设备
CN112866727B (zh) * 2020-12-23 2024-03-01 贵阳叁玖互联网医疗有限公司 一种可接收第三方推流的流媒体直播方法及系统
CN112911319B (zh) * 2021-01-19 2023-02-28 广州华多网络科技有限公司 多用户视频连线控制方法及其装置、设备和介质
CN112954378B (zh) * 2021-02-05 2023-03-28 广州方硅信息技术有限公司 直播间语音弹幕的播放方法、装置、电子设备及介质
CN112565810A (zh) * 2021-02-25 2021-03-26 北京映客芝士网络科技有限公司 一种直播间的合并处理方法、装置、介质及电子设备
US20220329910A1 (en) * 2021-04-07 2022-10-13 Meta Platforms, Inc. Generation and delivery of content items for synchronous viewing experiences
CN113014950A (zh) * 2021-05-24 2021-06-22 北京创新乐知网络技术有限公司 一种直播同步的方法、系统和电子设备
CN113473168B (zh) * 2021-07-02 2023-08-08 北京达佳互联信息技术有限公司 直播方法及系统、便携设备执行的直播方法及便携设备
CN113630614A (zh) * 2021-08-09 2021-11-09 广州虎牙科技有限公司 游戏直播方法、装置、系统、电子设备及可读存储介质
CN113727131B (zh) * 2021-08-31 2023-03-14 北京达佳互联信息技术有限公司 交互方法、系统、装置、电子设备及计算机可读存储介质
CN113891044B (zh) * 2021-09-29 2023-03-24 天翼物联科技有限公司 视频直播方法、装置、计算机设备及计算机可读存储介质
CN114466207A (zh) * 2022-01-18 2022-05-10 阿里巴巴(中国)有限公司 直播控制方法及计算机存储介质
CN114845124B (zh) * 2022-03-21 2024-02-20 广西广播电视信息网络股份有限公司 基于WebSocket同步控制的机顶盒直播方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
CN100412852C (zh) 2004-05-10 2008-08-20 北京大学 网络上的多种媒体的同步合成存储发布系统及操作该系统的方法
US20070157281A1 (en) * 2005-12-23 2007-07-05 United Video Properties, Inc. Interactive media guidance system having multiple devices
US20080092047A1 (en) * 2006-10-12 2008-04-17 Rideo, Inc. Interactive multimedia system and method for audio dubbing of video
US20110078717A1 (en) * 2009-09-29 2011-03-31 Rovi Technologies Corporation System for notifying a community of interested users about programs or segments
US9369673B2 (en) * 2011-05-11 2016-06-14 Blue Jeans Network Methods and systems for using a mobile device to join a video conference endpoint into a video conference
US9380336B2 (en) * 2011-06-20 2016-06-28 Enseo, Inc. Set-top box with enhanced content and system and method for use of same
US9026666B2 (en) * 2012-02-14 2015-05-05 Avaya Inc. Communication session cloning using barcodes
CN102780916B (zh) * 2012-04-12 2015-03-18 天脉聚源(北京)传媒科技有限公司 一种视频直播流汇聚分发方法
US9544538B2 (en) 2012-05-15 2017-01-10 Airtime Media, Inc. System and method for providing a shared canvas for chat participant
KR101579603B1 (ko) * 2012-06-27 2016-01-04 네이버 주식회사 이미지 인증키를 이용한 tv와 스마트폰의 연동 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
US8909933B2 (en) * 2012-10-25 2014-12-09 International Business Machines Corporation Decoupled cryptographic schemes using a visual channel
US9276978B2 (en) 2012-12-31 2016-03-01 Microsoft Technology Licensing, Llc Program based caching in live media distribution
CN104243430A (zh) * 2013-06-20 2014-12-24 腾讯科技(深圳)有限公司 一种流媒体播放方法及装置
CN104426963B (zh) * 2013-08-29 2018-06-15 腾讯科技(深圳)有限公司 关联终端的方法和终端
EP2849448A1 (fr) * 2013-09-13 2015-03-18 Nagravision S.A. Méthode pour contrôler l'accès à du contenu diffusé
US9516259B2 (en) * 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
US10291597B2 (en) * 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US9344681B2 (en) * 2014-08-21 2016-05-17 Infocus Corporation Systems and methods of incorporating live streaming sources into a video conference
JP6561241B2 (ja) * 2014-09-02 2019-08-21 株式会社コナミデジタルエンタテインメント サーバ装置、動画配信システム、それに用いられる制御方法及びコンピュータプログラム
CN105407384A (zh) * 2014-09-15 2016-03-16 上海天脉聚源文化传媒有限公司 一种利用二维码标识媒体播放内容的方法、装置及系统
US9891803B2 (en) * 2014-11-13 2018-02-13 Google Llc Simplified projection of content from computer or mobile devices into appropriate videoconferences
CN106162221A (zh) * 2015-03-23 2016-11-23 阿里巴巴集团控股有限公司 直播视频的合成方法、装置及系统
US9973819B1 (en) * 2015-06-26 2018-05-15 Amazon Technologies, Inc. Live video stream with interactive shopping interface
US10021458B1 (en) * 2015-06-26 2018-07-10 Amazon Technologies, Inc. Electronic commerce functionality in video overlays
US9883249B2 (en) * 2015-06-26 2018-01-30 Amazon Technologies, Inc. Broadcaster tools for interactive shopping interfaces
US10440436B1 (en) * 2015-06-26 2019-10-08 Amazon Technologies, Inc. Synchronizing interactive content with a live video stream
US10390064B2 (en) * 2015-06-30 2019-08-20 Amazon Technologies, Inc. Participant rewards in a spectating system
CN105306468B (zh) * 2015-10-30 2019-01-11 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
WO2018027237A1 (en) * 2016-08-05 2018-02-08 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events
CN106101753A (zh) * 2016-08-24 2016-11-09 凌义川 一种音视频互动直播管理系统
CN107846633B (zh) * 2016-09-18 2023-07-14 腾讯科技(深圳)有限公司 一种直播方法及系统
US10516707B2 (en) * 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US11417091B2 (en) * 2017-05-30 2022-08-16 Ptc Inc. Use of coordinated local user devices during a shared augmented reality session
US10404481B2 (en) * 2017-06-06 2019-09-03 Cisco Technology, Inc. Unauthorized participant detection in multiparty conferencing by comparing a reference hash value received from a key management server with a generated roster hash value

Also Published As

Publication number Publication date
JP2020504488A (ja) 2020-02-06
KR102257646B1 (ko) 2021-06-09
US11616990B2 (en) 2023-03-28
CN107005721B (zh) 2020-07-24
WO2018094556A1 (zh) 2018-05-31
EP3547697A4 (en) 2020-04-22
EP3547697A1 (en) 2019-10-02
CN107005721A (zh) 2017-08-01
US20190281327A1 (en) 2019-09-12
KR20190086517A (ko) 2019-07-22

Similar Documents

Publication Publication Date Title
JP6818144B2 (ja) ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末
CN110139139B (zh) 一种业务处理方法、终端、服务器及存储介质
CN106412681B (zh) 弹幕视频直播方法及装置
US20130262687A1 (en) Connecting a mobile device as a remote control
CN106470343B (zh) 直播视频流远程控制方法及装置
US9300706B1 (en) Digital photograph group editing and access
CN105187930B (zh) 基于视频直播的互动方法及装置
JP5990845B2 (ja) メディアコンテンツを共有するための方法、端末デバイス、およびコンテンツ共有システム
CN107333162B (zh) 一种播放直播视频的方法和装置
CN106131692B (zh) 基于视频直播的互动控制方法、装置及服务器
US10298997B2 (en) Methods for uploading file to television set and playing file, television set and user equipment
WO2018120955A1 (zh) 直播编码的方法、装置、终端、联动编码服务器及系统
CN112312144B (zh) 一种直播方法、装置、设备和存储介质
CN110224920B (zh) 一种分享方法及终端设备
CN107908765B (zh) 一种游戏资源处理方法、移动终端及服务器
CN113810732B (zh) 直播内容显示方法、装置、终端、存储介质及程序产品
WO2017215661A1 (zh) 一种场景音效的控制方法、及电子设备
CN109804346A (zh) 无线装置和无线系统
WO2021078215A1 (zh) 一种云游戏跨终端切换的方法和相关装置
US10666588B2 (en) Method for sharing media content, terminal device, and content sharing system
CN104735538A (zh) 提供第二屏信息的方法
KR20160117114A (ko) 클라우드 스트리밍 서비스 시스템, 동일 세션 다중 접속 방식을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN117834610A (zh) 一种文件获取方法、装置及电子设备
CN113626041A (zh) 安装应用程序的方法、装置、终端设备和存储介质
CN109873841A (zh) 与云应用数据的交互方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201225

R150 Certificate of patent or registration of utility model

Ref document number: 6818144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250