JP2023515173A - ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム - Google Patents

ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム Download PDF

Info

Publication number
JP2023515173A
JP2023515173A JP2022551416A JP2022551416A JP2023515173A JP 2023515173 A JP2023515173 A JP 2023515173A JP 2022551416 A JP2022551416 A JP 2022551416A JP 2022551416 A JP2022551416 A JP 2022551416A JP 2023515173 A JP2023515173 A JP 2023515173A
Authority
JP
Japan
Prior art keywords
video
client
label
video stream
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022551416A
Other languages
English (en)
Other versions
JP7469491B2 (ja
Inventor
南勝 史
馬林 謝
▲ジャオ▼ 曹
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Publication of JP2023515173A publication Critical patent/JP2023515173A/ja
Application granted granted Critical
Publication of JP7469491B2 publication Critical patent/JP7469491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示は、ビデオストリーム処理方法を提供し、クラウドプラットフォームの分野に関する。該方法は、一つのライブイベントに対するマルチチャンネルビデオストリームを取得することと、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することと、を含む。クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する;マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する;かつ、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。また、本開示は、ビデオストリーム処理装置、コンピュータ機器および媒体を提供する。【選択図】図2

Description

本願は、出願日が2020年6月28日であり、出願番号がCN202010600691.4である中国特許出願の優先権を請求し、その内容を併せてここに参考とする。
本開示は、クラウドプラットフォーム分野に関し、より具体的には、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体に関する。
インターネット技術及びスマート移動端末機器の発展に伴い、様々なインターネット製品は、人々の仕事、生活に多くの便利及び面白さをもたらす。近年、様々なビデオライブのためのライブプラットフォームが次々と現れ、ビデオライブは人々に、よりリアルタイムで、興趣性を有する視聴体験及びソーシャル体験をもたらすことができる。ライブ需要の多様性に鑑み、複数のカメラ位置かつ多角度のライブはライブ内容を豊富にし、ライブシーンの雰囲気を盛り上げることができる。一般的に、同一のライブイベントに対して、マルチチャンネルビデオストリーム、例えば異なる撮像カメラ位置から撮像されたマルチチャンネルビデオストリーム、ライブシーンにおける異なるターゲットを撮像して得られたマルチチャンネルビデオストリーム等が存在することができる。マルチチャンネルビデオストリームの放送制御は、ユーザのライブ視聴体験に直接的に影響を与える。
これに鑑みて、本開示は、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体を提供する。
本開示の一態様は、ビデオストリーム処理方法を提供し、一つのライブイベントに対するマルチチャンネルビデオストリームを取得することと、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することと、を含む。クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する;マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する;かつ、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。
本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は、少なくとも一つのビデオラベルを含み、上記少なくとも一つのビデオラベルは第一ビデオラベルを含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得することと、各チャンネルのビデオストリームの撮像カメラ位置情報に基づいて、各チャンネルのビデオストリームの第一ビデオラベルを決定することと、を含む。
本開示の実施例によれば、上記少なくとも一つのビデオラベルはさらに第二ビデオラベルを含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出することと、各チャンネルのビデオストリームの少なくとも一つのフレームの画像に基づいて、各チャンネルのビデオストリームの内容情報を決定することと、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することと、さらに含む。
本開示の実施例によれば、上記方法は、複数の候補ビデオラベルを含むビデオラベルベースをプリセットすることをさらに含む。上記各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することは、各チャンネルのビデオストリームに対して、該ビデオストリームの内容情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第一類似度を計算することと、第一類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該ビデオストリームの第二ビデオラベルとすることと、を含む。
本開示の実施例によれば、上記クライアントの特徴情報を決定することは、該クライアントからのカスタマイズ配置情報を受信することと、カスタマイズ配置情報に基づいて、該クライアントの少なくとも一つの配置ラベルを決定し、該クライアントの特徴情報とすることと、を含む。
本開示の実施例によれば、上記方法は、複数の候補ビデオラベルを含むビデオラベルベースをプリセットすることをさらに含む。上記カスタマイズ配置情報に基づいて、クライアントの少なくとも一つの配置ラベルを決定することは、カスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算することと、第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該クライアントの少なくとも一つの配置ラベルとすることと、を含む。
本開示の実施例によれば、上記クライアントの特徴情報を決定することは、該クライアントのユーザ属性データ及びユーザ行動データを取得することと、ユーザ属性データ及びユーザ行動データに基づいて、該クライアントが属するユーザカテゴリを決定することと、該クライアントが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定することとを含む。
本開示の実施例によれば、上記方法は、複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることをさらに含む。上記クライアントが属するユーザカテゴリに基づいて、クライアントの少なくとも一つのユーザラベルを決定することは、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとすることを含む。
本開示の実施例によれば、上記方法は、複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることをさらに含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントの特徴情報とマッチングすることは、各チャンネルのビデオストリームに対して、ラベル関連付けライブラリに基づいて、該ビデオストリームの少なくとも一つのビデオラベルの各ビデオラベルと該クライアントの少なくとも一つのユーザラベルの各ユーザラベルとの間の関連重みを決定し、かつ該関連重みに基づいて各ビデオラベルの総合重みを決定することと、前記少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得することと、それぞれ該ビデオストリームの少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリームの少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリームの該クライアントに関するマッチング程度を取得することと、を含む。
本開示の実施例によれば、上記マルチチャンネルビデオストリームのそれぞれのクライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュすることは、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを該クライアントにプッシュすることを含む。
本開示の他の態様は、ビデオストリーム処理装置を提供し、取得モジュール、第一決定モジュール、第二決定モジュール、マッチングモジュール及びプッシュモジュールを含む。取得モジュールは、一つのライブイベントに対するマルチチャンネルビデオストリームを取得するために用いられる。第一決定モジュールは、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するために用いられる。第二決定モジュールは、クライアントからのビデオ要求メッセージに応答し、該クライアントの特徴情報を決定するために用いられる。マッチングモジュールは、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得するために用いられる。プッシュモジュールは、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュするために用いられる。
本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は少なくとも一つのビデオラベルを含み、上記少なくとも一つのビデオラベルは第一ビデオラベルを含む。第一決定モジュールは、マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得する;かつ、各チャンネルのビデオストリームの撮像カメラ位置情報に基づいて、各チャンネルのビデオストリームの第一ビデオラベルを決定するために用いられる第一配置サブモジュールを含む。
本開示の実施例によれば、上記少なくとも一つのビデオラベルはさらに第二ビデオラベルを含む。第一決定モジュールは、さらに、各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出する;各チャンネルのビデオストリームの少なくとも一つのフレームの画像に基づいて、各チャンネルのビデオストリームの内容情報を決定する;かつ、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定するために用いられる第一分析サブモジュールを含む。
本開示の実施例によれば、上記装置は、複数の候補ビデオラベルを含むビデオラベルライブラリをプリセットするプリセットモジュールをさらに含む。上記第一分析サブモジュールは、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することは、第一計算ユニットが各チャンネルのビデオストリームに対して、該ビデオストリームの内容情報と複数の候補ビデオラベルの各候補ビデオラベルとの間の第一類似度を計算するために用いられることと、第一選択ユニットが第一類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該ビデオストリームの第二ビデオラベルとするために用いられることと、を含む。
本開示の実施例によれば、第二決定モジュールは、該クライアントからのカスタマイズ配置情報を受信する;かつ、カスタマイズ配置情報に基づいて、該クライアントの少なくとも一つの配置ラベルを決定し、該クライアントの特徴情報とする第二配置サブモジュールを含む。
本開示の実施例によれば、上記装置は、複数の候補ビデオラベルを含むビデオラベルライブラリをプリセットするプリセットモジュールをさらに含む。上記第二配置サブモジュールがカスタマイズ配置情報に基づいて、クライアントの少なくとも一つの配置ラベルを決定することは、第二計算ユニットがカスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算するために用いられることと;第二選択ユニットが第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該クライアントの少なくとも一つの配置ラベルとするために用いられることと、を含む。
本開示の実施例によれば、第二決定モジュールは、第二分析サブモジュールを含み、該クライアントのユーザ属性データ及びユーザ行動データを取得するために用いられる;ユーザ属性データ及びユーザ行動データに基づいて、該クライアントが属するユーザカテゴリを決定する;かつ、該クライアントが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定するために用いられる。
本開示の実施例によれば、上記装置はさらにプリセットモジュールを含み、複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることに用いられる。第二分析サブモジュールがクライアントが属するユーザカテゴリに基づいて、クライアントの少なくとも一つのユーザラベルを決定することは、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとするために用いられる照会ユニットを含む。
本開示の実施例によれば、上記装置はさらにプリセットモジュールを含み、複数のビデオラベルのうちのいずれも一つのビデオラベルと複数のユーザラベルのうちのいずれも一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることに用いられる。マッチングモジュールは、各チャンネルのビデオストリームに対して、ラベル関連ライブラリに基づいて、該ビデオストリームの少なくとも一つのビデオラベルの各ビデオラベルと該クライアントの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定し、かつ該関連重みに基づいて各ビデオラベルの総合重みを決定するために用いられる決定サブモジュールと、前記少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得するために用いられる取得サブモジュールと、それぞれ該ビデオストリームの少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリームの少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリームの該クライアントに関するマッチング程度を取得するために用いられるマッチングサブモジュールと、を含む。
本開示の実施例によれば、プッシュモジュールは具体的にはマルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを該クライアントにプッシュするために用いられる。
本開示の他の態様はコンピュータ機器を提供し、メモリ、プロセッサ及びメモリに記憶されかつプロセッサに実行可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する時に上記のような方法を実現する。
本開示の他の態様はコンピュータ可読記憶媒体を提供し、コンピュータ実行可能な命令を記憶し、前記命令が実行される時に上記のような方法を実現する。
本開示の他の態様はコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ実行可能な命令を含み、前記命令が実行される時に上記のような方法を実現する。
本開示の実施例に係るビデオストリーム処理方法は同じライブイベントにマルチチャンネルビデオストリームが存在するシーンで、複数のクライアントの各クライアントに対して、それぞれ各チャンネルのビデオストリームと該クライアントの特徴情報をマッチングすることにより、マルチチャンネルビデオストリームのそれぞれと該クライアントとの間の適合程度を決定する。それによりマルチチャンネルビデオストリームから該クライアントに最も適合するビデオストリームを選択して該クライアントにプッシュすることができる。本開示の実施例の解決手段によれば、異なるクライアントに対するカスタマイズビデオストリームプッシュを実現することができ、異なるクライアントがユーザの異なり、端末装置の異なり等の差異による同一ライブイベントに対する異なる再生需要を満たす。
以下の図面を参照して本開示の実施例に対する説明により、本開示の上記及び他の目的、特徴及び利点はより明らかになる。
本開示の実施例に係るビデオストリーム処理方法及び装置を応用する例示的なシステムアーキテクチャを概略的に示す。 本開示の実施例に係るビデオストリーム処理方法のフローチャートを概略的に示す。 本開示の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示す。 本開示の実施例に係るビデオラベルライブラリの例示的な概略図を概略的に示す。 本開示の他の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示す。 本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示す。 本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示す。 本開示の実施例に係るビデオストリーム処理装置のブロック図を概略的に示す。 本発明の実施例に係るコンピュータ機器のブロック図を概略的に示す。
以下、図面を参照して本開示の実施例を説明する。しかし、理解すべきものとして、これらの説明は例示的なものだけであり、本開示の範囲を限定するものではない。以下の詳細な説明において、説明を容易にするために、多くの具体的な詳細を説明して本開示の実施例に対する全面的な理解を提供する。しかしながら、明らかに、一つ又は複数の実施例は、これらの具体的な詳細がない場合に実施されてもよい。また、以下の説明において、公知の構造及び技術の説明を省略することにより、本開示の概念を不必要に混同することを回避する。
ここで使用される用語は、具体的な実施例を説明するためだけであり、本開示を限定することを意図するものではない。ここで使用される用語「含む」、「包含」等は、前記特徴、ステップ、操作及び/又は部品の存在を示すが、一つ又は複数の他の特徴、ステップ、操作又は部品の存在又は追加を排除するものではない。
ここで使用される全ての用語(技術及び科学的用語を含む)は、当業者が一般的に理解する意味を有し、特に定義されない限りである。注意すべきものとして、ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈すべきであり、理想化又は厳格な方式で解釈されるべきではない。
「A、B及びCなどのうちの少なくとも一つ」と類似するという表現を用いる場合、一般的には当業者が一般的に該表現の意味を理解して解釈すべきである(例えば、「A、B及びCのうちの少なくとも一つを有するシステム」は、Aを単独で有し、Bを単独で有し、Cを単独で有し、AとBを有し、AとCを有し、BとCを有し、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定されない)。「A、B又はCなどのうちの少なくとも一つ」と類似するという表現を用いる場合、一般的には当業者が一般的に該表現の意味を理解して解釈すべきである(例えば、「A、B又はCのうちの少なくとも一つを有するシステム」は、Aを単独で有し、Bを単独で有し、Cを単独で有し、AとBを有し、AとCを有し、BとCを有し、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定されない)。
本開示の実施例は、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体を提供する。該ビデオストリーム処理方法は、取得過程、第一決定過程、第二決定過程、マッチング過程及びプッシュ過程を含むことができる。取得過程において、一つのライブイベントに対するマルチチャンネルビデオストリームを取得する。第一決定過程において、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定する。クライアントからのビデオ要求メッセージに応答し、第二決定過程を行い、該クライアントの特徴情報を決定する。その後に、マッチング過程においてマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに対するマッチング程度を取得する。マルチチャンネルビデオストリームのそれぞれの該クライアントに対するマッチング程度に基づいて、プッシュ過程を行うことができ、それによりマルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。
インターネット技術及びスマートモバイル端末装置の発展に伴い、様々なインターネット製品は人々の仕事、生活に多くの便利及び面白さをもたらす。近年、様々なビデオライブのためのライブプラットフォームが次々と現れ、ビデオライブは人々に、よりリアルタイムで興趣性を有する視聴体験及びソーシャル体験をもたらすことができる。ライブ需要の多様性に鑑み、複数のカメラ位置かつ多角度のライブはライブ内容を豊富にし、ライブシーンの雰囲気を盛り上げることができる。一般的に、同一のライブイベントに対して、マルチチャンネルビデオストリーム、例えば異なる撮像カメラ位置から撮像されたマルチチャンネルビデオストリーム、ライブシーンにおける異なるターゲットを撮像して得られたマルチチャンネルビデオストリーム等が存在することができる。
図1は、本開示の実施例に係るビデオストリームの処理方法及び装置を適用可能な例示的なシステムアーキテクチャ100を概略的に示す。注意すべきものとして、図1に示すのは、本開示の実施例のシステムアーキテクチャを適用可能な例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は他の装置、システム、環境又はシーンに用いることができないことを意味するものではない。
図1に示すように、該実施例に係るシステムアーキテクチャ100は、複数の端末装置110、ネットワーク120及び放送サーバ130を含むことができる。ここで、端末装置110は、例えばデスクトップコンピュータ、携帯式コンピュータ、スマートフォン、タブレットコンピュータ等の様々な端末装置であってもよく、ここで制限しない。端末装置110にライブクライアント又はライブアプレットがインストールされてもよい。放送サーバ130は、一定の計算能力を有する様々な電子機器であってもよく、ここで制限しない。放送サーバ130は、同じライブイベントに対する、ビデオストリーム1~ビデオストリームNというマルチチャンネルビデオストリームを取得することに用いられ、該マルチチャンネルビデオストリームに基づいて端末装置110に対してビデオストリームのプッシュ制御を行うことにより、端末装置110は、ライブクライアント又はライブアプレットによりライブ画面を再生する。本例においてNは2より大きい整数である。
一つの処理方式では、放送サーバ130は、複数の端末装置110に対して統一的なプッシュ制御ポリシーを採用する。例えば、ライブ開始時刻から、t=0~t=5minの時間区間において、複数の端末装置110にいずれもビデオストリーム3をプッシュする。t=6minの時に、放送切替を行い、t=6min~t=15minの時間区間において、複数の端末装置110にいずれもビデオストリーム7をプッシュする。このような処理方式に基づいて、放送サーバ130は、複数の端末装置110に対して統一的なプッシュ及び切替を行うことにより、複数の端末装置110は、同一時間で再生されたライブ画面が同じである。しかしながら、異なるクライアントは、ユーザの異なり、端末装置の異なり等の差異により、同じライブイベントに対して異なる再生需要を有し、上記処理方式は、異なる端末装置に対してカスタマイズビデオストリームプッシュを行うことができず、異なるクライアントのカスタマイズライブの需要に合致しない。
本開示の実施例によれば、ビデオストリーム処理方法を提供する。以下、図例により該方法を例示的に説明する。注意すべきものとして、以下の方法における各操作の番号は、該操作の表示のみとして説明され、該各操作の実行順序を示すものと見なされるべきではない。明確に指摘しない限り、該方法は、示された順序に応じて実行する必要がない。
図2は、本開示の実施例に係るビデオストリーム処理方法のフローチャートを模式的に示し、該ビデオストリーム処理方法は、例えば図1に示された放送サーバ側で実行することができる。
図2に示すように、該方法は操作S210~操作S250を含むことができる。
操作S210において、一つのライブイベントに対するマルチチャンネルビデオストリームを取得する。
例示的には、例えば試合のライブ、ゲームのライブ、グルメのライブなどのいずれかの具体的なライブイベントにおいて、マルチチャンネルビデオストリームは、異なる撮像カメラ位置から該ライブイベントにおける同一の目標対象を撮像して取得することができ、異なる撮像カメラ位置から該ライブイベントにおける異なる目標対象を撮像して取得することもできる。例えば、マルチチャンネルビデオストリームは、同一の目標対象に対する遠距離撮像ビデオストリームおよび近距離撮像ビデオストリームを含むことができ、マルチチャンネルビデオストリームは、第一撮像カメラ位置を利用して第一目標対象を撮像するビデオストリームと第二撮像カメラ位置を利用して第二目標対象を撮像するビデオストリームなどを含むことができる。
操作S220において、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定する。
例示的には、本操作S220は、所定の一種又は複数種の方式により一つ又は複数の次元での各チャンネルのビデオストリームの特徴情報を取得することができる。例えば、物理的視角次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば物理的視角次元での異なる特徴値によりパノラマ、近距離、遠距離などの情報を表示することができる;目標位置次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば目標位置次元での異なる特徴値により、顔、手、脚部などの情報を表示することができる;目標内容次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば目標内容次元での異なる特徴値により、服装、グルメ、女性、男性などの情報を表示することができる。実際の需要に応じてビデオストリームの特徴情報の特徴次元を設定することができ、かついずれか一つの特徴次元でさらに複数のサブ次元に分割することができ、それにより小さい粒度からビデオストリームの特徴情報を説明する。
操作S230において、クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する。
例示的には、クライアントは、ビデオライブ機能を有する様々なアプリケーションクライアント又は軽量アプリケーションクライアントであってもよい。軽量アプリケーションクライアントは、アプレットを例とし、複数のアプレットを一つのアプリケーションに統合して様々なサービスを実現することができる。ビデオライブの流行に伴い、アプレットライブも大量に出現する。本開示の実施例に係るビデオストリーム処理は、アプレットライブシーンに適用することができる。放送サーバは、クライアントからのビデオ要求メッセージを受信した後に該クライアントに対するビデオストリームプッシュ処理操作を開始する。この時に一つ又は複数の次元での該クライアントの特徴情報を決定する必要があり、該一つ又は複数の次元の特徴情報は例えば該クライアントのユーザの属性情報、ユーザの行動特徴情報、ユーザの好み情報、該クライアントの所在する端末装置の属性情報、端末装置の配置情報、端末装置の性能情報などを示すことができ、後続の各ビデオストリームの特徴情報とマッチングするために用いられる。
操作S240において、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する。
例示的には、ビデオストリーム1~ビデオストリームNを取得した場合、クライアントAからのビデオ要求メッセージを受信した後に、ビデオストリーム1の特徴情報をクライアントAの特徴情報とマッチングすることにより、ビデオストリーム1のクライアントAに関するマッチング程度M(1、A)を取得する;ビデオストリーム2の特徴情報をクライアントAの特徴情報とマッチングすることにより、ビデオストリーム2のクライアントAに関するマッチング程度M(2、A)を取得する;このように類推して、マルチチャンネルビデオストリームのそれぞれの該クライアントAに関するマッチング程度{M(1、A)、M(2、A)、…、M(N、A)}を取得することができる。ここで、いずれかの一つのチャンネルのビデオストリームのクライアントAに対するマッチング程度は、該チャンネルのビデオストリームとクライアントAの特徴情報との間の適合程度を示すために用いられ、マッチング程度が高いほどビデオストリームとクライアントとが適合になる。
操作S250において、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。
例示的には、クライアントAに対して、所定の閾値をプリセットすることができ、マルチチャンネルビデオストリームのそれぞれの該クライアントAに関するマッチング程度に、所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームから、最も高いマッチング程度を有するビデオストリームを該クライアントAに最も適合するビデオストリームとして選択し、該ビデオストリームを該クライアントAにプッシュする。又は、マルチチャンネルビデオストリームから、最も高いマッチング程度を有するビデオストリームを該クライアントAに最も適合するビデオストリームとして選択し、該ビデオストリームを該クライアントAにプッシュすることもできる。同様に、他の各クライアントに対して、同様に上記操作S230~操作S250を実行することにより、各クライアントと単相に適合するビデオストリームをそれぞれ決定することができる。
当業者であれば理解されるように、本開示の実施例に係るビデオストリーム処理方法は、同じライブイベントにマルチチャンネルビデオストリームが存在するシーンで、複数のクライアントのうちの各クライアントに対して、それぞれ各チャンネルのビデオストリームと該クライアントの特徴情報をマッチングすることにより、マルチチャンネルビデオストリームのそれぞれと該クライアントとの間の適合程度を決定する。それによりマルチチャンネルビデオストリームから該クライアントに最も適合するビデオストリームを選択して該クライアントにプッシュすることができる。本開示の実施例の解決手段によれば、異なるクライアントに対するカスタマイズビデオストリームプッシュを実現することができ、異なるクライアントがユーザの異なり、端末装置の異なり等による同一ライブイベントに対する異なる再生需要を満たす。
本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は少なくとも一つのビデオラベルを含む。以下、図3A、図3B及び図3Cを参照してビデオストリームの特徴情報の取得過程を例示的に説明する。
図3Aは、本開示の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示し、上記操作S220の一実施形態を例示的に説明するために用いられる。
図3Aに示すように、放送サーバ330は、N個の撮像装置340からのビデオストリーム1~ビデオストリームNというN個のチャンネルのビデオストリーム341を受信し、該N個のチャンネルのビデオストリームは、同じライブイベントに対して撮像して得られ、Nは2より大きい整数である。N個の撮像装置340のうちの各撮像装置340に対して、1番目の撮像装置340を例にして、自身が撮像して得られたビデオストリーム1を放送サーバ330にアップロードする場合、さらにビデオストリーム1の撮像カメラ位置情報342を一括して放送サーバにアップロードする。本開示の実施例によれば、放送サーバ330は上記ビデオストリーム1及びビデオストリーム1の撮像カメラ位置情報342を取得した後、ビデオストリーム1の撮像カメラ位置情報342に基づいて、ビデオストリーム1の第一ビデオラベルを決定し、該第一ビデオラベルはビデオストリーム1を撮像する物理的視角を示すために用いられる。第一ビデオラベルは、キー値ペア(key-value)の形式で表すことができ、例えば、ビデオストリーム1の第一ビデオラベルは、x=101として表すことができ、ここで、「x」は、第一ビデオラベルの唯一識別子(ID)とし、数値「101」はビデオストリーム1の撮像カメラ位置情報が「近距離」であることを示す。同様に、他の各チャンネルのビデオストリームに対していずれも上記した第一ビデオラベルを決定する過程を実行することができる。
例示的には、撮像装置340によりアップロードされた撮像カメラ位置情報342のデータフォーマットがビデオラベルを満たす場合に、撮像カメラ位置情報342を対応的なビデオストリームの第一ビデオラベルとすることができる。撮像装置340によりアップロードされた撮像カメラ位置情報342のデータフォーマットがビデオラベルフォーマットを満たさない場合に、例えば以下の方式で第一ビデオラベルを決定することができる。放送サーバ側ではビデオラベルライブラリ331をプリセットすることができ、ビデオラベルライブラリ331に大量のプリセットされた候補ビデオラベルを含むことができ、実際の需要に応じて、候補ビデオラベルは様々な粒度に応じて設定することができる。
図3Bは、本開示の実施例に係るビデオラベルライブラリの概略図を概略的に示す。図3Bに示す例において、ビデオラベルライブラリ331は、「パノラマ」、「近距離」、「遠距離」等という候補ビデオラベルを含むことができる。ビデオストリーム1を例として、ビデオストリーム1の撮像カメラ位置情報342とビデオラベルライブラリ331における各候補ビデオラベルとの間の類似度を計算し、類似度が第一閾値を超える候補ビデオラベルをビデオストリーム1の第一ビデオラベルとして選択することができる。
図3Aに示す実施例によれば、各チャンネルのビデオストリームの少なくとも一つのビデオラベルにビデオストリームの撮像カメラ位置情報を示すための第一ビデオラベルを含むことができ、それにより後続にクライアントとのマッチング過程を行う時、クライアントの視聴視角に対する異なる好みを考慮することができる。例えばいくつかのクライアントのユーザが遠隔視聴画角に好み、他のクライアントのユーザが近距離視聴画角等に好み、それによりこれらの異なる好みを有するクライアントに対して異なる第一ビデオラベル付きのビデオストリームを選択することができる。
図3Cは、本開示の他の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示し、上記操作S220の他の実施形態を例示的に説明するために用いられる。
図3Cに示すように、ビデオストリーム1を例として、以下の方式で該ビデオストリームの特徴情報を決定することができる。例示的には、該ビデオストリーム1から少なくとも一つのフレームの画像3411を抽出することができ、例えばプリセットされた頻度に応じて抽出することができる。次に、抽出された少なくとも一つのフレームの画像3411に基づいて、該ビデオストリーム1の内容情報3412を決定する。次に、該ビデオストリーム1の内容情報3412に基づいて、ビデオストリーム1の第二ビデオラベルを決定し、該第二ビデオラベルは該ビデオストリーム1の撮像内容を示すために用いられ、例えば撮像目標の位置、撮像目標の内容等を含む。第二ビデオラベルは、キー値ペアの形式で表すことができる。同様に、他の各チャンネルのビデオストリームに対していずれも上記した第二ビデオラベルを決定する過程を実行することができる。
例示的には、以下の方式で第二ビデオラベルを決定することができる。ビデオストリームから少なくとも一つのフレームの画像を抽出した後、例えば目標検出(object detection)アルゴリズム(例えばFaster R-CNNアルゴリズムなど)を利用して該少なくとも一つのフレームの画像を検出することにより、その中に含まれる目標対象の数、種類及び位置などの情報を決定し、ビデオストリームの内容情報とする。図3Bに示す例において、ビデオラベルライブラリ331はさらに「女性」、「男性」、「猫」等という候補ビデオラベルを含むことができる。ビデオストリーム1を例として、ビデオストリーム1の内容情報3412とビデオラベルライブラリ331における各候補ビデオラベルとの間の第一類似度を計算し、第一類似度が第二閾値を超える候補ビデオラベルをビデオストリーム1の第二ビデオラベルとして選択することができる。
図3Cに示す実施例によれば、各チャンネルのビデオストリームの少なくとも一つのビデオラベルにビデオストリームの撮像カメラ位置情報を示すための第二ビデオラベルを含むことができ、それにより後続にクライアントとのマッチングを行う過程において、クライアントの視聴内容に対する異なる好みを考慮することができる。例えばいくつかのクライアントのユーザが女性を見ることに好み、他のクライアントのユーザが男士等を見ることに好み、それによりこれらの異なる好みを有するクライアントに対して異なる第二ビデオラベルを有するビデオストリームを選択することができる。該過程はビデオラベルの次元を増加させるだけでなく、図3Aに示す撮像カメラ位置情報に基づいてビデオラベルに存在する可能性のある誤差を決定することに較正することができる。
図4は、本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示し、操作S230によりクライアントの特徴情報を決定する実施形態を例示的に説明するために用いられる。
図4に示すように、クライアントAを例として、操作S230でクライアントAの特徴情報を決定する過程は操作S231~操作S237を含むことができる。
操作S231において、クライアントAからのカスタマイズ配置情報を受信する。
例示的には、カスタマイズ配置情報は、ユーザの選択又は入力操作に基づいて生成することができる。例えば、ライブイベントにおいて、放送サーバはクライアントAからのビデオ要求メッセージを受信した後、クライアントAに複数の選択肢を表示するように指示することができ、複数の選択肢は、複数の撮像カメラ位置情報、複数の目標内容情報、複数の目標部位情報等を含み、それによりユーザは自身の現在のライブイベントに対する視聴要求に基づいて選択することができる。クライアントAは、ユーザの複数の選択肢に対する単一選択又は複数選択に応答し、カスタマイズ配置情報を生成しかつ放送サーバにアップロードする。又は、放送サーバは、クライアントAに提示情報を表示するように指示することができ、該提示情報は、ユーザに現在のライブイベントに対する視聴嗜好を主動的に入力するように提示することに用いられる。クライアントAは、ユーザの入力内容に基づいてカスタマイズ配置情報を生成しかつ放送サーバにアップロードする。
操作S232において、上記カスタマイズ配置情報を成功に受信したか否かを決定する。そうであれば、操作S233を実行する。そうでなければ、操作S235を実行する。
例示的には、上記カスタマイズ配置情報を成功に受信したか否かを決定する過程は、例えば、所定の期間内にカスタマイズ配置情報を受信したか否かを決定することを含むことができる。
操作S233において、カスタマイズ配置情報に基づいて、クライアントAに配置ラベルが存在するか否かを決定する。そうであれば、操作S234を実行する。そうでなければ、操作S235を実行する。
本開示の実施例によれば、図3Aに示すようなプリセットビデオラベルライブラリを利用してクライアントAに配置ラベルが存在するか否かを決定することができる。例えば、カスタマイズ配置情報を取得した後、該カスタマイズ配置情報とプリセットビデオラベルライブラリのうちの複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算する。第三閾値より大きい第二類似度が存在すれば、カスタマイズ配置情報とプリセットビデオラベルライブラリとのマッチングが成功したことを確定し、クライアントAに配置ラベルが存在することを示す。そうでなければカスタマイズ配置情報とプリセットビデオラベルライブラリとのマッチングが失敗したことを確定し、クライアントAに配置ラベルが存在しないことを示す。
操作S234において、上記第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、クライアントAの少なくとも一つの配置ラベルとする。このときクライアントAの少なくとも一つの配置ラベルをクライアントAの特徴情報とする。
操作S235において、クライアントAのユーザ属性データ及びユーザ行動データを取得する。
例示的には、ユーザ属性データは例えばユーザ性別、ユーザ年齢等を含み、ユーザ行動データは例えばユーザ履歴視聴ライブの行動データ、ユーザがライブイベントに対していいね、プレゼント、お気に入り、コイン等の行動を行うデータ等を含むことができる。
操作S236において、ユーザ属性データ及びユーザ行動データに基づいて、クライアントAが属するユーザカテゴリを決定する。
例示的には、ユーザ属性データ及びユーザ行動データに基づいてユーザ画像を構築することができ、それによりユーザが属するユーザカテゴリを決定する。ユーザカテゴリは、一つ又は複数の次元で区画されてもよく、例えば年代分割、地域分割、垂直業界領域分割、視角選択分割などを含む。理解できるように、同じユーザカテゴリに属するユーザは一般的に同じ又は類似のライブ視聴嗜好を有する。
操作S237において、クライアントAが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定する。このときクライアントAの少なくとも一つのユーザラベルをクライアントAの特徴情報とする。
本開示の実施例によれば、図3Aに示すように、放送サーバ330は、さらに、ユーザラベルライブラリ332をプリセットすることができ、ユーザラベルライブラリ332は上記複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むことができる。例えば、第一ユーザカテゴリは少なくとも一つの候補ユーザラベルを含み、第二ユーザカテゴリは少なくとも一つの候補ユーザラベルを含み、このように類推する。上記クライアントAが属するユーザカテゴリに基づいて、クライアントAの少なくとも一つのユーザラベルを決定する過程は、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとすることを含むことができる。
理解できるように、上記操作S231~操作S234に従って、優先的にユーザが自主的に設定したカスタマイズ配置情報に基づいてクライアントの特徴情報を決定し、クライアントのユーザのライブ視聴嗜好を直接、正確に決定することができる。カスタマイズ配置情報を受信しないか又はカスタマイズ配置情報がマッチングに成功できない場合、上記操作S235~操作S237によれば、履歴累積のユーザ属性データ及びユーザ行動データに基づいてユーザ画像を行うことができ、それによりユーザ画像に関連するユーザラベルを決定し、クライアントの特徴情報とする。他の例において、以上の二種類のユーザラベルの取得方式を同時に実行し、取得されたユーザラベルを利用してクライアントの特徴情報を共同で示すこともできる。
図5は、本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示し、操作S240においてマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントの特徴情報とマッチングする実施形態を例示的に説明するために用いられる。
図5に示すように、クライアントAとビデオストリーム1を例として、操作S240でマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントAの特徴情報とマッチングする過程は、操作S241~操作S244を含むことができる。
操作S241において、ビデオストリーム1の少なくとも一つのビデオラベルのうちの各ビデオラベルと該クライアントAの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定する。
本開示の実施例によれば、図3Aに示すように、放送サーバ330はさらにラベル関連ライブラリ333をプリセットすることができる。ラベル関連ライブラリ333は、複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むことができる。本操作S241は、ラベル関連ライブラリに基づいて、上記各ビデオラベルとクライアントAの各ユーザラベルとの間の関連重みを取得することができる。
例えば、一つのチャンネルのビデオストリームは、ビデオラベル「火鍋」を含み、該ビデオラベルは以下のように表示することができる:z1=10001、ここで「z1」はビデオカテゴリ「グルメ」の唯一の識別子とし、数値「10001」は該ビデオストリームの撮像対象内容が「火鍋」であることを示す。クライアントAはユーザラベル「女性」及び「四川」を含み、それぞれ以下のように表示することができる:z2=001及びz3=0101であり、ここで「z2」は「性別」の唯一の識別子とし、「z3」は「地域」の唯一の識別子とし、数値「001」は該クライアントのユーザが「女性」であることを示し、数値「0101」は該クライアントのユーザ地域が「四川」であることを示す。本開示の実施例によれば、ラベル関連ライブラリに複数のビデオカテゴリ(例えばゲーム、グルメ、アニメなど)が含まれ、各ビデオカテゴリは複数のビデオラベル(例えばグルメのカテゴリでビデオラベル「火鍋」を含む)を含み、各ビデオラベルはそれぞれ複数のユーザラベルのそれぞれに相応的な関連重みを有する。ビデオラベル「火鍋」を例とし、それとユーザラベル「女性」との間の関連重みはaであり、ユーザラベル「四川」との間の関連重みはbである。ビデオラベル「火鍋」とユーザラベル「女性」との間の関連重みは、統計的な意味で女性ユーザの火鍋ライブに対する好み程度を示すために用いられ、ビデオラベル「火鍋」とユーザラベル「四川」との間の関連重みは統計的意味で四川ユーザの火鍋ライブに対する好み程度を示すために用いられる。
操作S242において、上記関連重みに基づいて各ビデオラベルの総合重みを決定する。
本開示の実施例によれば、クライアントAの各ユーザラベルはユーザ重みを有することができ、該ユーザラベルと該クライアントAとの関連程度を示す。例えばユーザラベル「女性」のユーザ重みはαであり、ユーザラベル「四川」のユーザ重みはβである。αとβによって上記関連重みaと関連重みbを利用して加重加算を行うことにより、ビデオラベル「火鍋」の総合重みを得ることができる。
操作S243において、ビデオストリーム1の少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得する。
例えば、ビデオストリーム1のビデオラベル「火鍋」のプリセット評価はγであり、ビデオラベル「火鍋」とビデオストリーム1との間の関連程度を示すために用いられる。
操作S444において、それぞれビデオストリーム1の少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリーム1の少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリーム1のクライアントAに関するマッチング程度を取得する。
同様に、上記実施形態によれば他の各チャンネルのビデオストリームのクライアントAに関するマッチング程度を得ることができ、それにより該マッチング程度に基づいてNチャンネルのビデオストリームからクライアントAに最も適合するビデオストリームを決定することができる。他のクライアントのビデオストリーム処理過程について同様に、ここでは説明を省略する。上記マッチング過程は、ビデオストリームの各ビデオラベル及びクライアントの各ユーザラベルの各特徴次元での関連関係を十分に融合し、それにより計算されたマッチング程度はクライアントとビデオストリームとの間の適合程度を正確、全面的に、総合的に反映することができる。クライアントに、より適合的なビデオストリームを選択してプッシュすることができる。図3Aに示す例において、本開示の実施例に係るビデオストリーム処理方法によれば、放送クライアント330はビデオストリーム1~ビデオストリームNからビデオストリームiを選択して第一クライアント311にプッシュし、放送クライアント330はビデオストリーム1~ビデオストリームNからビデオストリームjを選択して第二クライアント312にプッシュし、それにより異なるクライアントに対するカスタマイズビデオストリームのプッシュを実現し、i及びjはいずれも1以上N以下の整数であり、iとjは同じであってもよく異なってもよい。上記過程は半教師線形機械学習方法を採用してビデオストリームの特徴重みの加重計算を行い、それによりビデオストリームとクライアントとの間のマッチング程度を決定する。理解できるように、他の方式の機械学習アルゴリズムもマッチング程度の計算を行うことができ、ここで制限しない。
さらに、クライアントのライブ需要が時間に伴って変化する可能性があることを考慮し、例えばユーザが一つのチャンネルのビデオストリームに対して視覚疲労を生成し、ユーザがゲームライブ中に視角を変換して全体のゲーム進度を見る必要があるなどの状況を考慮し、本開示の実施例はさらにビデオストリームのプッシュを切り替える処理過程を提供する。一つの場合、各チャンネルのビデオストリームのビデオラベルに有効時長を設定することができ、さらに各クライアントのユーザラベルに有効時長を設定することができる。クライアントAを例として、一つのチャンネルのビデオストリーム1をクライアントAにプッシュした後、ビデオストリームのビデオラベルの有効時長に達する時、又はクライアントAのユーザラベルの有効時長に達する時、各ビデオストリームのビデオラベルとクライアントAのユーザラベルを改めて決定し、かつマッチング選択の過程を改めて行う必要がある。ビデオラベルを取得する過程、ユーザラベルを取得する過程及びマッチング選択の過程はいずれも前文に詳細に説明され、ここでは説明を省略する。別の場合に、切替時間を直接設定することができ、切替時間に達すると、上記ビデオストリーム処理過程を改めて実行する必要がある。さらに一つの場合に、クライアントの所定のインタフェースによりユーザが所定のトリガ操作を実行するか否かを監視し、そうであれば、ユーザがビデオストリームを切り替えることを望むと決定し、前記実施例に基づいてビデオストリーム処理過程を改めて実行することができる。
図6は、本開示の実施例に係るビデオストリーム処理装置のブロック図である。
図6に示すように、ビデオストリーム処理装置600は、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650を含むことができる。
取得モジュール610は、ライブイベントに対するマルチチャンネルビデオストリームを取得するために用いられる。
第一決定モジュール620は、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するために用いられる。
第二決定モジュール630は、クライアントからのビデオ要求メッセージに応答し、該クライアントの特徴情報を決定するために用いられる。
マッチングモジュール640は、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得するために用いられる。
プッシュモジュール650は、マルチチャンネルビデオストリームのそれぞれの該クライアントのマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュするために用いられる。
説明すべきものとして、装置部分実施例における各モジュール/ユニット/サブユニットなどの実施形態、解決しようとする技術課題、実現した機能、及び達成した技術的効果はそれぞれ方法部分実施例における各対応ステップの実施形態、解決しようとする技術課題、実現した機能、及び達成した技術的効果と同じであるか又は類似し、ここでは説明を省略する。
本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちの任意の複数、又はそのうちの任意の複数の少なくとも一部の機能は一つのモジュールにおいて実現することができる。本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか一つ又は複数を複数のモジュールに分割して実現することができる。本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか一つ又は複数は少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路(ASIC)に実現されてもよく、又は回路に集積又はパッケージングされた任意の他の合理的な方式のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちの一つ又は複数は少なくとも部分的にコンピュータプログラムモジュールとして実現され、該コンピュータプログラムモジュールが実行される場合、相応的な機能を実行することができる。
例えば、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650のうちの任意の複数は一つのモジュールに統合して実現されてもよく、又はそのうちのいずれか一つのモジュールは複数のモジュールに分割されてもよい。又は、これらのモジュールのうちの一つ又は複数のモジュールの少なくとも一部の機能は他のモジュールの少なくとも一部の機能と結合されてもよく、かつ一つのモジュールにおいて実現されてもよい。本開示の実施例によれば、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650のうちの少なくとも一つは少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路(ASIC)として実現されてもよく、又は回路に集積又はパッケージングされた任意の他の合理的な方式等のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650のうちの少なくとも一つは少なくとも部分的にコンピュータプログラムモジュールとして実現されてもよく、該コンピュータプログラムモジュールが実行される場合、相応的な機能を実行することができる。
図7は、本開示の実施例に係る上記方法を実現することに適するコンピュータ機器のブロック図を概略的に示す。図7に示すコンピュータ機器は、一例に過ぎず、本開示の実施例の機能及び使用範囲にいかなる制限を与えない。
図7に示すように、本開示の実施例に係るコンピュータ機器700は、プロセッサ701を含み、それはリードオンリメモリ(ROM)702に記憶されたプログラム又は記憶部分708からランダムアクセスメモリ(RAM)703にロードされたプログラムに基づいて様々な適切な動作及び処理を実行することができる。プロセッサ701は例えば汎用マイクロプロセッサ(例えばCPU)、命令セットプロセッサ及び/又は関連チップセット及び/又は専用マイクロプロセッサ(例えば、専用集積回路(ASIC))などを含むことができる。プロセッサ701はさらに用途をキャッシュするためのボードメモリを含むことができる。プロセッサ701は、本開示の実施例に係る方法の流れに応じて異なる動作を実行する単一処理ユニットであってもよいし、複数の処理ユニットであってもよい。
RAM 703には、機器700の操作に必要な様々なプログラム及びデータが記憶される。プロセッサ701、ROM 702、およびRAM 703は、バス704により相互に接続されている。プロセッサ701は、ROM 702および/またはRAM 703におけるプログラムを実行することにより、本開示の実施例に係る方法の流れに係る各種の操作を実行する。なお、前記プログラムはROM 702及びRAM 703以外の一つ又は複数のメモリに記憶されてもよい。プロセッサ701は、前記一つ又は複数のメモリに記憶されたプログラムを実行することにより、本開示の実施例に係る方法の流れに従った各種の操作を実行してもよい。
本開示の実施例によれば、機器700はさらに入力/出力(I/O)インタフェース705を含み、入力/出力(I/O)インタフェース705もバス704に接続される。機器700はさらに、キーボード、マウス等を含む入力部分706と、陰極線管(CRT)、液晶ディスプレイ(LCD)等及びスピーカ等を含む出力部分707と、ハードディスク等を含む記憶部分708と、LANカード、モデム等のネットワークインタフェースカードを含む通信部分709と、というI/Oインタフェース705に接続された部品のうちの一つ又は複数を含むことができる。通信部分709は、インターネットなどのネットワークを介して通信処理を行う。ドライバ710は、必要に応じてI/Oインタフェース705にも接続されている。リムーバブル媒体711は、例えば磁気ディスク、光学ディスク、光磁気ディスク、半導体メモリ等であり、必要に応じてドライブ710にインストールされ、それによりそれから読み出されたコンピュータプログラムが必要に応じて記憶部分708にインストールされる。
本開示の実施例によれば、本開示の実施例に係る方法フローがコンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読記憶媒体に載置されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信部分709を介してネットワークからダウンロード及びインストールされ、及び/又はリムーバブル媒体711からインストールされる。該コンピュータプログラムがプロセッサ701により実行される時、本開示の実施例のシステムに限定された上記機能を実行する。本開示の実施例によれば、上記システム、機器、装置、モジュール、ユニットなどはコンピュータプログラムモジュールにより実現することができる。
本開示はさらにコンピュータ可読記憶媒体を提供し、該コンピュータ可読記憶媒体は上記実施例に記載の機器/装置/システムに含まれるものであってもよい;単独で存在し、該機器/装置/システムに組み込まれていなくてもよい。上記コンピュータ可読記憶媒体は一つ又は複数のプログラムを担持し、上記一つ又は複数のプログラムが実行される時、本開示の実施例に係る方法を実現する。
本開示の実施例によれば、コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよく、例えば、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能なプログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、携帯型コンパクト磁気ディスクリードオンリメモリ(CD-ROM)、光記憶デバイス、磁気メモリデバイス、又は上記任意の適切な組み合わせを含むがそれらに限定されない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形の媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスの使用又はそれと組み合わせて使用されてもよい。例えば、本開示の実施例によれば、コンピュータ可読記憶媒体は上記ROM 702及び/又はRAM 703及び/又はROM 702及びRAM 703以外の一つ又は複数のメモリを含むことができる。
図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点において、フローチャート又はブロック図における各ブロックは一つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、上記モジュール、プログラムセグメント、又はコードの一部は一つ又は複数の所定の論理機能を実現するための実行可能な命令を含む。注意すべきものとして、いくつかの代替の実現において、ブロックにマークされた機能は図面にマークされたことと異なる順序で発生することができる。例えば、二つの連続的に示されるブロックは、実際に基本的に並行して実行されてもよく、それらは逆の順序で実行されてもよく、これは係る機能に依存する。注意すべきこととして、ブロック図又はフローチャートにおける各ブロック、及びブロック図又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ指令の組み合わせで実現されてもよい。
当業者であれば理解されるように、本開示の各実施例及び/又は請求項に記載の特徴は様々な組み合わせ及び/又は結合を行うことができ、このような組み合わせ又は結合が本開示に明確に記載されていなくてもよい。特に、本開示の精神及び教示から逸脱することなく、本開示の各実施例及び/又は請求項に記載の特徴は様々な組み合わせ及び/又は結合を行うことができる。これらの組み合わせ及び/又は結合は、全て本開示の範囲に属するものとする。
以上、本開示の実施の形態について説明した。しかし、これらの実施例は説明の目的のためだけであり、本開示の範囲を限定するものではない。以上に各実施例をそれぞれ説明したが、各実施例における措置を有利に組み合わせて使用することができないことを意味するものではない。本開示の範囲は、添付の特許請求の範囲およびその均等物によって限定される。本開示の範囲から逸脱することなく、当業者は様々な代替及び修正を行うことができ、これらの代替及び修正はいずれも本開示の範囲内にあるべきである。
本願は、出願日が2020年6月28日であり、出願番号がCN202010600691.4である中国特許出願の優先権を請求し、その内容を併せてここに参考とする。
本開示は、クラウドプラットフォーム分野に関し、より具体的には、ビデオストリーム処理方法、装置、コンピュータ機器、媒およびプログラムに関する。
インターネット技術及びスマート移動端末機器の発展に伴い、様々なインターネット製品は、人々の仕事、生活に多くの便利及び面白さをもたらす。近年、様々なビデオライブのためのライブプラットフォームが次々と現れ、ビデオライブは人々に、よりリアルタイムで、興趣性を有する視聴体験及びソーシャル体験をもたらすことができる。ライブ需要の多様性に鑑み、複数のカメラ位置かつ多角度のライブはライブ内容を豊富にし、ライブシーンの雰囲気を盛り上げることができる。一般的に、同一のライブイベントに対して、マルチチャンネルビデオストリーム、例えば異なる撮像カメラ位置から撮像されたマルチチャンネルビデオストリーム、ライブシーンにおける異なるターゲットを撮像して得られたマルチチャンネルビデオストリーム等が存在することができる。マルチチャンネルビデオストリームの放送制御は、ユーザのライブ視聴体験に直接的に影響を与える。
これに鑑みて、本開示は、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体を提供する。
本開示の一態様は、ビデオストリーム処理方法を提供し、一つのライブイベントに対するマルチチャンネルビデオストリームを取得することと、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することと、を含む。クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する;マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する;かつ、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。
本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は、少なくとも一つのビデオラベルを含み、上記少なくとも一つのビデオラベルは第一ビデオラベルを含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得することと、各チャンネルのビデオストリームの撮像カメラ位置情報に基づいて、各チャンネルのビデオストリームの第一ビデオラベルを決定することと、を含む。
本開示の実施例によれば、上記少なくとも一つのビデオラベルはさらに第二ビデオラベルを含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出することと、各チャンネルのビデオストリームの少なくとも一つのフレームの画像に基づいて、各チャンネルのビデオストリームの内容情報を決定することと、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することと、さらに含む。
本開示の実施例によれば、上記方法は、複数の候補ビデオラベルを含むビデオラベルベースをプリセットすることをさらに含む。上記各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することは、各チャンネルのビデオストリームに対して、該ビデオストリームの内容情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第一類似度を計算することと、第一類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該ビデオストリームの第二ビデオラベルとすることと、を含む。
本開示の実施例によれば、上記クライアントの特徴情報を決定することは、該クライアントからのカスタマイズ配置情報を受信することと、カスタマイズ配置情報に基づいて、該クライアントの少なくとも一つの配置ラベルを決定し、該クライアントの特徴情報とすることと、を含む。
本開示の実施例によれば、上記方法は、複数の候補ビデオラベルを含むビデオラベルベースをプリセットすることをさらに含む。上記カスタマイズ配置情報に基づいて、クライアントの少なくとも一つの配置ラベルを決定することは、カスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算することと、第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該クライアントの少なくとも一つの配置ラベルとすることと、を含む。
本開示の実施例によれば、上記クライアントの特徴情報を決定することは、該クライアントのユーザ属性データ及びユーザ行動データを取得することと、ユーザ属性データ及びユーザ行動データに基づいて、該クライアントが属するユーザカテゴリを決定することと、該クライアントが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定することとを含む。
本開示の実施例によれば、上記方法は、複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることをさらに含む。上記クライアントが属するユーザカテゴリに基づいて、クライアントの少なくとも一つのユーザラベルを決定することは、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとすることを含む。
本開示の実施例によれば、上記方法は、複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることをさらに含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントの特徴情報とマッチングすることは、各チャンネルのビデオストリームに対して、ラベル関連付けライブラリに基づいて、該ビデオストリームの少なくとも一つのビデオラベルの各ビデオラベルと該クライアントの少なくとも一つのユーザラベルの各ユーザラベルとの間の関連重みを決定し、かつ該関連重みに基づいて各ビデオラベルの総合重みを決定することと、前記少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得することと、それぞれ該ビデオストリームの少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリームの少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリームの該クライアントに関するマッチング程度を取得することと、を含む。
本開示の実施例によれば、上記マルチチャンネルビデオストリームのそれぞれのクライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュすることは、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを該クライアントにプッシュすることを含む。
本開示の他の態様は、ビデオストリーム処理装置を提供し、取得モジュール、第一決定モジュール、第二決定モジュール、マッチングモジュール及びプッシュモジュールを含む。取得モジュールは、一つのライブイベントに対するマルチチャンネルビデオストリームを取得するために用いられる。第一決定モジュールは、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するために用いられる。第二決定モジュールは、クライアントからのビデオ要求メッセージに応答し、該クライアントの特徴情報を決定するために用いられる。マッチングモジュールは、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得するために用いられる。プッシュモジュールは、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュするために用いられる。
本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は少なくとも一つのビデオラベルを含み、上記少なくとも一つのビデオラベルは第一ビデオラベルを含む。第一決定モジュールは、マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得する;かつ、各チャンネルのビデオストリームの撮像カメラ位置情報に基づいて、各チャンネルのビデオストリームの第一ビデオラベルを決定するために用いられる第一配置サブモジュールを含む。
本開示の実施例によれば、上記少なくとも一つのビデオラベルはさらに第二ビデオラベルを含む。第一決定モジュールは、さらに、各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出する;各チャンネルのビデオストリームの少なくとも一つのフレームの画像に基づいて、各チャンネルのビデオストリームの内容情報を決定する;かつ、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定するために用いられる第一分析サブモジュールを含む。
本開示の実施例によれば、上記装置は、複数の候補ビデオラベルを含むビデオラベルライブラリをプリセットするプリセットモジュールをさらに含む。上記第一分析サブモジュールは、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することは、第一計算ユニットが各チャンネルのビデオストリームに対して、該ビデオストリームの内容情報と複数の候補ビデオラベルの各候補ビデオラベルとの間の第一類似度を計算するために用いられることと、第一選択ユニットが第一類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該ビデオストリームの第二ビデオラベルとするために用いられることと、を含む。
本開示の実施例によれば、第二決定モジュールは、該クライアントからのカスタマイズ配置情報を受信する;かつ、カスタマイズ配置情報に基づいて、該クライアントの少なくとも一つの配置ラベルを決定し、該クライアントの特徴情報とする第二配置サブモジュールを含む。
本開示の実施例によれば、上記装置は、複数の候補ビデオラベルを含むビデオラベルライブラリをプリセットするプリセットモジュールをさらに含む。上記第二配置サブモジュールがカスタマイズ配置情報に基づいて、クライアントの少なくとも一つの配置ラベルを決定することは、第二計算ユニットがカスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算するために用いられることと;第二選択ユニットが第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該クライアントの少なくとも一つの配置ラベルとするために用いられることと、を含む。
本開示の実施例によれば、第二決定モジュールは、第二分析サブモジュールを含み、該クライアントのユーザ属性データ及びユーザ行動データを取得するために用いられる;ユーザ属性データ及びユーザ行動データに基づいて、該クライアントが属するユーザカテゴリを決定する;かつ、該クライアントが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定するために用いられる。
本開示の実施例によれば、上記装置はさらにプリセットモジュールを含み、複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることに用いられる。第二分析サブモジュールがクライアントが属するユーザカテゴリに基づいて、クライアントの少なくとも一つのユーザラベルを決定することは、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとするために用いられる照会ユニットを含む。
本開示の実施例によれば、上記装置はさらにプリセットモジュールを含み、複数のビデオラベルのうちのいずれも一つのビデオラベルと複数のユーザラベルのうちのいずれも一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることに用いられる。マッチングモジュールは、各チャンネルのビデオストリームに対して、ラベル関連ライブラリに基づいて、該ビデオストリームの少なくとも一つのビデオラベルの各ビデオラベルと該クライアントの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定し、かつ該関連重みに基づいて各ビデオラベルの総合重みを決定するために用いられる決定サブモジュールと、前記少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得するために用いられる取得サブモジュールと、それぞれ該ビデオストリームの少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリームの少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリームの該クライアントに関するマッチング程度を取得するために用いられるマッチングサブモジュールと、を含む。
本開示の実施例によれば、プッシュモジュールは具体的にはマルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを該クライアントにプッシュするために用いられる。
本開示の他の態様はコンピュータ機器を提供し、メモリ、プロセッサ及びメモリに記憶されかつプロセッサに実行可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する時に上記のような方法を実現する。
本開示の他の態様はコンピュータ可読記憶媒体を提供し、コンピュータ実行可能な命令を記憶し、前記命令が実行される時に上記のような方法を実現する。
本開示の他の態様はコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ実行可能な命令を含み、前記命令が実行される時に上記のような方法を実現する。
本開示の実施例に係るビデオストリーム処理方法は同じライブイベントにマルチチャンネルビデオストリームが存在するシーンで、複数のクライアントの各クライアントに対して、それぞれ各チャンネルのビデオストリームと該クライアントの特徴情報をマッチングすることにより、マルチチャンネルビデオストリームのそれぞれと該クライアントとの間の適合程度を決定する。それによりマルチチャンネルビデオストリームから該クライアントに最も適合するビデオストリームを選択して該クライアントにプッシュすることができる。本開示の実施例の解決手段によれば、異なるクライアントに対するカスタマイズビデオストリームプッシュを実現することができ、異なるクライアントがユーザの異なり、端末装置の異なり等の差異による同一ライブイベントに対する異なる再生需要を満たす。
以下の図面を参照して本開示の実施例に対する説明により、本開示の上記及び他の目的、特徴及び利点はより明らかになる。
本開示の実施例に係るビデオストリーム処理方法及び装置を応用する例示的なシステムアーキテクチャを概略的に示す。 本開示の実施例に係るビデオストリーム処理方法のフローチャートを概略的に示す。 本開示の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示す。 本開示の実施例に係るビデオラベルライブラリの例示的な概略図を概略的に示す。 本開示の他の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示す。 本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示す。 本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示す。 本開示の実施例に係るビデオストリーム処理装置のブロック図を概略的に示す。 本発明の実施例に係るコンピュータ機器のブロック図を概略的に示す。
以下、図面を参照して本開示の実施例を説明する。しかし、理解すべきものとして、これらの説明は例示的なものだけであり、本開示の範囲を限定するものではない。以下の詳細な説明において、説明を容易にするために、多くの具体的な詳細を説明して本開示の実施例に対する全面的な理解を提供する。しかしながら、明らかに、一つ又は複数の実施例は、これらの具体的な詳細がない場合に実施されてもよい。また、以下の説明において、公知の構造及び技術の説明を省略することにより、本開示の概念を不必要に混同することを回避する。
ここで使用される用語は、具体的な実施例を説明するためだけであり、本開示を限定することを意図するものではない。ここで使用される用語「含む」、「包含」等は、前記特徴、ステップ、操作及び/又は部品の存在を示すが、一つ又は複数の他の特徴、ステップ、操作又は部品の存在又は追加を排除するものではない。
ここで使用される全ての用語(技術及び科学的用語を含む)は、当業者が一般的に理解する意味を有し、特に定義されない限りである。注意すべきものとして、ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈すべきであり、理想化又は厳格な方式で解釈されるべきではない。
「A、B及びCなどのうちの少なくとも一つ」と類似するという表現を用いる場合、一般的には当業者が一般的に該表現の意味を理解して解釈すべきである(例えば、「A、B及びCのうちの少なくとも一つを有するシステム」は、Aを単独で有し、Bを単独で有し、Cを単独で有し、AとBを有し、AとCを有し、BとCを有し、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定されない)。「A、B又はCなどのうちの少なくとも一つ」と類似するという表現を用いる場合、一般的には当業者が一般的に該表現の意味を理解して解釈すべきである(例えば、「A、B又はCのうちの少なくとも一つを有するシステム」は、Aを単独で有し、Bを単独で有し、Cを単独で有し、AとBを有し、AとCを有し、BとCを有し、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定されない)。
本開示の実施例は、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体を提供する。該ビデオストリーム処理方法は、取得過程、第一決定過程、第二決定過程、マッチング過程及びプッシュ過程を含むことができる。取得過程において、一つのライブイベントに対するマルチチャンネルビデオストリームを取得する。第一決定過程において、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定する。クライアントからのビデオ要求メッセージに応答し、第二決定過程を行い、該クライアントの特徴情報を決定する。その後に、マッチング過程においてマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに対するマッチング程度を取得する。マルチチャンネルビデオストリームのそれぞれの該クライアントに対するマッチング程度に基づいて、プッシュ過程を行うことができ、それによりマルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。
インターネット技術及びスマートモバイル端末装置の発展に伴い、様々なインターネット製品は人々の仕事、生活に多くの便利及び面白さをもたらす。近年、様々なビデオライブのためのライブプラットフォームが次々と現れ、ビデオライブは人々に、よりリアルタイムで興趣性を有する視聴体験及びソーシャル体験をもたらすことができる。ライブ需要の多様性に鑑み、複数のカメラ位置かつ多角度のライブはライブ内容を豊富にし、ライブシーンの雰囲気を盛り上げることができる。一般的に、同一のライブイベントに対して、マルチチャンネルビデオストリーム、例えば異なる撮像カメラ位置から撮像されたマルチチャンネルビデオストリーム、ライブシーンにおける異なるターゲットを撮像して得られたマルチチャンネルビデオストリーム等が存在することができる。
図1は、本開示の実施例に係るビデオストリームの処理方法及び装置を適用可能な例示的なシステムアーキテクチャ100を概略的に示す。注意すべきものとして、図1に示すのは、本開示の実施例のシステムアーキテクチャを適用可能な例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は他の装置、システム、環境又はシーンに用いることができないことを意味するものではない。
図1に示すように、該実施例に係るシステムアーキテクチャ100は、複数の端末装置110、ネットワーク120及び放送サーバ130を含むことができる。ここで、端末装置110は、例えばデスクトップコンピュータ、携帯式コンピュータ、スマートフォン、タブレットコンピュータ等の様々な端末装置であってもよく、ここで制限しない。端末装置110にライブクライアント又はライブアプレットがインストールされてもよい。放送サーバ130は、一定の計算能力を有する様々な電子機器であってもよく、ここで制限しない。放送サーバ130は、同じライブイベントに対する、ビデオストリーム1~ビデオストリームNというマルチチャンネルビデオストリームを取得することに用いられ、該マルチチャンネルビデオストリームに基づいて端末装置110に対してビデオストリームのプッシュ制御を行うことにより、端末装置110は、ライブクライアント又はライブアプレットによりライブ画面を再生する。本例においてNは2より大きい整数である。
一つの処理方式では、放送サーバ130は、複数の端末装置110に対して統一的なプッシュ制御ポリシーを採用する。例えば、ライブ開始時刻から、t=0~t=5minの時間区間において、複数の端末装置110にいずれもビデオストリーム3をプッシュする。t=6minの時に、放送切替を行い、t=6min~t=15minの時間区間において、複数の端末装置110にいずれもビデオストリーム7をプッシュする。このような処理方式に基づいて、放送サーバ130は、複数の端末装置110に対して統一的なプッシュ及び切替を行うことにより、複数の端末装置110は、同一時間で再生されたライブ画面が同じである。しかしながら、異なるクライアントは、ユーザの異なり、端末装置の異なり等の差異により、同じライブイベントに対して異なる再生需要を有し、上記処理方式は、異なる端末装置に対してカスタマイズビデオストリームプッシュを行うことができず、異なるクライアントのカスタマイズライブの需要に合致しない。
本開示の実施例によれば、ビデオストリーム処理方法を提供する。以下、図例により該方法を例示的に説明する。注意すべきものとして、以下の方法における各操作の番号は、該操作の表示のみとして説明され、該各操作の実行順序を示すものと見なされるべきではない。明確に指摘しない限り、該方法は、示された順序に応じて実行する必要がない。
図2は、本開示の実施例に係るビデオストリーム処理方法のフローチャートを模式的に示し、該ビデオストリーム処理方法は、例えば図1に示された放送サーバ側で実行することができる。
図2に示すように、該方法は操作S210~操作S250を含むことができる。
操作S210において、一つのライブイベントに対するマルチチャンネルビデオストリームを取得する。
例示的には、例えば試合のライブ、ゲームのライブ、グルメのライブなどのいずれかの具体的なライブイベントにおいて、マルチチャンネルビデオストリームは、異なる撮像カメラ位置から該ライブイベントにおける同一の目標対象を撮像して取得することができ、異なる撮像カメラ位置から該ライブイベントにおける異なる目標対象を撮像して取得することもできる。例えば、マルチチャンネルビデオストリームは、同一の目標対象に対する遠距離撮像ビデオストリームおよび近距離撮像ビデオストリームを含むことができ、マルチチャンネルビデオストリームは、第一撮像カメラ位置を利用して第一目標対象を撮像するビデオストリームと第二撮像カメラ位置を利用して第二目標対象を撮像するビデオストリームなどを含むことができる。
操作S220において、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定する。
例示的には、本操作S220は、所定の一種又は複数種の方式により一つ又は複数の次元での各チャンネルのビデオストリームの特徴情報を取得することができる。例えば、物理的視角次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば物理的視角次元での異なる特徴値によりパノラマ、近距離、遠距離などの情報を表示することができる;目標位置次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば目標位置次元での異なる特徴値により、顔、手、脚部などの情報を表示することができる;目標内容次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば目標内容次元での異なる特徴値により、服装、グルメ、女性、男性などの情報を表示することができる。実際の需要に応じてビデオストリームの特徴情報の特徴次元を設定することができ、かついずれか一つの特徴次元でさらに複数のサブ次元に分割することができ、それにより小さい粒度からビデオストリームの特徴情報を説明する。
操作S230において、クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する。
例示的には、クライアントは、ビデオライブ機能を有する様々なアプリケーションクライアント又は軽量アプリケーションクライアントであってもよい。軽量アプリケーションクライアントは、アプレットを例とし、複数のアプレットを一つのアプリケーションに統合して様々なサービスを実現することができる。ビデオライブの流行に伴い、アプレットライブも大量に出現する。本開示の実施例に係るビデオストリーム処理は、アプレットライブシーンに適用することができる。放送サーバは、クライアントからのビデオ要求メッセージを受信した後に該クライアントに対するビデオストリームプッシュ処理操作を開始する。この時に一つ又は複数の次元での該クライアントの特徴情報を決定する必要があり、該一つ又は複数の次元の特徴情報は例えば該クライアントのユーザの属性情報、ユーザの行動特徴情報、ユーザの好み情報、該クライアントの所在する端末装置の属性情報、端末装置の配置情報、端末装置の性能情報などを示すことができ、後続の各ビデオストリームの特徴情報とマッチングするために用いられる。
操作S240において、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する。
例示的には、ビデオストリーム1~ビデオストリームNを取得した場合、クライアントAからのビデオ要求メッセージを受信した後に、ビデオストリーム1の特徴情報をクライアントAの特徴情報とマッチングすることにより、ビデオストリーム1のクライアントAに関するマッチング程度M(1、A)を取得する;ビデオストリーム2の特徴情報をクライアントAの特徴情報とマッチングすることにより、ビデオストリーム2のクライアントAに関するマッチング程度M(2、A)を取得する;このように類推して、マルチチャンネルビデオストリームのそれぞれの該クライアントAに関するマッチング程度{M(1、A)、M(2、A)、…、M(N、A)}を取得することができる。ここで、いずれかの一つのチャンネルのビデオストリームのクライアントAに対するマッチング程度は、該チャンネルのビデオストリームとクライアントAの特徴情報との間の適合程度を示すために用いられ、マッチング程度が高いほどビデオストリームとクライアントとが適合になる。
操作S250において、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。
例示的には、クライアントAに対して、所定の閾値をプリセットすることができ、マルチチャンネルビデオストリームのそれぞれの該クライアントAに関するマッチング程度に、所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームから、最も高いマッチング程度を有するビデオストリームを該クライアントAに最も適合するビデオストリームとして選択し、該ビデオストリームを該クライアントAにプッシュする。又は、マルチチャンネルビデオストリームから、最も高いマッチング程度を有するビデオストリームを該クライアントAに最も適合するビデオストリームとして選択し、該ビデオストリームを該クライアントAにプッシュすることもできる。同様に、他の各クライアントに対して、同様に上記操作S230~操作S250を実行することにより、各クライアントと単相に適合するビデオストリームをそれぞれ決定することができる。
当業者であれば理解されるように、本開示の実施例に係るビデオストリーム処理方法は、同じライブイベントにマルチチャンネルビデオストリームが存在するシーンで、複数のクライアントのうちの各クライアントに対して、それぞれ各チャンネルのビデオストリームと該クライアントの特徴情報をマッチングすることにより、マルチチャンネルビデオストリームのそれぞれと該クライアントとの間の適合程度を決定する。それによりマルチチャンネルビデオストリームから該クライアントに最も適合するビデオストリームを選択して該クライアントにプッシュすることができる。本開示の実施例の解決手段によれば、異なるクライアントに対するカスタマイズビデオストリームプッシュを実現することができ、異なるクライアントがユーザの異なり、端末装置の異なり等による同一ライブイベントに対する異なる再生需要を満たす。
本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は少なくとも一つのビデオラベルを含む。以下、図3A、図3B及び図3Cを参照してビデオストリームの特徴情報の取得過程を例示的に説明する。
図3Aは、本開示の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示し、上記操作S220の一実施形態を例示的に説明するために用いられる。
図3Aに示すように、放送サーバ330は、N個の撮像装置340からのビデオストリーム1~ビデオストリームNというN個のチャンネルのビデオストリーム341を受信し、該N個のチャンネルのビデオストリームは、同じライブイベントに対して撮像して得られ、Nは2より大きい整数である。N個の撮像装置340のうちの各撮像装置340に対して、1番目の撮像装置340を例にして、自身が撮像して得られたビデオストリーム1を放送サーバ330にアップロードする場合、さらにビデオストリーム1の撮像カメラ位置情報342を一括して放送サーバにアップロードする。本開示の実施例によれば、放送サーバ330は上記ビデオストリーム1及びビデオストリーム1の撮像カメラ位置情報342を取得した後、ビデオストリーム1の撮像カメラ位置情報342に基づいて、ビデオストリーム1の第一ビデオラベルを決定し、該第一ビデオラベルはビデオストリーム1を撮像する物理的視角を示すために用いられる。第一ビデオラベルは、キー値ペア(key-value)の形式で表すことができ、例えば、ビデオストリーム1の第一ビデオラベルは、x=101として表すことができ、ここで、「x」は、第一ビデオラベルの唯一識別子(ID)とし、数値「101」はビデオストリーム1の撮像カメラ位置情報が「近距離」であることを示す。同様に、他の各チャンネルのビデオストリームに対していずれも上記した第一ビデオラベルを決定する過程を実行することができる。
例示的には、撮像装置340によりアップロードされた撮像カメラ位置情報342のデータフォーマットがビデオラベルを満たす場合に、撮像カメラ位置情報342を対応的なビデオストリームの第一ビデオラベルとすることができる。撮像装置340によりアップロードされた撮像カメラ位置情報342のデータフォーマットがビデオラベルフォーマットを満たさない場合に、例えば以下の方式で第一ビデオラベルを決定することができる。放送サーバ側ではビデオラベルライブラリ331をプリセットすることができ、ビデオラベルライブラリ331に大量のプリセットされた候補ビデオラベルを含むことができ、実際の需要に応じて、候補ビデオラベルは様々な粒度に応じて設定することができる。
図3Bは、本開示の実施例に係るビデオラベルライブラリの概略図を概略的に示す。図3Bに示す例において、ビデオラベルライブラリ331は、「パノラマ」、「近距離」、「遠距離」等という候補ビデオラベルを含むことができる。ビデオストリーム1を例として、ビデオストリーム1の撮像カメラ位置情報342とビデオラベルライブラリ331における各候補ビデオラベルとの間の類似度を計算し、類似度が第一閾値を超える候補ビデオラベルをビデオストリーム1の第一ビデオラベルとして選択することができる。
図3Aに示す実施例によれば、各チャンネルのビデオストリームの少なくとも一つのビデオラベルにビデオストリームの撮像カメラ位置情報を示すための第一ビデオラベルを含むことができ、それにより後続にクライアントとのマッチング過程を行う時、クライアントの視聴視角に対する異なる好みを考慮することができる。例えばいくつかのクライアントのユーザが遠隔視聴画角に好み、他のクライアントのユーザが近距離視聴画角等に好み、それによりこれらの異なる好みを有するクライアントに対して異なる第一ビデオラベル付きのビデオストリームを選択することができる。
図3Cは、本開示の他の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示し、上記操作S220の他の実施形態を例示的に説明するために用いられる。
図3Cに示すように、ビデオストリーム1を例として、以下の方式で該ビデオストリームの特徴情報を決定することができる。例示的には、該ビデオストリーム1から少なくとも一つのフレームの画像3411を抽出することができ、例えばプリセットされた頻度に応じて抽出することができる。次に、抽出された少なくとも一つのフレームの画像3411に基づいて、該ビデオストリーム1の内容情報3412を決定する。次に、該ビデオストリーム1の内容情報3412に基づいて、ビデオストリーム1の第二ビデオラベルを決定し、該第二ビデオラベルは該ビデオストリーム1の撮像内容を示すために用いられ、例えば撮像目標の位置、撮像目標の内容等を含む。第二ビデオラベルは、キー値ペアの形式で表すことができる。同様に、他の各チャンネルのビデオストリームに対していずれも上記した第二ビデオラベルを決定する過程を実行することができる。
例示的には、以下の方式で第二ビデオラベルを決定することができる。ビデオストリームから少なくとも一つのフレームの画像を抽出した後、例えば目標検出(object detection)アルゴリズム(例えばFaster R-CNNアルゴリズムなど)を利用して該少なくとも一つのフレームの画像を検出することにより、その中に含まれる目標対象の数、種類及び位置などの情報を決定し、ビデオストリームの内容情報とする。図3Bに示す例において、ビデオラベルライブラリ331はさらに「女性」、「男性」、「猫」等という候補ビデオラベルを含むことができる。ビデオストリーム1を例として、ビデオストリーム1の内容情報3412とビデオラベルライブラリ331における各候補ビデオラベルとの間の第一類似度を計算し、第一類似度が第二閾値を超える候補ビデオラベルをビデオストリーム1の第二ビデオラベルとして選択することができる。
図3Cに示す実施例によれば、各チャンネルのビデオストリームの少なくとも一つのビデオラベルにビデオストリームの撮像カメラ位置情報を示すための第二ビデオラベルを含むことができ、それにより後続にクライアントとのマッチングを行う過程において、クライアントの視聴内容に対する異なる好みを考慮することができる。例えばいくつかのクライアントのユーザが女性を見ることに好み、他のクライアントのユーザが男士等を見ることに好み、それによりこれらの異なる好みを有するクライアントに対して異なる第二ビデオラベルを有するビデオストリームを選択することができる。該過程はビデオラベルの次元を増加させるだけでなく、図3Aに示す撮像カメラ位置情報に基づいてビデオラベルに存在する可能性のある誤差を決定することに較正することができる。
図4は、本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示し、操作S230によりクライアントの特徴情報を決定する実施形態を例示的に説明するために用いられる。
図4に示すように、クライアントAを例として、操作S230でクライアントAの特徴情報を決定する過程は操作S231~操作S237を含むことができる。
操作S231において、クライアントAからのカスタマイズ配置情報を受信する。
例示的には、カスタマイズ配置情報は、ユーザの選択又は入力操作に基づいて生成することができる。例えば、ライブイベントにおいて、放送サーバはクライアントAからのビデオ要求メッセージを受信した後、クライアントAに複数の選択肢を表示するように指示することができ、複数の選択肢は、複数の撮像カメラ位置情報、複数の目標内容情報、複数の目標部位情報等を含み、それによりユーザは自身の現在のライブイベントに対する視聴要求に基づいて選択することができる。クライアントAは、ユーザの複数の選択肢に対する単一選択又は複数選択に応答し、カスタマイズ配置情報を生成しかつ放送サーバにアップロードする。又は、放送サーバは、クライアントAに提示情報を表示するように指示することができ、該提示情報は、ユーザに現在のライブイベントに対する視聴嗜好を主動的に入力するように提示することに用いられる。クライアントAは、ユーザの入力内容に基づいてカスタマイズ配置情報を生成しかつ放送サーバにアップロードする。
操作S232において、上記カスタマイズ配置情報を成功に受信したか否かを決定する。そうであれば、操作S233を実行する。そうでなければ、操作S235を実行する。
例示的には、上記カスタマイズ配置情報を成功に受信したか否かを決定する過程は、例えば、所定の期間内にカスタマイズ配置情報を受信したか否かを決定することを含むことができる。
操作S233において、カスタマイズ配置情報に基づいて、クライアントAに配置ラベルが存在するか否かを決定する。そうであれば、操作S234を実行する。そうでなければ、操作S235を実行する。
本開示の実施例によれば、図3Aに示すようなプリセットビデオラベルライブラリを利用してクライアントAに配置ラベルが存在するか否かを決定することができる。例えば、カスタマイズ配置情報を取得した後、該カスタマイズ配置情報とプリセットビデオラベルライブラリのうちの複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算する。第三閾値より大きい第二類似度が存在すれば、カスタマイズ配置情報とプリセットビデオラベルライブラリとのマッチングが成功したことを確定し、クライアントAに配置ラベルが存在することを示す。そうでなければカスタマイズ配置情報とプリセットビデオラベルライブラリとのマッチングが失敗したことを確定し、クライアントAに配置ラベルが存在しないことを示す。
操作S234において、上記第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、クライアントAの少なくとも一つの配置ラベルとする。このときクライアントAの少なくとも一つの配置ラベルをクライアントAの特徴情報とする。
操作S235において、クライアントAのユーザ属性データ及びユーザ行動データを取得する。
例示的には、ユーザ属性データは例えばユーザ性別、ユーザ年齢等を含み、ユーザ行動データは例えばユーザ履歴視聴ライブの行動データ、ユーザがライブイベントに対していいね、プレゼント、お気に入り、コイン等の行動を行うデータ等を含むことができる。
操作S236において、ユーザ属性データ及びユーザ行動データに基づいて、クライアントAが属するユーザカテゴリを決定する。
例示的には、ユーザ属性データ及びユーザ行動データに基づいてユーザ画像を構築することができ、それによりユーザが属するユーザカテゴリを決定する。ユーザカテゴリは、一つ又は複数の次元で区画されてもよく、例えば年代分割、地域分割、垂直業界領域分割、視角選択分割などを含む。理解できるように、同じユーザカテゴリに属するユーザは一般的に同じ又は類似のライブ視聴嗜好を有する。
操作S237において、クライアントAが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定する。このときクライアントAの少なくとも一つのユーザラベルをクライアントAの特徴情報とする。
本開示の実施例によれば、図3Aに示すように、放送サーバ330は、さらに、ユーザラベルライブラリ332をプリセットすることができ、ユーザラベルライブラリ332は上記複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むことができる。例えば、第一ユーザカテゴリは少なくとも一つの候補ユーザラベルを含み、第二ユーザカテゴリは少なくとも一つの候補ユーザラベルを含み、このように類推する。上記クライアントAが属するユーザカテゴリに基づいて、クライアントAの少なくとも一つのユーザラベルを決定する過程は、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとすることを含むことができる。
理解できるように、上記操作S231~操作S234に従って、優先的にユーザが自主的に設定したカスタマイズ配置情報に基づいてクライアントの特徴情報を決定し、クライアントのユーザのライブ視聴嗜好を直接、正確に決定することができる。カスタマイズ配置情報を受信しないか又はカスタマイズ配置情報がマッチングに成功できない場合、上記操作S235~操作S237によれば、履歴累積のユーザ属性データ及びユーザ行動データに基づいてユーザ画像を行うことができ、それによりユーザ画像に関連するユーザラベルを決定し、クライアントの特徴情報とする。他の例において、以上の二種類のユーザラベルの取得方式を同時に実行し、取得されたユーザラベルを利用してクライアントの特徴情報を共同で示すこともできる。
図5は、本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示し、操作S240においてマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントの特徴情報とマッチングする実施形態を例示的に説明するために用いられる。
図5に示すように、クライアントAとビデオストリーム1を例として、操作S240でマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントAの特徴情報とマッチングする過程は、操作S241~操作S244を含むことができる。
操作S241において、ビデオストリーム1の少なくとも一つのビデオラベルのうちの各ビデオラベルと該クライアントAの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定する。
本開示の実施例によれば、図3Aに示すように、放送サーバ330はさらにラベル関連ライブラリ333をプリセットすることができる。ラベル関連ライブラリ333は、複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むことができる。本操作S241は、ラベル関連ライブラリに基づいて、上記各ビデオラベルとクライアントAの各ユーザラベルとの間の関連重みを取得することができる。
例えば、一つのチャンネルのビデオストリームは、ビデオラベル「火鍋」を含み、該ビデオラベルは以下のように表示することができる:z1=10001、ここで「z1」はビデオカテゴリ「グルメ」の唯一の識別子とし、数値「10001」は該ビデオストリームの撮像対象内容が「火鍋」であることを示す。クライアントAはユーザラベル「女性」及び「四川」を含み、それぞれ以下のように表示することができる:z2=001及びz3=0101であり、ここで「z2」は「性別」の唯一の識別子とし、「z3」は「地域」の唯一の識別子とし、数値「001」は該クライアントのユーザが「女性」であることを示し、数値「0101」は該クライアントのユーザ地域が「四川」であることを示す。本開示の実施例によれば、ラベル関連ライブラリに複数のビデオカテゴリ(例えばゲーム、グルメ、アニメなど)が含まれ、各ビデオカテゴリは複数のビデオラベル(例えばグルメのカテゴリでビデオラベル「火鍋」を含む)を含み、各ビデオラベルはそれぞれ複数のユーザラベルのそれぞれに相応的な関連重みを有する。ビデオラベル「火鍋」を例とし、それとユーザラベル「女性」との間の関連重みはaであり、ユーザラベル「四川」との間の関連重みはbである。ビデオラベル「火鍋」とユーザラベル「女性」との間の関連重みは、統計的な意味で女性ユーザの火鍋ライブに対する好み程度を示すために用いられ、ビデオラベル「火鍋」とユーザラベル「四川」との間の関連重みは統計的意味で四川ユーザの火鍋ライブに対する好み程度を示すために用いられる。
操作S242において、上記関連重みに基づいて各ビデオラベルの総合重みを決定する。
本開示の実施例によれば、クライアントAの各ユーザラベルはユーザ重みを有することができ、該ユーザラベルと該クライアントAとの関連程度を示す。例えばユーザラベル「女性」のユーザ重みはαであり、ユーザラベル「四川」のユーザ重みはβである。αとβによって上記関連重みaと関連重みbを利用して加重加算を行うことにより、ビデオラベル「火鍋」の総合重みを得ることができる。
操作S243において、ビデオストリーム1の少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得する。
例えば、ビデオストリーム1のビデオラベル「火鍋」のプリセット評価はγであり、ビデオラベル「火鍋」とビデオストリーム1との間の関連程度を示すために用いられる。
操作S444において、それぞれビデオストリーム1の少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリーム1の少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリーム1のクライアントAに関するマッチング程度を取得する。
同様に、上記実施形態によれば他の各チャンネルのビデオストリームのクライアントAに関するマッチング程度を得ることができ、それにより該マッチング程度に基づいてNチャンネルのビデオストリームからクライアントAに最も適合するビデオストリームを決定することができる。他のクライアントのビデオストリーム処理過程について同様に、ここでは説明を省略する。上記マッチング過程は、ビデオストリームの各ビデオラベル及びクライアントの各ユーザラベルの各特徴次元での関連関係を十分に融合し、それにより計算されたマッチング程度はクライアントとビデオストリームとの間の適合程度を正確、全面的に、総合的に反映することができる。クライアントに、より適合的なビデオストリームを選択してプッシュすることができる。図3Aに示す例において、本開示の実施例に係るビデオストリーム処理方法によれば、放送クライアント330はビデオストリーム1~ビデオストリームNからビデオストリームiを選択して第一クライアント311にプッシュし、放送クライアント330はビデオストリーム1~ビデオストリームNからビデオストリームjを選択して第二クライアント312にプッシュし、それにより異なるクライアントに対するカスタマイズビデオストリームのプッシュを実現し、i及びjはいずれも1以上N以下の整数であり、iとjは同じであってもよく異なってもよい。上記過程は半教師線形機械学習方法を採用してビデオストリームの特徴重みの加重計算を行い、それによりビデオストリームとクライアントとの間のマッチング程度を決定する。理解できるように、他の方式の機械学習アルゴリズムもマッチング程度の計算を行うことができ、ここで制限しない。
さらに、クライアントのライブ需要が時間に伴って変化する可能性があることを考慮し、例えばユーザが一つのチャンネルのビデオストリームに対して視覚疲労を生成し、ユーザがゲームライブ中に視角を変換して全体のゲーム進度を見る必要があるなどの状況を考慮し、本開示の実施例はさらにビデオストリームのプッシュを切り替える処理過程を提供する。一つの場合、各チャンネルのビデオストリームのビデオラベルに有効時長を設定することができ、さらに各クライアントのユーザラベルに有効時長を設定することができる。クライアントAを例として、一つのチャンネルのビデオストリーム1をクライアントAにプッシュした後、ビデオストリームのビデオラベルの有効時長に達する時、又はクライアントAのユーザラベルの有効時長に達する時、各ビデオストリームのビデオラベルとクライアントAのユーザラベルを改めて決定し、かつマッチング選択の過程を改めて行う必要がある。ビデオラベルを取得する過程、ユーザラベルを取得する過程及びマッチング選択の過程はいずれも前文に詳細に説明され、ここでは説明を省略する。別の場合に、切替時間を直接設定することができ、切替時間に達すると、上記ビデオストリーム処理過程を改めて実行する必要がある。さらに一つの場合に、クライアントの所定のインタフェースによりユーザが所定のトリガ操作を実行するか否かを監視し、そうであれば、ユーザがビデオストリームを切り替えることを望むと決定し、前記実施例に基づいてビデオストリーム処理過程を改めて実行することができる。
図6は、本開示の実施例に係るビデオストリーム処理装置のブロック図である。
図6に示すように、ビデオストリーム処理装置600は、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650を含むことができる。
取得モジュール610は、ライブイベントに対するマルチチャンネルビデオストリームを取得するために用いられる。
第一決定モジュール620は、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するために用いられる。
第二決定モジュール630は、クライアントからのビデオ要求メッセージに応答し、該クライアントの特徴情報を決定するために用いられる。
マッチングモジュール640は、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得するために用いられる。
プッシュモジュール650は、マルチチャンネルビデオストリームのそれぞれの該クライアントのマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュするために用いられる。
説明すべきものとして、装置部分実施例における各モジュール/ユニット/サブユニットなどの実施形態、解決しようとする技術課題、実現した機能、及び達成した技術的効果はそれぞれ方法部分実施例における各対応ステップの実施形態、解決しようとする技術課題、実現した機能、及び達成した技術的効果と同じであるか又は類似し、ここでは説明を省略する。
本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちの任意の複数、又はそのうちの任意の複数の少なくとも一部の機能は一つのモジュールにおいて実現することができる。本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか一つ又は複数を複数のモジュールに分割して実現することができる。本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか一つ又は複数は少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路(ASIC)に実現されてもよく、又は回路に集積又はパッケージングされた任意の他の合理的な方式のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちの一つ又は複数は少なくとも部分的にコンピュータプログラムモジュールとして実現され、該コンピュータプログラムモジュールが実行される場合、相応的な機能を実行することができる。
例えば、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650のうちの任意の複数は一つのモジュールに統合して実現されてもよく、又はそのうちのいずれか一つのモジュールは複数のモジュールに分割されてもよい。又は、これらのモジュールのうちの一つ又は複数のモジュールの少なくとも一部の機能は他のモジュールの少なくとも一部の機能と結合されてもよく、かつ一つのモジュールにおいて実現されてもよい。本開示の実施例によれば、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650のうちの少なくとも一つは少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路(ASIC)として実現されてもよく、又は回路に集積又はパッケージングされた任意の他の合理的な方式等のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、取得モジュール610、第一決定モジュール620、第二決定モジュール630、マッチングモジュール640及びプッシュモジュール650のうちの少なくとも一つは少なくとも部分的にコンピュータプログラムモジュールとして実現されてもよく、該コンピュータプログラムモジュールが実行される場合、相応的な機能を実行することができる。
図7は、本開示の実施例に係る上記方法を実現することに適するコンピュータ機器のブロック図を概略的に示す。図7に示すコンピュータ機器は、一例に過ぎず、本開示の実施例の機能及び使用範囲にいかなる制限を与えない。
図7に示すように、本開示の実施例に係るコンピュータ機器700は、プロセッサ701を含み、それはリードオンリメモリ(ROM)702に記憶されたプログラム又は記憶部分708からランダムアクセスメモリ(RAM)703にロードされたプログラムに基づいて様々な適切な動作及び処理を実行することができる。プロセッサ701は例えば汎用マイクロプロセッサ(例えばCPU)、命令セットプロセッサ及び/又は関連チップセット及び/又は専用マイクロプロセッサ(例えば、専用集積回路(ASIC))などを含むことができる。プロセッサ701はさらに用途をキャッシュするためのボードメモリを含むことができる。プロセッサ701は、本開示の実施例に係る方法の流れに応じて異なる動作を実行する単一処理ユニットであってもよいし、複数の処理ユニットであってもよい。
RAM 703には、機器700の操作に必要な様々なプログラム及びデータが記憶される。プロセッサ701、ROM 702、およびRAM 703は、バス704により相互に接続されている。プロセッサ701は、ROM 702および/またはRAM 703におけるプログラムを実行することにより、本開示の実施例に係る方法の流れに係る各種の操作を実行する。なお、前記プログラムはROM 702及びRAM 703以外の一つ又は複数のメモリに記憶されてもよい。プロセッサ701は、前記一つ又は複数のメモリに記憶されたプログラムを実行することにより、本開示の実施例に係る方法の流れに従った各種の操作を実行してもよい。
本開示の実施例によれば、機器700はさらに入力/出力(I/O)インタフェース705を含み、入力/出力(I/O)インタフェース705もバス704に接続される。機器700はさらに、キーボード、マウス等を含む入力部分706と、陰極線管(CRT)、液晶ディスプレイ(LCD)等及びスピーカ等を含む出力部分707と、ハードディスク等を含む記憶部分708と、LANカード、モデム等のネットワークインタフェースカードを含む通信部分709と、というI/Oインタフェース705に接続された部品のうちの一つ又は複数を含むことができる。通信部分709は、インターネットなどのネットワークを介して通信処理を行う。ドライバ710は、必要に応じてI/Oインタフェース705にも接続されている。リムーバブル媒体711は、例えば磁気ディスク、光学ディスク、光磁気ディスク、半導体メモリ等であり、必要に応じてドライブ710にインストールされ、それによりそれから読み出されたコンピュータプログラムが必要に応じて記憶部分708にインストールされる。
本開示の実施例によれば、本開示の実施例に係る方法フローがコンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読記憶媒体に載置されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信部分709を介してネットワークからダウンロード及びインストールされ、及び/又はリムーバブル媒体711からインストールされる。該コンピュータプログラムがプロセッサ701により実行される時、本開示の実施例のシステムに限定された上記機能を実行する。本開示の実施例によれば、上記システム、機器、装置、モジュール、ユニットなどはコンピュータプログラムモジュールにより実現することができる。
本開示はさらにコンピュータ可読記憶媒体を提供し、該コンピュータ可読記憶媒体は上記実施例に記載の機器/装置/システムに含まれるものであってもよい;単独で存在し、該機器/装置/システムに組み込まれていなくてもよい。上記コンピュータ可読記憶媒体は一つ又は複数のプログラムを担持し、上記一つ又は複数のプログラムが実行される時、本開示の実施例に係る方法を実現する。
本開示の実施例によれば、コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよく、例えば、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能なプログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、携帯型コンパクト磁気ディスクリードオンリメモリ(CD-ROM)、光記憶デバイス、磁気メモリデバイス、又は上記任意の適切な組み合わせを含むがそれらに限定されない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形の媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスの使用又はそれと組み合わせて使用されてもよい。例えば、本開示の実施例によれば、コンピュータ可読記憶媒体は上記ROM 702及び/又はRAM 703及び/又はROM 702及びRAM 703以外の一つ又は複数のメモリを含むことができる。
図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点において、フローチャート又はブロック図における各ブロックは一つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、上記モジュール、プログラムセグメント、又はコードの一部は一つ又は複数の所定の論理機能を実現するための実行可能な命令を含む。注意すべきものとして、いくつかの代替の実現において、ブロックにマークされた機能は図面にマークされたことと異なる順序で発生することができる。例えば、二つの連続的に示されるブロックは、実際に基本的に並行して実行されてもよく、それらは逆の順序で実行されてもよく、これは係る機能に依存する。注意すべきこととして、ブロック図又はフローチャートにおける各ブロック、及びブロック図又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ指令の組み合わせで実現されてもよい。
当業者であれば理解されるように、本開示の各実施例及び/又は請求項に記載の特徴は様々な組み合わせ及び/又は結合を行うことができ、このような組み合わせ又は結合が本開示に明確に記載されていなくてもよい。特に、本開示の精神及び教示から逸脱することなく、本開示の各実施例及び/又は請求項に記載の特徴は様々な組み合わせ及び/又は結合を行うことができる。これらの組み合わせ及び/又は結合は、全て本開示の範囲に属するものとする。
以上、本開示の実施の形態について説明した。しかし、これらの実施例は説明の目的のためだけであり、本開示の範囲を限定するものではない。以上に各実施例をそれぞれ説明したが、各実施例における措置を有利に組み合わせて使用することができないことを意味するものではない。本開示の範囲は、添付の特許請求の範囲およびその均等物によって限定される。本開示の範囲から逸脱することなく、当業者は様々な代替及び修正を行うことができ、これらの代替及び修正はいずれも本開示の範囲内にあるべきである。

Claims (13)

  1. 一つのライブイベントに対するマルチチャンネルビデオストリームを取得することと、
    前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することと、
    クライアントからのビデオ要求メッセージに応答して、前記クライアントの特徴情報を決定することと、
    前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることにより、前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度を取得することと、
    前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に基づいて、前記マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して前記クライアントにプッシュすることと、を含む
    ビデオストリーム処理方法。
  2. 前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、
    前記マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得することと、
    前記撮像カメラ位置情報に基づいて、前記各チャンネルのビデオストリームの第一ビデオラベルを決定することと、を含む
    請求項1に記載の方法。
  3. 前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、
    前記各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出することと、
    前記少なくとも一つのフレームの画像に基づいて、前記ビデオストリームの内容情報を決定することと、
    前記内容情報に基づいて、前記各チャンネルのビデオストリームの第二ビデオラベルを決定することと、をさらに含む
    請求項2に記載の方法。
  4. 前記内容情報に基づいて、前記各チャンネルのビデオストリームの第二ビデオラベルを決定することは、
    前記内容情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第一類似度を計算することと、
    前記第一類似度に基づいて前記複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、前記各チャンネルのビデオストリームの第二ビデオラベルとすることと、を含む
    請求項3に記載の方法。
  5. 前記クライアントの特徴情報を決定することは、
    前記クライアントからのカスタマイズ配置情報を受信することと、
    前記カスタマイズ配置情報に基づいて、前記クライアントの少なくとも一つの配置ラベルを決定し、前記クライアントの特徴情報とすることと、を含む
    請求項2又は3に記載の方法。
  6. 前記カスタマイズ配置情報に基づいて、前記クライアントの少なくとも一つの配置ラベルを決定することは、
    前記カスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算することと、
    前記第二類似度に基づいて前記複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、前記クライアントの少なくとも一つの配置ラベルとすることと、を含む
    請求項5に記載の方法。
  7. 前記クライアントの特徴情報を決定することは、
    前記クライアントのユーザ属性データ及びユーザ行動データを取得することと、
    前記ユーザ属性データ及び前記ユーザ行動データに基づいて、前記クライアントが属するユーザカテゴリを決定することと、
    前記ユーザカテゴリに基づいて、前記クライアントの少なくとも一つのユーザラベルを決定することと、を含む
    請求項2又は3に記載の方法。
  8. 複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることをさらに含み、
    前記ユーザカテゴリに基づいて、前記クライアントの少なくとも一つのユーザラベルを決定することは、前記ユーザラベルライブラリから前記ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、前記少なくとも一つのユーザラベルとすることを含む
    請求項7に記載の方法。
  9. 複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることをさらに含み、
    前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることは、
    前記ラベル関連ライブラリに基づいて、前記各チャンネルのビデオストリームの各ビデオラベルと前記クライアントの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定し、かつ前記関連重みに基づいて前記各ビデオラベルの総合重みを決定することと、
    前記各ビデオラベルのプリセット評価を取得することと、
    前記各ビデオラベルの総合重みをそれぞれ利用し、前記各チャンネルのビデオストリームのビデオラベルのプリセット評価に加重加算を行うことにより、前記各チャンネルのビデオストリームの前記クライアントに関するマッチング程度を取得することと、を含む
    請求項7に記載の方法。
  10. 前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に基づいて、前記マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して前記クライアントにプッシュすることは、
    前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、前記マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを前記クライアントにプッシュすることを含む
    請求項1に記載の方法。
  11. 一つのライブイベントに対するマルチチャンネルビデオストリームを取得するための取得モジュールと、
    前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するための第一決定モジュールと、
    クライアントからのビデオ要求メッセージに応答して、前記クライアントの特徴情報を決定するための第二決定モジュールと、
    前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることにより、前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度を取得するためのマッチングモジュールと、
    前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に基づいて、前記マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して前記クライアントにプッシュするためのプッシュモジュールと、を含む
    ビデオストリーム処理装置。
  12. コンピュータ命令が記憶されるメモリと、
    少なくとも一つのプロセッサと、を含み、
    前記プロセッサが前記コンピュータ命令を実行する場合に請求項1~10のいずれか一項に記載の方法を実現する
    コンピュータ機器。
  13. プロセッサにより実行される時に請求項1~10のいずれか一項に記載の方法を実現するコンピュータ命令が記憶される
    コンピュータ可読記憶媒体。
JP2022551416A 2020-06-28 2020-09-24 ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム Active JP7469491B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010600691.4A CN111726649B (zh) 2020-06-28 2020-06-28 视频流处理方法、装置、计算机设备和介质
CN202010600691.4 2020-06-28
PCT/CN2020/117391 WO2022000826A1 (zh) 2020-06-28 2020-09-24 视频流处理方法、装置、计算机设备和介质

Publications (2)

Publication Number Publication Date
JP2023515173A true JP2023515173A (ja) 2023-04-12
JP7469491B2 JP7469491B2 (ja) 2024-04-16

Family

ID=72569299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022551416A Active JP7469491B2 (ja) 2020-06-28 2020-09-24 ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム

Country Status (6)

Country Link
US (1) US20230224528A1 (ja)
EP (1) EP4149115A4 (ja)
JP (1) JP7469491B2 (ja)
KR (1) KR102655662B1 (ja)
CN (1) CN111726649B (ja)
WO (1) WO2022000826A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866789A (zh) * 2021-02-04 2022-08-05 华为技术有限公司 一种车载直播方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4185333B2 (ja) 2001-09-07 2008-11-26 松下電器産業株式会社 映像配信装置および映像受信装置
US8702504B1 (en) * 2001-11-05 2014-04-22 Rovi Technologies Corporation Fantasy sports contest highlight segments systems and methods
JP2013141050A (ja) 2010-03-24 2013-07-18 Hitachi Ltd コンテンツ推薦サーバ、コンテンツ表示端末、およびコンテンツ推薦システム
JP5923021B2 (ja) 2012-10-05 2016-05-24 日本電信電話株式会社 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
US20150121437A1 (en) * 2013-04-05 2015-04-30 Google Inc. Multi-perspective game broadcasting
CN104683852B (zh) * 2013-11-29 2018-04-06 国际商业机器公司 处理广播信息的方法和设备
CN103929653B (zh) * 2014-04-30 2018-01-09 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
CN104735542B (zh) * 2015-03-30 2018-09-28 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106407241A (zh) * 2016-03-21 2017-02-15 传线网络科技(上海)有限公司 视频推荐方法及系统
CN107295361B (zh) * 2017-06-22 2019-07-19 腾讯科技(深圳)有限公司 一种内容推送方法
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
CN109120964B (zh) * 2018-09-30 2021-02-02 武汉斗鱼网络科技有限公司 视频集合的消息推送方法、装置、计算机设备及存储介质
CN109729395B (zh) * 2018-12-14 2022-02-08 广州市百果园信息技术有限公司 视频质量评估方法、装置、存储介质和计算机设备
CN110099283A (zh) * 2019-05-09 2019-08-06 广州虎牙信息科技有限公司 信息推送方法、装置、设备和存储介质
CN110446056A (zh) * 2019-07-30 2019-11-12 咪咕文化科技有限公司 一种视频处理方法、设备、系统及计算机可读存储介质
CN110674345A (zh) * 2019-09-12 2020-01-10 北京奇艺世纪科技有限公司 一种视频搜索方法、装置及服务器
CN110769283B (zh) * 2019-10-31 2021-08-27 广州市网星信息技术有限公司 一种视频推送方法、装置、计算机设备和存储介质
CN110677701A (zh) * 2019-11-20 2020-01-10 咪咕文化科技有限公司 视频流推荐方法、电子设备和存储介质

Also Published As

Publication number Publication date
EP4149115A4 (en) 2023-06-21
WO2022000826A1 (zh) 2022-01-06
EP4149115A1 (en) 2023-03-15
KR102655662B1 (ko) 2024-04-05
JP7469491B2 (ja) 2024-04-16
US20230224528A1 (en) 2023-07-13
CN111726649A (zh) 2020-09-29
KR20220124813A (ko) 2022-09-14
CN111726649B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
US20230012732A1 (en) Video data processing method and apparatus, device, and medium
CN110225369B (zh) 视频选择播放方法、装置、设备和可读存储介质
US9788065B2 (en) Methods and devices for providing a video
JP6419201B2 (ja) ビデオ再生のための方法および装置
US9432702B2 (en) System and method for video program recognition
JP2018530080A (ja) メディアセグメント識別効率向上のために探索索引を区分するためのシステムおよび方法
WO2015029393A1 (ja) 情報処理装置および情報処理方法
JP7231638B2 (ja) 映像に基づく情報取得方法及び装置
US20200053336A1 (en) Information processing apparatus, information processing method, and storage medium
US9325754B2 (en) Information processing device and information processing method
JP7105309B2 (ja) 映像前処理方法、装置及びコンピュータプログラム
KR102592904B1 (ko) 영상 요약 장치 및 방법
CN111723237A (zh) 媒体内容访问控制方法
JP2023515173A (ja) ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム
US20160027050A1 (en) Method of providing advertisement service using cloud album
CN104661098A (zh) 方法、服务器、客户端和软件
CN115983499A (zh) 一种票房预测方法、装置、电子设备及存储介质
CN115379290A (zh) 视频处理方法、装置、设备及存储介质
KR101624273B1 (ko) 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말
KR20200024540A (ko) 이미지 검색을 위한 요약 정보 제공 방법 및 이를 지원하는 서비스 장치
US20230412877A1 (en) Systems and methods for recommending content items based on an identified posture
CN106412690B (zh) 一种视频播放的确定方法及装置
KR101280804B1 (ko) 영상 콘텐츠의 영상을 분석하는 장치 및 방법
WO2018072056A1 (en) Sharing network content
KR102197885B1 (ko) 증강 현실 컨텐츠를 표시하는 단말 및 서버

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240404

R150 Certificate of patent or registration of utility model

Ref document number: 7469491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150