JP2023550233A - 解説ビデオ生成方法、装置、サーバ及びコンピュータプログラム - Google Patents

Abstract

解説サーバに応用され人工知能分野に属する解説ビデオ生成方法であって、対戦命令フレームを取得し、対戦命令フレームに少なくとも一つの対戦操作命令が含まれ、対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられることと、対戦命令フレームに基づいて解説データストリームを生成し、解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、対戦イベントは仮想オブジェクトが戦中行為を実行するときにトリガされることと、対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれることと、解説データストリームと対戦ビデオストリームをマージし、解説ビデオストリームを生成し、解説ビデオストリームにおける同一の対戦イベントに対応する対戦ビデオフレームと解説オーディオは時間的に整合することとを含む。

Description

本出願は２０２０年１２月２５日に中国専利局に提出した、出願番号が２０２０１１５６０１７４．５であり、発明の名称が「解説ビデオ生成方法、装置、サーバ及び記憶媒体」である中国特許出願の優先権を主張し、その全内容は援用により本出願に結合される。

本出願の実施例は人工知能分野に関し、特に解説ビデオ生成方法、装置、サーバ及び記憶媒体に関する。

ライブ配信技術の急速な発展に伴い、ライブ配信は日常的な生活エンタテインメント及びコミュニケーション方式となり、現在のゲームライブ配信は比較的人気のあるライブ配信の一つとなっている。

現在ゲームのライブ配信中に、ゲームのライブ配信者はゲームの対戦状況に基づいてゲーム解説を行う必要があり、ゲーム解説ビデオの生成過程に対し、人工で予めゲームセグメントの選択、解説テキスト作成、ビデオ編集、オーディオ生成、ビデオ合成などのプロセスを行い、解説ビデオを生成ことにより、解説再生を行う。

しかしながら、関連技術におけるゲーム解説過程について、解説ビデオを作成する過程において人工参加を必要とし、作成フローが長く、且つ人工操作コストが高い。

本出願の実施例は解説ビデオ生成方法、装置、サーバ及び記憶媒体を提供し、解説ビデオを生成する操作コストを低減することができ、該技術的解決手段は以下のとおりである。

解説サーバによって実行される解説ビデオ生成方法であって、
対戦命令フレームを取得するステップであって、前記対戦命令フレームに少なくとも一つの対戦操作命令が含まれ、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられるステップと、
前記対戦命令フレームに基づいて解説データストリームを生成し、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが戦中行為を実行するときにトリガされるステップと、
前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成するステップであって、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるステップと、
前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成するステップであって、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するステップとを含むことを特徴とする方法。

解説ビデオ生成装置であって、
対戦命令フレームを取得し、前記対戦命令フレームに少なくとも一つの対戦操作命令が含まれ、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられる取得モジュールと、
前記対戦命令フレームに基づいて解説データストリームを生成し、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが戦中行為を実行するときにトリガされるために用いられる第一生成モジュールと、
前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるために用いられる第二生成モジュールと、
前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成し、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するために用いられる第三生成モジュールとを含む。

コンピュータ可読命令が記憶されているメモリと、一つ又は複数のプロセッサとを含むサーバであって、前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、
対戦命令フレームを取得し、前記対戦命令フレームに少なくとも一つの対戦操作命令が含まれ、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられるステップと、
前記対戦命令フレームに基づいて解説データストリームを生成し、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが戦中行為を実行するときにトリガされるステップと、
前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるステップと、
前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成し、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するステップとを実行させる。

コンピュータ可読命令が記憶されている一つ又は複数の不揮発性可読記憶媒体であって、
前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサに、
対戦命令フレームを取得し、前記対戦命令フレームは少なくとも一つの対戦操作命令が含まれ、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられるステップと、
前記対戦命令フレームに基づいて解説データストリームを生成し、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが前記戦中行為を実行するときにトリガされるステップと、
前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるステップと、
前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成し、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するステップとを実行させる。

コンピュータ読み取り可能な記憶媒体に記憶されているコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムであって、コンピュータ装置のプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行することにより、該コンピュータ装置に、上記の様々な実施態様で提供される解説ビデオ生成方法を実行させる。

本出願の例示的な一実施例に示される解説システムアーキテクチャ図である。 本出願の例示的な一実施例に示される解説ビデオ生成方法のフローチャートである。 本出願の他の例示的な実施例に示される解説ビデオ生成方法のフローチャートである。 プリセット対戦イベントに対応するプリセット属性情報の設定インタフェース図。 本出願の例示的な一実施例に示される対戦ビデオフレーム及び対戦命令フレームの整合過程の概略図である。 本出願の例示的な一実施例に示される目標対戦イベントの特定方法のフローチャートである。 本出願の例示的な一実施例に示される対戦ビデオフレームの概略図である。 本出願の他の例示的な実施例に示される解説ビデオ生成方法のフローチャートである。 本出願の例示的な一実施例に示される解説ビデオストリームを完全に生成する過程の概略図である。 本出願の例示的な一実施例に示される解説ビデオ生成装置の構成ブロック図である。 本出願の一実施例に提供されるサーバの構成ブロック図。

本出願の実施例に示される解説ビデオ生成方法は主に、上記人工知能ソフトウェア技術におけるコンピュータビジョン技術、音声処理技術、自然言語処理技術といういくつかの方向に関する。

図１を参照し、本出願の例示的な一実施例に示される解説システムアーキテクチャ図を示し、前記解説システムは少なくとも一つの対戦端末１１０と、解説サーバ１２０と、ライブ配信端末１３０とを含み、本出願の実施例における解説システムは仮想オンライン解説シーンに応用される。

対戦端末１１０はゲーム系アプリケーションプログラムがインストールされた装置である。該ゲーム系アプリケーションプログラムはスポーツゲーム、軍事シミュレーションプログラム、多人数オンライン戦術競技（Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｂａｔｔｌｅ Ａｒｅｎａ、ＭＯＢＡ）ゲーム、大逃避射撃ゲーム、模擬戦略ゲーム（Ｓｉｍｕｌａｔｉｏｎ Ｇａｍｅ、ＳＬＧ）等であってもよく、本出願の実施例はゲーム系アプリケーションプログラムのタイプを限定するものではない。該対戦端末１１０は、スマートフォン、タブレット、パーソナルコンピュータ等であってもよい。本出願の実施例では、仮想オンライン解説ゲームシーンでは、対戦端末１１０はゲーム系アプリケーションプログラムを動作させる場合、ユーザは、対戦端末１１０によって仮想オブジェクトが対戦において戦中行為を実行することを制御することができ、それに応じて、対戦端末１１０は、ユーザが仮想オブジェクトを制御する対戦操作命令を受信し、該対戦操作命令を解説サーバ１２０に送信することにより、解説サーバ１２０は受信された対戦操作命令に基づいて、解説サーバ１２０で対戦レンダリングを行うことができる。

対戦端末１１０は、有線または無線の通信方式で解説サーバ１２０と直接的または間接的に接続されている。

解説サーバ１２０は、ゲーム系アプリケーションプログラムのバックグラウンドサーバ又は業務サーバであり、オンラインゲーム解説を行い、他のライブ配信プラットフォーム又はライブ配信端末に解説ビデオストリームをプッシュするために用いられる。それは独立した物理サーバであってもよく、複数の物理サーバから構成されたサーバクラスタ又は分散的システムであってもよく、さらにクラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、コンテンツ配信ネットワーク（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ、ＣＤＮ）、及びビッグデータと人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。本出願の実施例では、解説サーバ１２０は、複数の対戦端末１１０から送信された対戦操作命令（対戦命令フレーム）を受信するために用いられることができ、例えば、解説サーバ１２０は、対戦端末１１２および対戦端末１１１から送信された対戦操作指令を受信することができる。対戦命令フレームに対する分析に基づいて解説データストリームを生成する一方、対戦命令フレームに基づいてオンライン対戦レンダリングを行い、対戦ビデオストリームをリアルタイムに生成し、解説データストリームと対戦ビデオストリームとをマージし、解説データストリームを生成し、ライブ配信端末１３０にプッシュする。

好ましくは、サーバアーキテクチャの設計に基づき、解説サーバ１２０には対戦ビデオストリーム生成サーバ（対戦命令フレームに基づいて対戦画像をレンダリングし、対戦ビデオストリームを録画して生成するために用いられる）、解説データストリーム生成サーバ（対戦命令フレームに基づいて解説データストリームを生成するために用いられる）及び解説ビデオストリーム生成サーバ（対戦ビデオストリーム及び解説データストリームに基づいて解説ビデオストリームを生成するために用いられる）を含むことができる。

ライブ配信端末１３０は、有線又は無線の通信方式で解説サーバ１２０と直接的又は間接的に接続されている。

ライブ配信端末１３０は、ライブ配信クライアント又はビデオクライアントを動作させる装置であってもよく、ライブ配信クライアント又はビデオクライアントに対応するバックグラウンドサーバであってもよい。本出願の実施例では、ライブ配信端末１３０はライブ配信クライアント又はビデオクライアントを動作させる装置であれば、解説サーバ１２０から送信された解説ビデオストリームを受信し、解説ビデオストリームを復号し、ライブ配信クライアント又はビデオクライアントで該解説ビデオを再生することができる。好ましくは、ライブ配信端末１３０はライブ配信クライアント又はビデオクライアントに対応するバックグラウンドサーバであれば、それに対応して、ライブ配信端末１３０は、解説サーバ１２０から送信された解説ビデオストリームを受信し、解説ビデオストリームを対応するライブ配信クライアント又はビデオクライアントにプッシュすることができる。

図２を参考し、本出願の例示的な一実施例に示される解説ビデオ生成方法のフローチャートを示し、本出願の実施例は該方法を図１に示す解説サーバに応用することを例として説明し、該方法は以下を含む。

ステップ２０１で、対戦命令フレームを取得し、対戦命令フレームは少なくとも一つの対戦操作命令を含み、対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられる。

関連技術において対戦が終了した後、対戦ビデオに基づいて解説テキストを準備し、解説テキストを音声に変換して放送し、解説ビデオを生成することと異なり、本出願の実施例の応用シーンはオンライン対戦解説シーンであり、すなわち、対戦過程において解説サーバは対応する解説ビデオストリームを自動的に生成し、解説ビデオストリームをライブ配信側にプッシュして放送し、それにより解説ビデオの生成適時性を向上させ、対戦過程において対応する解説ビデオをリアルタイムに生成するために、可能な実施形態では、対戦命令フレームに対する分析により、オンライン対戦ビデオレンダリング及びオンライン分析解説を実現することができる。

そのうち、対戦命令フレームは少なくとも一つの対戦操作命令を含み、対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられ、戦中行為とはユーザにより仮想オブジェクトが対戦に入った後の行為を制御することであり、例えば、仮想オブジェクトが仮想環境で移動することを制御し、仮想オブジェクトがスキルを出すことを制御し、仮想オブジェクトがプリセットゲーム動作を行うことを制御することなどである。

そのうち、端末は対戦操作命令によって仮想オブジェクトが対戦において戦中行為を実行することを制御することができる。例えば、ユーザーがゲームアプリケーションを起動し、端末を介してゲームアプリケーションにおけるスキルを出すコントロールをタッチすると、端末はユーザーのタッチ操作に基づいて、対戦操作命令を生成し、対戦操作命令に基づいて仮想オブジェクトがスキルを出すことを制御することができる。

そのうちの一実施例では、対戦操作命令はフレームの形態で定義され、各対戦命令フレームは、プレイヤキャラクタ、ノンプレイヤキャラクタ（Ｎｏｎ－Ｐｌａｙｅｒ Ｃｈａｒａｃｔｅｒ、ＮＰＣ）などのゲーム内要素に対する複数の対戦操作命令を含むことができる。

ステップ２０２で、対戦命令フレームに基づいて解説データストリームを生成し、解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、対戦イベントは仮想オブジェクトが戦中行為を実行するときにトリガされる。

オンライン対戦解説を実現し、解説ビデオをリアルタイムに生成するために、本出願の実施例はオンラインゲーム理解技術を提供し、すなわち、対戦命令フレームに対する分析及び理解のオンライン対戦過程に基づき、対戦過程において解説する必要がある対戦イベントを得ることができる。

対戦命令フレームは対戦操作命令の集合であるため、可能な実施形態では、解説サーバは対戦命令フレームに含まれる各対戦操作命令を分析することにより、各対戦命令フレームを受信した後の仮想環境での各オブジェクト属性値の変化状況を正確に算出し、そこから解説が必要な対戦イベントをマイニングし、それにより対戦イベントに基づいて解説テキストを生成し、解説テキストを解説オーディオに変換し、それにより対戦命令フレームに対する分析により解説データストリームを生成する過程を実現する。

一実施例では、解説データストリームは解説オーディオに加えて解説テキストを含むことができ、それにより、後に解説ビデオストリームを合成するときに解説ビデオストリームにおける対応する解説ビデオフレームに解説テキストを追加することができる。

例示的な一例では、対戦命令フレームに含まれる対戦操作命令が「沈ｘｘは一つの混合爆弾を爆発させる」である場合、解説サーバは対戦中の各要素が該対戦操作命令での対応する位置、HP（ヒットポイント）等の情報を算出することができ、算出された位置、HP（ヒットポイント）等の情報に基づき、対戦で仮想オブジェクトが該混合爆弾をトリガした後にHP（ヒットポイント）低下が多いことが特定されると、対応的に、対戦命令フレームを分析することにより、対戦イベントが「沈ｘｘは一つの混合爆弾を爆発させ、傷害が高い」と特定することができ、それにより該対戦イベントを説明する解説オーディオをさらに生成する。

ステップ２０３で、対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれる。

オンラインで解説ビデオを生成する原理に基づき、ユーザが異なるゲームクライアントで仮想オブジェクトを制御して対戦を行う過程において、オンラインで対戦過程と同じ解説ビデオを生成する必要がある場合、対応的に、対戦画面をリアルタイムにレンダリングする必要があり、それにより対戦が終了した後に対戦ビデオを取得し、対戦ビデオを処理して解説ビデオを生成する必要がなく、さらに解説ビデオの生成のリアルタイム性及び適時性を向上させる。

ユーザは端末（携帯電話側）にインストールされたゲームクライアントで対戦を行うと、実際にはゲームクライアントが受信された対戦操作命令、及びサーバ（ゲームクライアントに対応するバックグラウンドサーバ又は業務サーバ）から転送された他のユーザからの対戦操作命令に基づき、ゲーム内の各オブジェクト又は要素の属性変化をリアルタイムにレンダリングする過程であり、上記ゲーム対戦レンダリング過程に基づき、可能な実施形態では、解説サーバにゲームクライアントをインストールしてもよく、他のユーザによる操作されたゲームクライアントの対戦操作命令を受信するために用いられ、且つこれらの対戦操作命令に基づき、対戦画面をリアルタイムにレンダリングし、最後に解説ビデオを生成する必要があるため、レンダリングされた対戦画面を録画する必要があり、それにより対戦ビデオフレームを含む対戦ビデオストリームを生成する。

説明すべきものとして、ステップ２０２とステップ２０３は同時に実行されてよく、先にステップ２０２が実行され、次にステップ２０３が実行されてもよく、又は先にステップ２０３が実行され、次にステップ２０２が実行されてもよく、本出願の実施例はステップ２０２とステップ２０３の実行順序を限定するものではない。

ステップ２０４で、解説データストリームと対戦ビデオストリームをマージし、解説ビデオストリームを生成し、解説ビデオストリームにおける同一の対戦イベントに対応する対戦ビデオフレームと解説オーディオは時間的に整合する。

本実施例が提供するオンライン解説ビデオの生成過程において、解説サーバはそれぞれ二つのデータストリームを生成し、一つは解説データストリームであり、一つは対戦ビデオストリームであり、二つのデータ処理プロセスの違いにより、例えば、解説データストリームの生成過程において、対戦命令フレームの分析過程を行う必要があるため、生成速度が遅く、また、対戦ビデオストリームはプレイヤがゲームをロードしてから起動され、レンダリングされ及び録画されたものであるが、解説データストリームは対戦してから処理されたものであり、したがって、二つのデータストリームの処理速度の違いに基づき、解説ビデオを合成する過程において、二つのデータストリームの処理速度の違いを適応する必要があり、一つの基準によって二つのデータストリームを整合させて解説ビデオの時間軸に同期し、すなわち、解説ビデオを生成する過程において、解説サーバは同一の対戦イベントに対応する対戦ビデオフレームと解説オーディオを時間的に整合させ、すなわち該対戦イベントに対応する対戦ビデオフレームを表示するとともに、該対戦イベントに対応する解説オーディオも同時に再生を開始する必要がある。

以上説明したように、本出願の実施例では、オンラインで対戦命令フレームを分析することにより、解説オーディオを生成して対戦ビデオをレンダリングし、解説オーディオと対戦ビデオに対して時間的に整合し、解説ビデオを生成する。対戦命令フレームを分析して解説ビデオを生成することにより、対戦過程で対戦にマッチングする解説ビデオを生成することができ、対戦後にさらに解説ビデオを生成する必要がなく、解説ビデオの生成の適時性を向上させる。対戦で対戦にマッチングする解説ビデオを生成することにより、先に対戦過程ビデオを録画して記憶し、そして解説ビデオを生成する必要があることを回避し、録画及び記憶にかかる電力及び記憶リソースを節約することができる。一方、人工で解説テキストを作成して解説ビデオを生成する必要がなく、自動化された解説ビデオ生成過程を実現することができ、解説ビデオの生成効率をさらに向上させ、かつ解説ビデオと対戦とのマッチング度を向上させ、また、マッチングしていないことによる修正の必要性を効果的に低減させ、解説ビデオを修正するためにかかる電力や演算リソースを節約する。

対戦ビデオストリームと解説データストリームとの間のデータ処理速度の違いにより、解説データストリームと対戦ビデオストリームとの間に時間の違いが存在し、解説ビデオストリームを合成する過程において、対戦ビデオストリームと解説データストリームの開始時間だけを整合させると、明らかに表示中の対戦ビデオフレームに再生中の解説オーディオによる説明された対戦イベントを表示することを保証することができず、したがって、可能な実施形態では、対戦ビデオストリームと解説データストリームに対して時間的に整合する場合、解説サーバは対戦ビデオフレームと解説オーディオとの間の対応関係を分析して取得する必要があり、同一対戦イベントに対応する対戦ビデオフレームと解説オーディオを時間的に整合する。

図３を参考し、本出願の他の例示的な実施例に示される解説ビデオ生成方法のフローチャートを示し、本出願の実施例は該方法を図１に示す解説サーバに応用することを例として説明し、該方法は以下を含む。

ステップ３０１で、対戦命令フレームを取得し、対戦命令フレームは少なくとも一つの対戦操作命令を含み、対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられる。

そのうち、対戦命令フレームは第一フレームレートに対応し、すなわち対戦命令フレームは第一フレームレートに基づいてリフレッシュされ又は取得されたものである。例示的な一例では、第一フレームレートが３０ＦＰＳであれば、それに対応して、３３ｍｓ毎に対戦命令フレームを取得し、又は隣接する対戦命令フレームの間の時間間隔は３３ｍｓであり、それに対応して、対戦命令フレームのそれぞれには、３３ｍｓ内に生成された対戦操作命令が含まれる。

可能な実施形態では、解説サーバは第一フレームレートに基づいて対戦命令フレームを受信又は取得し、対戦命令フレームに基づいて対戦分析を行い、対戦操作命令に対応する戦中行為を実行した後の対戦における各オブジェクトの属性情報を取得する。

ステップ３０２で、プリセット対戦イベントセットを取得し、対戦イベントセットに複数のプリセット対戦イベントが含まれ、対戦命令フレームに基づき、仮想オブジェクトが対戦において対応する戦中行為を実行することを制御し、戦中行為を実行した後の対戦における各仮想オブジェクトの属性情報を特定する。

そのうち、属性情報は対戦における各仮想オブジェクトの位置情報、HP（ヒットポイント）情報、速度情報、レベル情報、スキル情報、戦績情報、装備情報、スコア情報などを含むことができ、本出願の実施例は属性情報に具体的に含まれる情報タイプを限定するものではない。

可能な実施形態では、解説サーバは、対戦命令フレームを受信した後、対戦命令フレームに含まれる各対戦操作命令に基づいて、仮想オブジェクトが戦中で対応する戦中行為を実行することを制御し、対戦命令フレームに基づいて、仮想オブジェクトが戦中で対応する戦中行為を実行することを制御した後、解説サーバは各対戦操作命令で、仮想環境内の各オブジェクトの属性情報を正確に算出することにより、該属性情報に基づいて解説ための対戦イベントを分析してマイニングする。

好ましくは、対戦における各オブジェクトはユーザによって制御される仮想オブジェクト（すなわちプレイヤキャラクタ）、バックグラウンドによって制御される仮想オブジェクト（ノンプレイヤキャラクタＮＰＣ）又は仮想オブジェクト内の様々な仮想建物等を含むことができ、本出願の実施例では対戦内に含まれるオブジェクトタイプを限定するものではない。

例示的な一例では、戦中行為が「ホームチームのヒーローがアウェーチームを撃殺する赤／青ＢＵＦＦ」であれば、それに対応的に、該戦中行為を実行した後、取得された対戦における各オブジェクトの属性情報は「ホームチームのヒーローHP（ヒットポイント）、アウェーチームのヒーローHP（ヒットポイント）、アウェーチームのヒーロー位置、アウェーチームのヒーロー装備等の情報」を含む。

そのうちの一実施例では、解説サーバはオンライン解説過程において分析する必要がある属性情報タイプ（属性情報タイプすなわち解説特徴次元である）をプリセットすることができ、それによりオンライン解説過程において、プリセットされた解説特徴次元に基づいて必要な属性情報を取得することができる。

例示的な一例では、多人数オンライン戦術競技ゲームを例として、得られた属性情報をまとめて四つの類別を得ることができり、プレーヤキャラクタ（ユーザによって制御される仮想オブジェクト）、ＮＰＣ、合戦、スタッツなどである。各類別に対して対応する属性情報が細分化され、例えば、合戦類別について、対応する属性情報は、合戦位置、合戦に含まれる仮想オブジェクト（仮想オブジェクトのタイプや仮想オブジェクトの数）、合戦のタイプ、合戦の目的、合戦の時間、合戦の結果などを含むことができる。単一の仮想オブジェクトについて、対応する属性情報はHP（ヒットポイント）、レベル、位置、装備、スキル、戦績などを含んでもよい。ＮＰＣについて、対応する属性情報はHP（ヒットポイント）、位置、攻撃スキル等を含むことができる。統計類別について、対応する属性情報は得点、塔数、勝率を含むことができる。

ステップ３０３で、複数のプリセット対戦イベントから属性情報にマッチングする少なくとも一つの候補対戦イベントをスクリーニングする。

オンラインでの対戦イベントのマイニング及び理解を実現するために、そのうちの一実施例では、解説サーバは解説シーンで注目すべき対戦イベントを予め分析し、これらの対戦イベントを解説サーバにプリセットさせ、プリセット対戦イベントセットを得て、プリセット対戦イベントセットにおける各プリセット対戦イベントにいずれも対応するプリセット属性情報（プリセット属性情報も該プリセット対戦イベントをトリガするプリセット条件である）を設定し、それによりオンライン解説過程において、プリセット属性情報及び取得された属性情報に基づき、少なくとも一つの候補対戦イベントを特定することができる。

プリセット対戦イベントセットにおける各プリセット対戦イベントはいずれもプリセット属性情報に対応するため、属性情報にマッチングする少なくとも一つの候補対戦イベントを特定する場合、解説サーバは属性情報がプリセット対戦イベントセットにおける任意のプリセット対戦イベントのプリセット属性情報にマッチングするか否かを特定する必要があり、すなわち、該属性情報と各プリセット対戦イベントのプリセット属性情報に対して情報マッチング処理を行う必要があり、それにより属性情報がプリセット対戦イベントセットにおけるあるプリセット対戦イベントのプリセット属性情報にマッチングすると特定する場合、マッチングされるプリセット属性情報に対応するプリセット対戦イベントを該属性情報にマッチングする候補対戦イベントと特定することができ、属性情報がいずれかのプリセット対戦イベントに対応するプリセット属性情報にいずれもマッチングしない場合、それに対応的に、該属性情報も候補対戦イベントに対応しない。

予め対戦イベントセットを設定することにより、仮想オブジェクトの属性情報を取得した後、プリセット対戦イベントセットから候補対戦イベントを迅速にスクリーニングすることができ、候補対戦イベントをリアルタイムに生成することに比べ、本出願の実施例は候補対戦イベントの特定効率を向上させることができる。また、予め対戦イベントを生成するので、候補対戦イベントをリアルタイムに生成するためにかかる電力や演算リソースを低減することもできる。

そのうちの一実施例では、複数のプリセット対戦イベントから属性情報にマッチングする少なくとも一つの候補対戦イベントをスクリーニングすることは、属性情報と対戦イベントセットにおける各プリセット対戦イベントのプリセット属性情報に対して情報マッチング処理を行い、属性情報にマッチングする目標プリセット属性情報を得ることと、目標属性情報に対応するプリセット対戦イベントに基づき、候補対戦イベントを特定することとを含む。

候補対戦イベントを特定する必要がある場合、解説サーバは戦中行為を実行した後の対戦における各オブジェクトの属性情報を取得し、該属性情報のそれぞれをプリセット対戦イベントセットにおける各プリセット対戦イベントのプリセット属性情報と情報マッチング処理を行い、該属性情報にマッチングする目標プリセット属性情報を取得し、目標プリセット属性情報に対応するプリセット対戦イベントに基づき、該属性情報にマッチングする候補対戦イベントを特定する。

そのうちの一実施例では、候補対戦イベントを特定する場合、仮想オブジェクトの属性情報とプリセット対戦イベントのプリセット属性情報をマッチングして候補対戦イベントを得ることにより、スクリーニングされた候補対戦イベントをユーザの対戦注目視角内の対戦イベントにマッチングすることができ、このように、同じ対戦イベントを重複に解説する確率を低減することで重複解説ビデオを生成するためにかかる電力や演算リソースを低減することができるだけでなく、特定された最終解説イベントの正確性を向上させることで不正確な解説ビデオを生成するためにかかる電力や演算リソースを低減することができる。

それに応じて、目標属性情報に対応するプリセット対戦イベントに基づき、候補対戦イベントを特定することは、目標プリセット属性情報に対応するプリセット対戦イベントを特定し、目標プリセット属性情報に対応するプリセット対戦イベントにおけるプリセット解説条件を満たしているプリセット対戦イベントを候補対戦イベントとすることを含む。そのうち、プリセット解説条件は対戦視角条件及びイベント重複条件のうちの少なくとも一つを含み、対戦視角条件とはプリセット対戦イベントが対戦視聴視角内に位置することであり、すなわち、属性情報が任意のプリセット対戦イベントに対応するプリセット属性情報にマッチングした後、解説サーバはさらに目標プリセット属性に対応するプリセット対戦イベントがプリセット解説条件を満たすか否かを判断する必要があり、例えば、解説サーバはさらに目標プリセット属性に対応するプリセット対戦イベントが対戦視角内に位置するか否かを判断する必要があり、目標プリセット属性に対応するプリセット対戦イベントが対戦視角内に位置すると特定すれば、該プリセット対戦イベントを該対戦命令フレームに対応する候補対戦イベントと特定し、そうでなければ、該プリセット対戦イベントが現在の対戦視角外に位置すると特定すれば、該プリセット対戦イベントを属性情報によるマッチングされた複数の候補対戦イベントから削除する。

そのうち、イベント重複条件とはプリセット対戦イベントがプリセット時間内に出現する回数が回数閾値より小さいことである。すなわち、属性情報があるプリセット対戦イベントに対応するプリセット属性情報にマッチングすると、さらにプリセット時間内に該プリセット対戦イベントを重複して解説するか否かを判断する必要があり、重複して解説する場合がないと、該プリセット対戦イベントを該属性情報にマッチングする候補対戦イベントに特定し、そうでなければ、該プリセット対戦イベントを候補対戦イベントから削除する。

そのうちの一実施例では、候補対戦イベントは対戦視角条件とイベント重複条件のいずれかを満たす必要があると設定してもよく、候補対戦イベントは対戦視角条件とイベント重複条件を同時に満たす必要があると設定してもよい。

プリセット解説条件は対戦視角条件及びイベント重複条件のうちの少なくとも一つを含み、目標プリセット属性情報に対応するプリセット対戦イベントがプリセット解説条件を満たすプリセット対戦イベントを候補対戦イベントとすることにより、対戦イベントを重複して解説する確率を低減させることができるだけでなく、対戦視聴角度内に位置しない対戦イベントを解説する確率も低減させることができ、さらに対戦視聴角度内に位置しない解説ビデオの生成にかかる電力や演算リソースを低減させ、かつ対戦視聴角度が不適切であることによる修正の必要性を低減させ、解説ビデオを修正するために必要な電力や演算リソースを節約する。

図４に示すように、プリセット対戦イベントに対応するプリセット属性情報の設定インタフェース図であり、設定インタフェース４０１において、プリセット対戦イベントは「ヒーローが赤／青ＢＵＦＦに対抗する」であり、それに対応するプリセット属性情報（トリガ条件）は「ホームチームヒーローがアウェーチームを撃殺する赤／青ＢＵＦＦ、アウェーチームヒーローが該ＢＵＦＦ周囲にあり、ホームチームヒーローのHP（ヒットポイント）状態が良い」などであってもよい。

ステップ３０４で、少なくとも一つの候補対戦イベントから目標対戦イベントをスクリーニングする。

属性情報にマッチングする候補対戦イベントは複数含む可能性があるが、各解説時刻に一つの対戦イベントのみを解説することができ、したがって、可能な実施形態では、属性情報には複数の候補対戦イベントがマッチングされる場合、複数の候補対戦イベントから最適な対戦イベントを目標対戦イベントとして選択し、後続解説テキスト及び解説オーディオを生成する必要がある。

そのうちの一実施例では、少なくとも一つの候補対戦イベントから目標対戦イベントをスクリーニングすることは以下のステップを含むことができる。

一、各候補対戦イベントに対応するイベント重みを取得する。

そのうち、イベント重みは各候補対戦イベントに対応するオフラインイベント重み又は基礎イベント重みである。すなわち、このイベント重みは、現在の対戦とは直接関係しない。

可能な実施形態では、解説サーバに解説イベント採点モデルが設けられ、該解説イベント採点モデルは専門解説主催者による選択された解説イベントを注記することにより、オフラインで反復学習されたものであり、それにより、各対戦命令フレームで生成された候補対戦イベントを訓練された解説イベント採点モデルに入力するだけで、各候補対戦イベントのそれぞれに対応するイベント重みを取得し、かつ各候補対戦イベント及び対応するイベント重みを解説サーバに記憶することができ、それによりオンライン解説過程において、特定された候補対戦イベントに基づいて対応するイベント重みを見つけることができる。

そのうちの一実施例では、解説サーバに解説イベント採点モデルが設けられるため、候補対戦イベント及び対応するイベント重みを記憶する必要がなく、オンライン解説過程において、解説サーバは各候補対戦イベントを解説イベント採点モデルに入力することができ、それにより各候補対戦イベントに対応するイベント重みを得る。

例示的な一例では、対戦命令フレームに基づいて３つの候補対戦イベントを生成すると、取得された３つの候補対戦イベントに対応するイベント重みはそれぞれ以下のとおりである。候補対戦イベント１に対応するイベント重みは、０．６であり、候補対戦イベント２に対応するイベント重みは、０．７であり、候補対戦イベント３に対応するイベント重みは、０．８である。

二、各候補対戦イベントが対戦内における重要度に基づき、各候補対戦イベントに対応するイベントスコアを特定する。

ステップ一で取得されたイベント重みはオフラインイベント重みであり、現在の対戦と直接関係がないため、オフラインイベント重みのみに基づいて目標対戦イベントの選択を行うと、選択された目標対戦イベントは対戦において最も素晴らしい又はユーザがより解説したい対戦イベントではない可能性があり、したがって、可能な実施形態では、イベント重みに加えて、解説サーバはさらに各候補対戦イベントが対戦内における重要度を結合して各候補対戦イベントに対応するイベントスコアを特定する必要がある。

そのうち、該各候補対戦イベントに対応する重要度は候補対戦イベントのイベント発生位置、候補対戦イベントをトリガする仮想オブジェクトタイプ、候補対戦イベントをトリガする仮想オブジェクト数のうちの少なくとも一つに関連する。すなわち、対戦イベントの発生位置が現在の対戦視角内に位置すれば、対応して、該対戦イベントのイベントスコアを高く設定し、そうでなければイベントスコアを低く設定する。対戦イベントをトリガする仮想オブジェクトの数が多ければ、該対戦イベントのイベントスコアを高く設定し、そうでなければ対戦イベントのイベントスコアを低く設定する。対戦イベントをトリガする仮想オブジェクトが対戦における主要なキャラクタ（又は重要なキャラクタ）であれば、該対戦イベントのイベントスコアを高く設定し、そうでなければ該対戦イベントのイベントスコアを低く設定し、そのうち主要なキャラクタ及び重要なキャラクタは開発者によって予め設定される。

そのうちの一実施例では、複数人のオンライン競技系ゲームを例とし、イベントスコアを特定する時、解説サーバは合戦採点、合戦内のイベント採点という二つのイベント採点過程により、総合的に各候補対戦イベントに対応するイベントスコアを得ることができ、そのうち、合戦採点は合戦人数（合戦人数が多いほどスコアが高いと設定する）、合戦位置（合戦のプリエンプションのリソースが重要であるほどスコアが高いと設定する）、合戦結果（合戦勝利であるとスコアを高く設定する）などの要素に関連する。合戦内のイベント採点は、対戦イベントに参加するヒーローのタイプ（ヒーローキャラクタが重要であるほどイベントスコアを高く設定する）、対戦イベントに参加するヒーローのスコア（ヒーローが取得したスコアが高いほどイベントスコアを高く設定する）などに関連する。

好ましくは、候補対戦イベントに対応するイベントスコアに影響を与える要素は開発者によって予め設定されてもよい。

三、イベント重みによってイベントスコアに対して重み付け処理を行い、各候補対戦イベントに対応するイベント重み付けスコアを得る。

可能な実施形態では、イベント基礎重み及びオンライン採点の状況を結合して各候補対戦イベントに対応するイベント重み付けスコアを得ることにより、該イベント重み付けスコアに基づいて、複数の候補対戦イベントから目標対戦イベントをスクリーニングすることができる。すなわち、解説サーバは候補対戦イベントのイベント重みとイベントスコアとを結合して該候補対戦イベントのイベント重み付けスコアを得ることができる。

例示的な一例では、対戦命令フレームは三つの候補対戦イベントに対応する場合、そのうち、候補対戦イベント１に対応するイベント重みが０．６であり、イベントスコアが５０であり、候補対戦イベント２に対応するイベント重みは０．７であり、イベントスコアは５０であり、候補対戦イベント３に対応するイベント重みは０．６であり、イベントスコアは８０であり、各候補対戦イベントに対応するイベント重み付けスコアはそれぞれ以下のとおりであり、候補対戦イベント１に対応するイベント重み付けスコアは３０であり、候補対戦イベント２に対応するイベント重み付けスコアは３５であり、候補対戦イベント３に対応するイベント重み付けスコアは４２である。

好ましくは、イベントスコアを設定する場合、十分制に基づいて採点することができ、百分制に基づいて採点することもでき、本出願の実施例はこれを限定しない。

四、イベント重み付けスコアが最も高い候補対戦イベントを目標対戦イベントとして特定する。

ある解説時点では単一の対戦イベントしか解説することができず、且つイベント重み付けスコアが高いほど、オフライン解説シーンでは対戦イベントの注目度が高いとともに、現在の対戦シーンでは対応する重要度も高いことを示すので、複数の候補対戦イベントから目標対戦イベントを特定する場合、イベント重み付けスコアが最も高い候補対戦イベントを目標対戦イベントとして特定する。

例示的な一例では、各候補対戦イベントに対応するイベント重み付けスコアはそれぞれ以下のとおりであり、候補対戦イベント１に対応するイベント重み付けスコアは３０であり、候補対戦イベント２に対応するイベント重み付けスコアは３５であり、候補対戦イベント３に対応するイベント重み付けスコアは４２である場合、対応する目標対戦イベントは候補対戦イベント３である。

他の可能な応用シーンでは、多人数オンライン競技系ゲームを例として（団戦シーンを含む）、複数の候補対戦イベントから目標対戦イベントを選択する場合、解説サーバは先に団戦に含まれる仮想オブジェクトの数に基づいて対戦イベントを選択でき、例えば、対戦内に二組の団戦を含み、団戦Ａに対応する仮想オブジェクトの数は３個であり、団戦Ｂに対応する仮想オブジェクトの数は７個であると、対戦イベントを選択する場合、優先的に団戦Ｂに対応する候補対戦イベントを選択し、さらに団戦Ｂに対応する複数の候補対戦イベントから目標対戦イベントを選択し、選択要素に仮想オブジェクトタイプ及び仮想オブジェクトスコアを含むことができ、例えば、団戦Ｂは３つの候補対戦イベントに対応し、この３つの仮想対戦イベントはそれぞれ仮想オブジェクトＡ及び仮想オブジェクトＢによって実行され、そのうち、仮想オブジェクトＡは重要なヒーロキャラクタであり、対応して、仮想オブジェクトＡに対応する候補対戦イベントを目標対戦イベントとして選択する。

可能な応用シーンでは、単一フレームの対戦命令フレームに基づいて目標対戦イベントを特定することができる。好ましくは、対戦イベントを特定する場合、単一フレームの対戦命令フレームのみに基づいて、一つの目標対戦イベントを特定できないときに、少なくとも二つのフレームの対戦命令フレームに基づいて目標対戦イベントを特定する必要がある。

イベント重み付けスコアが高いほど、オフライン解説シーンでは対戦イベントの注目度が高いとともに、現在の対戦シーンでは対応する重要度も高いことを示し、したがって、イベント重み付けスコアが最も高い候補対戦イベントを目標対戦イベントに特定し、最終的に解説された対戦イベントの重要度を向上させることができ、このように、ユーザ体験を向上させるだけでなく、対戦イベントの解説効果も向上させる。また、重点対戦イベントに対して重点の解説ビデオを生成するので、重要でない対戦イベントに対して重要でない解説ビデオが生成される確率も低減ことができ、それにより重要でない解説ビデオの生成にかかる電力や演算リソースを節約することができる。

ステップ３０５で、目標対戦イベントに基づいて解説テキストを生成し、解説テキストに対して処理を行い、解説データストリームを生成する。

可能な実施形態では、対戦命令フレームに基づいて対応する目標対戦イベントを分析して取得した後、解説サーバは自然言語理解（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、ＮＬＵ）技術により解説テキストを自動的に生成し、ＴＴＳ技術により解説テキストを解説オーディオに変換することにより、解説データストリームを取得してオンラインゲーム理解の過程を実現する。

好ましくは、解説オーディオは、単一の目標対戦命令フレームまたは複数の目標対戦命令フレームに対応する目標対戦イベントを説明するものであり、可能な実施形態では、解説オーディオは、対応する目標対戦イベントに関連したり、対応する対戦命令フレームのフレーム番号に関連し、それにより、後に解説オーディオの合成の際に、フレーム番号から対応する解説オーディオを見つけることができる。

ステップ３０６で、対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれる。

ステップ３０６の実施形態は上記実施例を参照することができ、本実施例では、ここで説明を省略する。

ステップ３０７で、対戦ビデオストリームにおける目標対戦ビデオフレームを特定し、目標対戦ビデオフレームは前記対戦ビデオストリームにおけるいずれかの一つのフレームの対戦ビデオフレームであり、目標対戦ビデオフレームに対応する対戦時間を目標対戦時間として特定し、目標対戦時間は対戦の開始から目標対戦ビデオフレームまでの時間である。

そのうち、解説データストリームと対戦ビデオストリームにデータ処理速度の違いが発生される原因は以下を含む。対戦ビデオストリームはユーザがゲームをロードしてからレンダリングが起動されて録画されたものであるが、解説データストリームはプレイヤが対戦に入ってから分析されて生成されたものであり、そのため、明らかに対戦ビデオストリームの録画時間は対戦時間より大きいことで、解説データストリームと対戦ビデオストリームに時間的な違いが存在することを引き起こす。一方、対戦命令フレームのフレームレートと対戦ビデオフレームの録画フレームレートが異なるため、対戦ビデオストリームと解説データストリームに時間的な違いが存在することも引き起こす。このため、解説データストリームと対戦ビデオストリームとの対応関係を分析する必要があり、それにより同一の対戦イベントの対戦ビデオフレームと解説オーディオとを時間的に整合して解説ビデオストリームの生成を実現することができる。

対戦ビデオストリームがどのように長引くことに関わらず、解説はゲーム時間（対戦時間）を主要タイムラインとして行われたものであるので、可能な実施形態では、解説サーバは、ゲーム対戦におけるゲーム時間に基づいて解説ビデオストリームにおける時間軸を設定し、すなわち、解説サーバは、対戦ビデオフレームにおける目標対戦時間である対戦の開始から目標対戦ビデオフレームまでの時間を取得することによって、該対戦時間に対応する解説オーディオを特定する。そのうち、目標対戦ビデオフレームは対戦ビデオストリームにおける一つのビデオフレームであり、したがって、該目標対戦ビデオフレームの目標対戦イベントは対戦の開始から目標対戦ビデオフレームまでの時間である。

ステップ３０８で、目標対戦時間に生成された対戦命令フレームを目標対戦命令フレームとして特定し、目標対戦命令フレームの目標フレーム番号を特定する。

受信された目標対戦命令フレームに基づいて目標解説オーディオが生成されるので、目標対戦イベントを説明する目標解説オーディオは目標対戦命令フレームに対応するフレーム番号に対応することができ、したがって、可能な実施形態では、解説サーバは対戦時間に基づいて目標対戦命令フレームの目標フレーム番号を生成し、それにより目標フレーム番号に基づいて目標解説オーディオを特定することができる。

そのうちの一実施例では、目標対戦命令フレームの目標フレーム番号が特定される過程について、目標対戦時間および第一フレームレートに基づいて、目標対戦命令フレームの目標フレーム番号が特定されることであってもよい。

対戦命令フレームにプリセットの取得又はリフレッシュフレームレート（すなわち第一フレームレート）が存在するため、それに応じて、目標対戦時間が何フレーム目の対戦命令フレームに対応するかを特定する場合、目標対戦時間及び第一フレームレートに基づき、目標対戦命令フレームの目標フレーム番号を算出する必要がある。

例示的な一例では、目標対戦時間で目標対戦命令フレームを生成し、第一フレームレートは３０ＦＰＳであり、すなわち隣接する二つのフレームの対戦命令フレームの間は３０ｍｓ離れ、目標対戦時間は１３分５６秒３４ミリ秒である場合、対応して、目標対戦命令フレームの目標フレーム番号は目標対戦ビデオフレームの目標対戦時間を、隣接する対戦命令フレームの時間間隔で割ったものであり、すなわち、目標対戦時間１３分５６秒３４ミリ秒に対応する目標フレーム番号は２５３３４フレームである。

目標対戦時間と第一フレームレートを簡単に演算するだけで、目標対戦命令フレームの目標フレーム番号を得ることができ、目標フレーム番号の特定効率を向上させるだけでなく、複雑な演算にかかる電力や記憶リソースを節約することができる。

そのうちの一実施形態では、図５に示すように、本出願の例示的な一実施形態に示される対戦ビデオフレームと対戦命令フレームとの整合過程の概略図を示す。そのうち、対戦ビデオフレームにおける対戦時間の識別過程はストリームプリングクライアント５１０で行われたものであり、すなわちストリームプリングクライアント５１０は対戦ビデオストリームを生成するサーバから対戦ビデオストリームをプリングし、対戦ビデオストリームに含まれる各対戦ビデオフレームに対して対戦時間の識別を行い、該対戦時間の識別の過程にはストリームプリング監視５１１と、ビデオ復号５１２と、時間裁断５１３、及び時間識別５１４とが含まれ、そのうち、ストリームプリング監視５１１は対戦ビデオストリームの生成を監視し、適時に対戦ビデオストリームをプリングするものであり、ビデオ復号５１２はプリングされた対戦ビデオストリームをカプセル化解除して連続的な対戦ビデオフレームを得るために用いられるものであり、時間裁断５１３は対戦ビデオフレームにおける対戦時間を含む部分画像を裁断して部分画像を取得した後、後続の時間識別過程を行うために用いられるものであり、時間識別５１４では、対戦ビデオフレームに含まれる時系列が１３５６であると識別することができ、すなわち、対戦ビデオストリームにおける対戦ビデオフレームのビデオ時間３６分２１秒に対応する対戦時間が１３分５６秒であり、ストリームプリングクライアント５１０による識別された各対戦ビデオフレームの時系列は時間キュー５１１が形成されて解説サービス５２０に送信され、解説サービス５２０でフレーム間の整合過程を行い、時間識別に誤りがあり、すなわち隣接する時系列の違いが大きい場合、時間平滑化５１６により取得された時系列を処理し、さらに後続のゲームフレームマッチング５１７を行い、そのうち、ゲームフレームマッチング５１７は時系列（目標対戦時間）に基づいて目標ゲーム命令フレームに対応する目標フレーム番号を生成するために用いられるものであり、該目標フレーム番号は目標対戦イベントに対応すれば、フレーム間整合５１８を行い、すなわち対戦ビデオストリームにおける対戦ビデオフレームのビデオ時間３６分２１秒とフレーム番号が２５３３４である解説オーディオを時間的に整合させる。

ステップ３０９で、目標フレーム番号に対応する対戦イベントを目標対戦イベントとして特定し、目標対戦イベントを説明するための解説オーディオを目標解説オーディオとして、目標解説オーディオと目標対戦ビデオフレームを時間的に整合し、時間的に整合関係を有する目標解説オーディオと目標対戦ビデオフレームとに基づいて解説ビデオストリームを生成する。

各対戦ビデオフレームはいずれも目標対戦イベントに対応するものではなく、且つ目標フレーム番号は目標対戦命令フレームに対応し、目標対戦命令フレームは目標対戦イベントに対応するので、解説サーバは目標フレーム番号に基づいて解説データストリームから対応する目標対戦イベントを見つけることができる。目標フレーム番号に対応する目標対戦イベントを見つけると、該目標対戦イベントを説明する目標解説オーディオと目標対戦ビデオフレームを時間的に整合させ、すなわち目標対戦ビデオフレームを表示するとともに目標解説オーディオを再生する。そのうちの一実施例では、解説データストリームに解説テキストをさらに含むことができ、解説サーバは、解説ビデオストリームを合成するときに、目標対戦ビデオフレームに対応する目標解説テキストを目標対戦ビデオフレームのプリセット位置に埋め込み、該目標解説オーディオと目標対戦ビデオフレームが同一時間になるように調整することができる。

本実施例では、対戦操作命令に指示された戦中行為後の対戦における各オブジェクトの属性情報を分析することにより、属性情報とプリセット対戦イベントのプリセット属性情報に基づき、属性情報に対応する候補対戦イベントをマッチングし、それにより人工介入を必要とせず、対戦イベントを自動的に分析して得るという目的を実現することができ、後続に該対戦イベントに基づいて解説テキストと解説オーディオを生成し、それにより解説ビデオの生成の効率を向上させることができる。また、対戦時間を基準にして解説データストリームと対戦ビデオストリームを調整し、解説ビデオのオンラインマージと生成過程を実現し、それにより、同期されたビデオ画面と解説オーディオに基づいて対戦イベントの解説効果を向上させるように同一の対戦イベントのビデオ画面と解説オーディオを同期させるだけでなく、人工的に対戦ビデオをカットする必要がないため、解説ビデオのオンライン生成の操作コストを低減させる。また、対戦で対戦時間を基準にして解説ビデオや対戦ビデオストリームを調整することができるので、先に対戦過程ビデオを録画して記憶することや先に解説オーディオを生成して記憶してから解説ビデオを生成する必要があることを回避することで、録画及び記憶にかかる電力や記憶リソースを節約することができる。

対戦ビデオフレームにおける対戦時間の精度は秒であるが、画面のリフレッシュはｍｓを間隔とするので、目標フレーム番号を特定する正確性を向上させるために、そのうちの一実施例では、解説サーバは目標対戦ビデオフレームから識別された対戦時間を修正する必要がある。

そのうちの一実施例では、図６に示すように、本出願の例示的な一実施例に示される目標対戦イベントの特定方法のフローチャートを示す。本出願の実施例は該方法を図１に示す解説サーバに応用することを例として説明し、該方法は以下を含む。

ステップ６０１で、画像識別モデルで目標対戦ビデオフレームにおける対戦時間を画像識別し、画像識別結果を得る。

対戦ビデオフレームで対戦時間が表示されるため、可能な実施形態では、解説サーバは目標対戦ビデオフレームにおける対戦時間を画像識別することにより、目標対戦ビデオフレームに対応する目標対戦時間を得ることができる。

好ましくは、解説サーバに画像識別モデルが設けられ、目標対戦ビデオフレームを該画像識別モデルに入力して画像識別を行い、該目標対戦ビデオフレームに含まれる対戦時間を出力することができる。そのうち、画像識別モデルはＣＶ分野における手書きデジタル識別を処理する（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＤＮＮ）モデルであってもよい。

例示的な一実施例では、図７に示すように、本出願の例示的な一実施例に示される対戦ビデオフレームの概略図を示す。そのうち、対戦ビデオフレームに対応するビデオ時間７０２は３６分２１秒であり、該対戦ビデオフレームに対応する対戦時間７０１は１３分５６秒である。

そのうち、目標対戦ビデオフレームにおける対戦時間を画像識別する場合、目標対戦ビデオフレームを直接に画像識別モデルに入力し、画像識別モデルから出力された対戦時間を得ることができ、または、目標対戦ビデオフレームに対して時間裁断を行い、すなわち目標対戦ビデオフレームから対戦時間を含む部分画像を裁断して取得し、該部分画像を画像識別モデルに入力し、画像識別モデルから出力された対戦時間を得る。

ステップ６０２で、画像識別結果に基づいて目標対戦ビデオフレームに対応する対戦時間を特定し、特定された対戦時間を目標対戦時間とする。

可能な実施形態では、解説サーバは、画像識別結果から得られた時間を、目標対戦ビデオフレームに対応する目標対戦時間として直接に特定することができる。

好ましくは、対戦ビデオフレームに含まれる目標対戦時間は秒単位であるが、フレームレートに基づいてフレーム番号を算出する場合、ミリ秒レベルまで精確でなければフレーム間の整合を実現することができず、そのため、可能な実施方式では、解説サーバは頻度統計を導入することにより、画像識別結果から得られた対戦時間を回数累積し、ミリ秒単位の目標対戦時間を得ることができる。

画像識別モデルによって目標対戦ビデオフレームにおける目標対戦時間を画像識別することで、識別された目標対戦時間の正確性を向上させることができ、さらに正確に識別された目標対戦時間に基づいて目標解説オーディオと目標対戦ビデオフレームを時間的に整合する整合精度を向上させる。また、時間整合の整合精度を向上させるため、整合精度が低いことによる修正の必要性を効果的に低減し、解説ビデオを修正するためにかかる電力や演算リソースを節約することができる。

例示的な一実施例では、ステップ６０２は以下のステップを含むことができる。

一、画像識別結果に基づいて目標対戦ビデオフレームに対応する基礎対戦時間を特定する。

可能な実施形態では、画像識別結果から得られた時間データのみを目標対戦ビデオフレームに対応する基礎対戦時間として特定することで、後続に累積回数及び第二フレームレートに基づいて該基礎対戦時間を修正する。

二、基礎対戦時間の履歴識別回数及び第二フレームレートに基づき、対戦時間ずれ量を特定する。

そのうち、第二フレームレートは対戦ビデオストリームに対応するフレームレートであり、第二フレームレートが６０ＦＰＳであれば、対応して隣接する二つのフレームの対戦ビデオフレームの間の時間間隔は１７ｍｓである。

第二フレームレートはミリ秒単位の時間を提供することができるので、可能な実施形態では、解説サーバは、該基礎対戦時間の履歴識別回数及び第二フレームレートに基づいて、実際の対戦時間のずれ量を算出することができる。そのうち、前記基礎対戦時間の履歴識別回数とは履歴識別時間段内に基礎対戦時間が識別された回数である。履歴識別時間段とは、目標対戦ビデオフレームを画像識別するまでの時間段である。

例示的な一例では、第二フレームレートが６０ＦＰＳであり、基礎対戦時間は１３分５６秒であると、該基礎対戦時間が初めて識別されば、対応する対戦時間ずれ量は１７ｍｓであり、該基礎対戦時間が二回目に識別されば、対応する対戦時間ずれ量は３４ｍｓである。

三、基礎対戦時間と対戦時間ずれ量との和を目標対戦時間として特定する。

対戦時間ずれ量はミリ秒単位であるから、対戦時間ずれ量と基礎対戦時間との和を目標対戦時間として特定することで、ミリ秒単位の目標対戦時間を得ることができる。

例示的な一例では、基礎対戦時間が１３分５６秒であり、対戦時間ずれ量が３４ｍｓであると、対応する目標対戦時間は１３分５６秒３４ミリ秒であってよい。

例示的な一実施例では、目標対戦ビデオフレームと目標対戦命令フレームとの間の対応関係は表一及び表二に示すようにである。

表一と表二の対応関係から分かるように、ビデオ時間が３６分２１秒である目標対戦ビデオフレームに対応する目標対戦時間は１３分５６秒３４ミリ秒であり、対応する目標対戦命令フレームの目標フレーム番号は２５３３４であり、対応する目標対戦イベントは“程ｘｘが撃殺される”である。

本実施例では、対戦ビデオフレームにおける対戦時間の履歴識別回数を分析し、対戦ビデオストリームのフレームレートを結合することで、ミリ秒単位の目標対戦時間を正確に算出することができ、それにより、時間次元で目標対戦ビデオフレームと目標解説オーディオとの整合を実現し、このように、目標対戦時間を特定する精度を向上させるだけでなく、フレーム間の整合の精度も向上させる。また、フレーム間の整合の精度を向上させるため、不正確による修正の必要性を効果的に低減することができ、それにより解説ビデオを修正するためにかかる電力や演算リソースを節約することができる。

可能な応用シーンでは、多人数オンライン競技系などの単局対戦に複数の仮想オブジェクトを含むゲームにとって、対戦に複数の仮想オブジェクトを含み、解説ビデオの生成の過程において、異なる対戦視聴視角を含む可能性があり、そのうち、異なる対戦視聴視角はある仮想オブジェクトに注目する視角であってもよく、そのため、対戦画面をレンダリングして対戦ビデオストリームを生成する場合、対戦視聴視角によって、異なる対戦視聴視角の対戦ビデオストリームを生成する必要がある。

例示的な一例では、図８に示すように、本出願の他の例示的な実施例の解説ビデオ生成方法のフローチャートを示し、本出願の実施例は該方法を図１に示す解説サーバに応用することを例として説明し、該方法は以下を含む。

ステップ８０１で、対戦命令フレームを取得し、対戦命令フレームは少なくとも一つの対戦操作命令を含み、対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられる。

ステップ８０２で、対戦命令フレームに基づいて解説データストリームを生成し、解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、対戦イベントは仮想オブジェクトが戦中行為を実行するときにトリガされる。

ステップ８０１とステップ８０２の実施方式は上記実施例を参照することができ、本実施例はここでは説明を省略する。

ステップ８０３で、対戦命令フレームに基づいて対戦画面レンダリングを行い、グローバル対戦画面を得る。

対戦命令フレームは異なる仮想オブジェクト（ユーザーによって操作される）に対応するゲームクライアントから送信された対戦操作命令を含むことができるため、対戦命令フレームに基づいて対戦画面レンダリングを行う場合、グローバルレンダリングする必要があり、録画した後にグローバル対戦画面を得ることができる。

ステップ８０４で、対戦視聴視角における目標対戦視聴視角を特定し、目標対戦視聴視角に基づいてグローバル対戦画面から目標対戦画面を抽出し、目標対戦画面に基づいて目標対戦視聴視角に対応する対戦ビデオストリームを生成し、そのうち、異なる対戦視聴視角は異なる対戦ビデオストリームに対応する。

解説過程で対戦イベントの発生位置が異なるため、ユーザがより鮮明又は正確な角度で発生している対戦イベントを見ることができるように、可能な実施形態では、解説サーバは異なる対戦視聴視角に対して対戦ビデオストリームの取得を行うことができる。

そのうち、異なる対戦視聴視角は異なる仮想オブジェクトを中心とする視角であってもよく、該仮想オブジェクトはユーザにより操作された仮想オブジェクトである。

そのうち、異なる対戦視聴視角に対応する対戦ビデオストリームを取得する方式については、グローバル対戦画面から必要な対戦視聴視角の対戦画面を抽出し、それぞれ異なる対戦画面を録画することで、異なる対戦視聴視角に対応する対戦ビデオストリームを生成するものであり、または、異なる対戦視聴視角を異なるサウンドカード装置付きのサーバに分布して並行レンダリングして録画することで、異なる対戦視聴視角に対応する対戦ビデオストリームを生成するものである。

ステップ８０５で、各対戦ビデオストリームのそれぞれと解説データストリームをマージし、異なる対戦視聴視角それぞれに対応する解説ビデオストリームを生成する。

異なる対戦視聴視角の対戦ビデオストリームを対応して生成することに基づいて、解説ビデオストリームの生成の過程において、異なる対戦ビデオストリームと解説データストリームをマージする必要があり、それにより異なる対戦視聴視角に対応する解説ビデオストリームを生成する。

好ましくは、異なる対戦視聴視角に対応する解説ビデオストリームを生成するシーンについて、解説サーバは異なる対戦視聴視角の解説ビデオストリームを直接にライブ配信プラットフォーム又はクライアントにプッシュすることにより、ライブ配信プラットフォーム又はクライアントが必要に応じて対戦視聴視角の切り替え再生を行うことができ、または、異なるライブ配信プラットフォーム及びクライアントのニーズに基づき、必要な対戦視聴視角に対応する目標解説データストリームのみをライブ配信プラットフォーム又はクライアントにプッシュすることができる。

本出願の実施例では、異なる対戦視聴視角に基づいて異なる解説ビデオストリームを生成することができ、それにより異なるプラットフォームのニーズに基づき、異なる解説ビデオストリームを正確にプッシュすることができ、それによりプッシュされた解説ビデオストリームの精度を向上させることができ、或いは、解説ビデオストリームを再生する場合、異なる対戦視聴視角の切り替えを実現することができ、それにより解説ビデオストリームの多様性を向上させることができる。異なるプラットフォームに解説ビデオストリームを正確にプッシュすることができるため、不正確なプッシュによる修正の必要性を低減することができ、それによりプッシュされた解説ビデオストリームを修正するためにかかる電力や演算リソースを節約することができる。

図９に示すように、本出願の例示的な一実施例に示される解説ビデオストリームを完全に生成する過程の概略図を示す。解説サーバはゲーム命令９０１（対戦操作命令）を受信し、一つはゲーム情報取得及びＴＴＳ音声合成によって解説データストリームを生成するものであって、一つはゲーム命令に基づいて対戦ビデオストリームを生成するものである。そのうち、解説データストリームを生成する過程は、ゲームコアの変換（Ｇａｍｅ Ｃｏｒｅ）９０２（すなわち対戦命令フレームを分析する）、解説特徴９０３（すなわち対戦における各オブジェクトの属性情報を取得する）、イベント生成９０４（すなわち属性情報に基づいてマッチングされた少なくとも一つの候補対戦イベントを特定する）、イベント選択９０５（すなわち複数の候補対戦イベントから目標対戦イベントを選択する）、ＴＴＳ音声合成９０６（すなわち目標対戦イベントに基づいて解説テキストを生成し、ＴＴＳ処理をして解説オーディオを得る）を含む。対戦ビデオストリームを生成する過程は、対戦レンダリング９０７（すなわち対戦命令に基づいて対戦レンダリングを行って対戦画面を生成する）、レンダリング生放送（Ｏｕｔｓｉｄｅ Ｂｒｏａｄｃａｓｔ，ＯＢ）スケジューリング９０８（すなわち異なる対戦視聴視角に対応する対戦画面をレンダリングして得る）、ビデオ録画９０９（対戦画面を録画して対戦ビデオストリームを生成する）、ビデオプッシュ９１０（対戦ビデオストリームを解説ビデオストリームの合成のサーバにプッシュする）を含む。対戦ビデオストリームおよび解説データストリームが取得されると、対戦ビデオストリームおよび解説データストリームをマルチ整合することにより解説ビデオ９１１を生成することができる。

図１０を参照し、本出願の例示的な一実施例に示される解説ビデオ生成装置の構成ブロック図を示す。該解説ビデオ生成装置はサーバの一部又は全部として実現されることができる。該解説ビデオ生成装置は、対戦命令フレームを取得し、前記対戦命令フレームは少なくとも一つの対戦操作命令を含み、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられる取得モジュール１００１と、前記対戦命令フレームに基づいて解説データストリームを生成し、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが戦中行為を実行するときにトリガされるために用いられる第一生成モジュール１００２と、前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるために用いられる第二生成モジュール１００３と、前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成し、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するために用いられる第三生成モジュール１００４とを含む。

好ましくは、前記第三生成モジュール１００４は、前記対戦ビデオストリームにおける目標対戦ビデオフレームを特定し、前記目標対戦ビデオフレームは前記対戦ビデオストリームにおけるいずれかの一つのフレームの対戦ビデオフレームであり、前記目標対戦ビデオフレームに対応する対戦時間を目標対戦時間として特定し、前記目標対戦時間は対戦の開始から前記目標対戦ビデオフレームまでの時間であるために用いられる第一特定ユニットと、前記目標対戦時間に生成された対戦命令フレームを目標対戦命令フレームとして特定し、前記目標対戦命令フレームの目標フレーム番号を特定するために用いられる第二特定ユニットと、前記目標フレーム番号に対応する対戦イベントを目標対戦イベントとして特定し、前記目標対戦イベントを説明するための解説オーディオを目標解説オーディオとして、前記目標解説オーディオと前記目標対戦ビデオフレームを時間的に整合し、時間的に整合関係を有する目標解説オーディオと目標対戦ビデオフレームとに基づいて解説ビデオストリームを生成するために用いられる時間整合ユニットとを含む。

好ましくは、前記対戦命令フレームが第一フレームレートに対応し、前記第二特定ユニットはさらに、前記目標対戦時間と前記第一フレームレートに基づいて、前記目標対戦命令フレームの前記目標フレーム番号を特定するために用いられる。

好ましくは、前記第一特定ユニットはさらに、画像識別モデルで前記目標対戦ビデオフレームにおける対戦時間を画像識別し、画像識別結果を取得し、画像識別結果に基づいて前記目標対戦ビデオフレームに対応する対戦時間を特定し、特定された前記対戦時間を目標対戦時間とするために用いられる。

好ましくは、前記対戦ビデオストリームのフレームレートが第二フレームレートであり、前記第一特定ユニットはさらに、前記画像識別結果に基づいて前記目標対戦ビデオフレームに対応する基礎対戦時間を特定し、前記基礎対戦時間の履歴識別回数及び前記第二フレームレートに基づき、対戦時間ずれ量を特定し、前記基礎対戦時間の履歴識別回数とは履歴識別時間段内に前記基礎対戦時間が識別された回数であり、前記基礎対戦時間と前記対戦時間ずれ量との和を前記目標対戦時間として特定するために用いられる。

好ましくは、前記第一生成モジュール１００２はさらに、プリセット対戦イベントセットを取得し、前記対戦イベントセットに複数のプリセット対戦イベントが含まれ、対戦命令フレームに基づき、仮想オブジェクトが対戦において対応する戦中行為を実行することを制御し、前記戦中行為を実行した後の対戦における各オブジェクトの属性情報を特定するために用いられる第三特定ユニットと、前記複数のプリセット対戦イベントから前記属性情報にマッチングする少なくとも一つの候補対戦イベントをスクリーニングするために用いられる第四特定ユニットと、少なくとも一つの前記候補対戦イベントから目標対戦イベントをスクリーニングするために用いられるスクリーニングユニットと、前記目標対戦イベントに基づいて解説テキストを生成し、前記解説テキストに対して処理を行い、前記解説ビデオストリームを生成するために用いられる第一生成ユニットとを含む。

好ましくは、前記第四特定ユニットはさらに、前記属性情報と前記対戦イベントセットにおける各前記プリセット対戦イベントのプリセット属性情報に対して情報マッチング処理を行い、前記属性情報にマッチングする目標プリセット属性情報を取得し、目標プリセット属性情報に対応するプリセット対戦イベントに基づき、候補対戦イベントを特定するために用いられる。

好ましくは、前記第四特定ユニットはさらに、目標プリセット属性情報に対応するプリセット対戦イベントを特定し、前記目標プリセット属性情報に対応するプリセット対戦イベントにおけるプリセット解説条件を満たしているプリセット対戦イベントを候補対戦イベントとして、前記プリセット解説条件は対戦視角条件及びイベント重複条件のうちの少なくとも一つを含み、前記対戦視角条件とは前記プリセット対戦イベントが対戦視聴視角内に位置することであり、前記イベント重複条件とは前記プリセット対戦イベントがプリセット時間内に出現する回数が回数閾値よりも小さいことであるために用いられる。

好ましくは、前記スクリーニングユニットはさらに、各前記候補対戦イベントに対応するイベント重みを取得することと、各前記候補対戦イベントが対戦内における重要度に基づき、各前記候補対戦イベントに対応するイベントスコアを特定し、前記重要度は前記候補対戦イベントのイベント発生位置、前記候補対戦イベントをトリガする仮想オブジェクトタイプ、前記候補対戦イベントをトリガする仮想オブジェクト数のうちの少なくとも一つに関連することと、前記イベント重みによって前記イベントスコアに対して重み付け処理を行い、各前記候補対戦イベントに対応するイベント重み付けスコアを得ることと、イベント重み付けスコアが最も高い前記候補対戦イベントを前記目標対戦イベントとして特定することとに用いられる。

好ましくは、前記第二生成モジュール１００３は、前記対戦命令フレームに基づいて対戦画面レンダリングを行い、グローバル対戦画面を取得し、対戦視聴視角における目標対戦視聴視角を特定するために用いられる第二生成ユニットと、目標対戦視聴視角に基づいて前記グローバル対戦画面から目標対戦画面を抽出し、前記目標対戦画面に基づいて前記目標対戦視聴視角に対応する対戦ビデオストリームを生成し、そのうち、異なる対戦視聴視角は異なる対戦ビデオストリームに対応するために用いられる第三生成ユニットとを含む。

前記第三生成モジュール１００４は、各対戦ビデオストリームのそれぞれと前記解説データストリームをマージし、異なる対戦視聴視角それぞれに対応する前記解説ビデオストリームを生成するために用いられる第四生成ユニットを含む。

以上説明したように、本出願の実施例では、オンラインで対戦命令フレームを分析することにより、解説オーディオを生成して対戦ビデオをレンダリングし、解説オーディオと対戦ビデオに対して時間的に整合し、解説ビデオを生成する。対戦命令フレームを分析して解説ビデオを生成することにより、対戦過程で対戦にマッチングする解説ビデオを生成することができ、対戦後にさらに解説ビデオを生成する必要がなく、解説ビデオの生成の適時性を向上させ、一方、人工で解説テキストを作成して解説オーディオを生成する必要がなく、自動化された解説ビデオ生成過程を実現することができ、解説ビデオの生成効率をさらに向上させる。

説明すべきものとして、上記実施例が提供する解説ビデオ生成装置について、上記各機能モジュールの区分のみを例に挙げて説明し、実際の応用では、必要に応じて上記機能割り当てを異なる機能モジュールで完成することができ、すなわち装置の内部構造を異なる機能モジュールに区分して、以上に説明した全部又は一部の機能を完成する。また、上記実施例が提供する解説ビデオ生成装置及び解説ビデオ生成方法の実施例は同一の構想に属し、その具体的な実現過程は方法の実施例に詳細に示され、ここでは説明を省略する。

図１１を参照し、本出願の一実施例に提供されるサーバの構成ブロック図を示す。このサーバは、上記実施例で解説サーバにより実行された解説ビデオ生成方法を実施するために用いられる。

具体的には、サーバ１１００は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）１１０１と、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）１１０２およびリードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）１１０３を含むシステムメモリ１１０４と、システムメモリ１１０４と中央処理ユニット１１０１とを接続するシステムバス１１０５とを含む。前記サーバ１１００はさらに、サーバ内の各デバイス間の情報の伝送を補助する基本入力／出力システム（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ系統、Ｉ／Ｏ系統）１１０６と、オペレーティングシステム１１１３やアプリケーションプログラム１１１４や他のプログラムモジュール１１１５を記憶するための大容量記憶装置１１０７とを含む。

前記基本入力／出力システム１１０６は、情報を表示するためのディスプレイ１１０８と、ユーザが情報を入力するためのマウス、キーボードなどの入力装置１１０９とを含む。そのうち、前記ディスプレイ１１０８および入力装置１１０９はともに、システムバス１１０５に接続された入出力コントローラ１１１０を介して中央処理ユニット１１０１に接続されている。前記基本入力／出力システム１１０６は、キーボード、マウス、または電子スタイラスなどの複数の他のデバイスからの入力を受信して処理するための入出力コントローラ１１１０をさらに含むことができる。同様に、入出力コントローラ１１１０はまた、ディスプレイスクリーン、プリンタ、または他のタイプの出力デバイスに対する出力を提供する。

前記大容量記憶装置１１０７は、システムバス１１０５に接続された大容量記憶コントローラ（図示せず）を介して中央処理ユニット１１０１に接続されている。前記大容量記憶装置１１０７及び関連するコンピュータ読み取り可能な記憶媒体は、サーバ１１００のための不揮発性記憶を提供する。すなわち、前記大容量記憶装置１１０７は、ハードディスク又は再生専用型光ディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＣＤ－ＲＯＭ）ドライブなどのコンピュータ読み取り可能な記憶媒体（図示せず）を含むことができる。

一般性を失うことなく、前記コンピュータ読み取り可能な記憶媒体は、コンピュータ記憶媒体及び通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読み取り可能な記憶命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するためのいずれかの方法または技術で実現される揮発性および不揮発性、取外し可能および取外し不可能媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、消去可能なプログラム可能な読み出し専用レジスタ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、電子消去可能な書き換え可能な読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ－Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、フラッシュメモリ、または他のソリッドステートメモリ、ＣＤ－ＲＯＭ、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ、ＤＶＤ）、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置を含む。もちろん、当業者であれば前記コンピュータ記憶媒体は上記に限定されない。上述のシステムメモリ１１０４及び大容量記憶装置１１０７を総称してメモリと呼ぶことができる。

メモリは一つ又は複数のプログラムを記憶し、一つ又は複数のプログラムは一つ又は複数の中央処理ユニット１１０１により実行されるように配置され、一つ又は複数のプログラムは上記方法の実施例を実現するための命令を含み、中央処理ユニット１１０１は該一つ又は複数のプログラムを実行して上記各方法の実施例が提供する解説ビデオ生成方法を実現する。

本出願の様々な実施例によれば、前記サーバ１１００は、インターネットなどのネットワークを介してネットワークに接続された遠隔サーバによって実行されることもできる。即ち、サーバ１１００は前記システムバス１１０５に接続されたネットワークインタフェースユニット１１１１を介してネットワーク１１１２に接続することができ、又は、ネットワークインタフェースユニット１１１１で他のタイプのネットワーク又は遠隔サーバシステム（図示せず）に接続することもできる。

前記メモリはさらに一つまたは一つ以上のプログラムを含み、前記一つまたは一つ以上のプログラムはメモリに記憶され、前記一つまたは一つ以上のプログラムは本出願の実施例の提供する方法において解説サーバによって実行されるステップを行うことを含む。

本出願の実施例では、コンピュータ読み取り可能な記憶媒体がさらに提供され、該記憶媒体に少なくとも一つの命令、少なくとも一段のプログラム、コードセット又は命令セットが記憶され、前記少なくとも一つの命令、前記少なくとも一段のプログラム、前記コードセット又は命令セットはプロセッサにロードされて実行されて上記態様に記載する解説ビデオ生成方法を実現する。

本出願の一態様によれば、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムが提供される。コンピュータ装置のプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行して、該コンピュータ装置に、上記の態様の様々な好ましい実施態様で提供される解説ビデオ生成方法を実行させる。

本出願の他の実施形態は、本明細書の考察および本明細書に開示される本発明の実施から当業者であれば容易に明らかになる。本出願は本出願のいかなる変形、用途又は適応的変化をカバーすることを意図し、これらの変形、用途又は適応的変化は本出願の一般的な原理に従い、且つ本出願に開示されない本技術分野における公知常識又は慣用技術手段を含む。本明細書および実施例は、例示としてのみ考慮され、本出願の真の範囲および精神は、以下の特許請求の範囲によって示される。

理解できるように、本発明は上記の内容且つ図面に示された厳密な構成に限定されるものではなく、その要旨を逸脱しない範囲内で種々の変形及び変更が可能である。本出願の範囲は、添付の特許請求の範囲によってのみ限定される。

Claims (20)

1. 解説サーバが実行する解説ビデオ生成方法であって、
   対戦命令フレームを取得するステップであって、前記対戦命令フレームに少なくとも一つの対戦操作命令が含まれ、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられるステップと、
   前記対戦命令フレームに基づいて解説データストリームを生成するステップであって、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが前記戦中行為を実行するときにトリガされるステップと、
   前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成するステップであって、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるステップと、
   前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成するステップであって、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するステップとを含むことを特徴とする方法。
2. 前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成するステップは、
   前記対戦ビデオストリームにおける目標対戦ビデオフレームを特定するステップであって、前記目標対戦ビデオフレームは前記対戦ビデオストリームにおけるいずれかの一つのフレームの対戦ビデオフレームであるステップと、
   前記目標対戦ビデオフレームに対応する対戦時間を目標対戦時間として特定するステップであって、前記目標対戦時間は対戦の開始から前記目標対戦ビデオフレームまでの時間であるステップと、
   前記目標対戦時間に生成された対戦命令フレームを目標対戦命令フレームとして特定し、前記目標対戦命令フレームの目標フレーム番号を特定するステップと、
   前記目標フレーム番号に対応する対戦イベントを目標対戦イベントとして特定し、前記目標対戦イベントを説明するための解説オーディオを目標解説オーディオとするステップと、
   前記目標解説オーディオと前記目標対戦ビデオフレームを時間的に整合するステップと、
   時間的に整合関係を有する目標解説オーディオと目標対戦ビデオフレームとに基づいて解説ビデオストリームを生成するステップとを含むことを特徴とする請求項１に記載の方法。
3. 前記対戦命令フレームが第一フレームレートに対応し、
   前記目標対戦命令フレームの目標フレーム番号を特定するステップは、
   前記目標対戦時間と前記第一フレームレートに基づいて、前記目標対戦命令フレームの前記目標フレーム番号を特定するステップを含むことを特徴とする請求項２に記載の方法。
4. 前記目標対戦ビデオフレームに対応する対戦時間を目標対戦時間として特定するステップは、
   画像識別モデルで前記目標対戦ビデオフレームにおける対戦時間を画像識別し、画像識別結果を取得するステップと、
   前記画像識別結果に基づいて前記目標対戦ビデオフレームに対応する対戦時間を特定し、特定された前記対戦時間を目標対戦時間とするステップとを含むことを特徴とする請求項２に記載の方法。
5. 前記対戦ビデオストリームのフレームレートが第二フレームレートであり、
   前記画像識別結果に基づいて前記目標対戦ビデオフレームに対応する対戦時間を特定し、前記対戦時間を目標対戦時間とするステップは、
   前記画像識別結果に基づいて前記目標対戦ビデオフレームに対応する基礎対戦時間を特定するステップと、
   前記基礎対戦時間の履歴識別回数及び前記第二フレームレートに基づき、対戦時間ずれ量を特定するステップであって、前記基礎対戦時間の履歴識別回数とは履歴識別時間段内に前記基礎対戦時間が識別された回数であるステップと、
   前記基礎対戦時間と前記対戦時間ずれ量との和を前記目標対戦時間として特定するステップとを含むことを特徴とする請求項４に記載の方法。
6. 前記対戦命令フレームに基づいて解説データストリームを生成するステップは、
   プリセットの対戦イベントセットを取得するステップであって、前記対戦イベントセットに複数のプリセット対戦イベントが含まれるステップと、
   前記対戦命令フレームに基づき、仮想オブジェクトの対戦において対応する戦中行為を実行することを制御するステップと、
   前記戦中行為を実行した後対戦における各仮想オブジェクトの属性情報を特定するステップと、
   前記複数のプリセット対戦イベントから前記属性情報にマッチングする少なくとも一つの候補対戦イベントをスクリーニングするステップと、
   少なくとも一つの前記候補対戦イベントから目標対戦イベントをスクリーニングするステップと、
   前記目標対戦イベントに基づいて解説テキストを生成し、前記解説テキストに対してテキスト音声変換処理を行い、解説データストリームを生成するステップとを含むことを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 前記複数のプリセット対戦イベントから前記属性情報にマッチングする少なくとも一つの候補対戦イベントをスクリーニングするステップは、
   前記属性情報と前記対戦イベントセットにおける各前記プリセット対戦イベントのプリセット属性情報に対して情報マッチング処理を行い、前記属性情報にマッチングする目標プリセット属性情報を取得するステップと、
   前記目標プリセット属性情報に対応するプリセット対戦イベントに基づき、候補対戦イベントを特定するステップとを含むことを特徴とする請求項６に記載の方法。
8. 前記目標プリセット属性情報に対応するプリセット対戦イベントに基づき、候補対戦イベントを特定するステップは、
   前記目標プリセット属性情報に対応するプリセット対戦イベントを特定し、前記目標プリセット属性情報に対応するプリセット対戦イベントにおける、プリセット解説条件を満たしているプリセット対戦イベントを候補対戦イベントとするステップであって、前記プリセット解説条件は対戦視角条件及びイベント重複条件のうちの少なくとも一つを含み、前記対戦視角条件とは前記プリセット対戦イベントが対戦視聴視角内に位置することであり、前記イベント重複条件とは前記プリセット対戦イベントがプリセット時間内に出現する回数が回数閾値よりも小さいことであることを含むことを特徴とする請求項７に記載の方法。
9. 少なくとも一つの前記候補対戦イベントから目標対戦イベントをスクリーニングするステップは、
   各前記候補対戦イベントに対応するイベント重みを取得するステップと、
   各前記候補対戦イベントが対戦内における重要度に基づき、各前記候補対戦イベントに対応するイベントスコアを特定し、前記重要度は前記候補対戦イベントのイベント発生位置、前記候補対戦イベントをトリガする仮想オブジェクトタイプ、前記候補対戦イベントをトリガする仮想オブジェクト数のうちの少なくとも一つに関連するステップと、
   前記イベント重みによって前記イベントスコアに対して重み付け処理を行い、各前記候補対戦イベントに対応するイベント重み付けスコアを取得するステップと、
   イベント重み付けスコアが最も高い前記候補対戦イベントを前記目標対戦イベントとして特定するステップとを含むことを特徴とする請求項６に記載の方法。
10. 前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成するステップは、
    前記対戦命令フレームに基づいて対戦画面レンダリングを行い、グローバル対戦画面を取得するステップと、
    対戦視聴視角における目標対戦視聴視角を特定するステップと、
    目標対戦視聴視角に基づいて前記グローバル対戦画面から目標対戦画面を抽出し、前記目標対戦画面に基づいて前記目標対戦視聴視角に対応する対戦ビデオストリームを生成するステップであって、対戦視聴視角によって、その対応される対戦ビデオストリームが異なるステップと、
    前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成するステップは、対戦ビデオストリームのそれぞれを前記解説データストリームとマージし、対戦視聴視角のそれぞれに対応する前記解説ビデオストリームを生成することを含むステップとを含むことを特徴とする請求項１から５のいずれか一項に記載の方法。
11. 対戦命令フレームを取得し、前記対戦命令フレームに少なくとも一つの対戦操作命令が含まれ、前記対戦操作命令は仮想オブジェクトが対戦において戦中行為を実行することを制御するために用いられる取得モジュールと、
    前記対戦命令フレームに基づいて解説データストリームを生成し、前記解説データストリームに少なくとも一段の対戦イベントを説明する解説オーディオが含まれ、前記対戦イベントは前記仮想オブジェクトが戦中行為を実行するときにトリガされるために用いられる第一生成モジュールと、
    前記対戦命令フレームに基づいて対戦画面レンダリングを行い、対戦ビデオストリームを生成し、前記対戦ビデオストリームに少なくとも一つのフレームの対戦ビデオフレームが含まれるために用いられる第二生成モジュールと、
    前記解説データストリームと前記対戦ビデオストリームをマージし、解説ビデオストリームを生成し、前記解説ビデオストリームにおける同一の対戦イベントに対応する前記対戦ビデオフレームと前記解説オーディオは時間的に整合するために用いられる第三生成モジュールとを含むことを特徴とする解説ビデオ生成装置。
12. 前記第三生成モジュールはさらに、
    前記対戦ビデオストリームにおける目標対戦ビデオフレームを特定し、前記目標対戦ビデオフレームは前記対戦ビデオストリームにおけるいずれかの一つのフレームの対戦ビデオフレームであり、目標対戦ビデオフレームに対応する対戦時間を目標対戦時間として特定し、前記目標対戦時間は対戦の開始から前記目標対戦ビデオフレームまでの時間であるために用いられる第一特定ユニットと、
    前記目標対戦時間に生成された対戦命令フレームを目標対戦命令フレームとして特定し、前記目標対戦命令フレームの目標フレーム番号を特定するために用いられる第二特定ユニットと、
    前記目標フレーム番号に対応する対戦イベントを目標対戦イベントとして特定し、前記目標対戦イベントを説明するための解説オーディオを目標解説オーディオとして、前記目標解説オーディオと前記目標対戦ビデオフレームを時間的に整合し、時間的に整合関係を有する目標解説オーディオと目標対戦ビデオフレームとに基づいて解説ビデオストリームを生成するために用いられる時間整合ユニットとを含むことを特徴とする請求項１１に記載の装置。
13. 前記対戦命令フレームが第一フレームレートに対応し、前記第二特定ユニットはさらに、前記目標対戦時間と前記第一フレームレートに基づいて、前記目標対戦命令フレームの前記目標フレーム番号を特定するために用いられることを特徴とする請求項１２に記載の装置。
14. 前記第一特定ユニットはさらに、
    画像識別モデルで前記目標対戦ビデオフレームにおける対戦時間を画像識別し、画像識別結果を取得し、
    前記画像識別結果に基づいて前記目標対戦ビデオフレームに対応する対戦時間を特定し、特定された前記対戦時間を目標対戦時間とするために用いられることを特徴とする請求項１２に記載の装置。
15. 前記対戦ビデオストリームのフレームレートが第二フレームレートであり、
    前記第一特定ユニットはさらに、
    前記画像識別結果に基づいて前記目標対戦ビデオフレームに対応する基礎対戦時間を特定し、
    前記基礎対戦時間の履歴識別回数及び前記第二フレームレートに基づき、対戦時間ずれ量を特定し、
    前記基礎対戦時間と前記対戦時間ずれ量との和を前記目標対戦時間として特定し、前記基礎対戦時間の履歴識別回数とは履歴識別時間段内に前記基礎対戦時間が識別された回数であるために用いられることを特徴とする請求項１４に記載の装置。
16. 前記第一生成モジュールはさらに、
    プリセットの対戦イベントセットを取得し、前記対戦イベントセットに複数のプリセット対戦イベントが含まれ、前記対戦命令フレームに基づき、仮想オブジェクトが対戦において対応する戦中行為を実行することを制御し、前記戦中行為を実行した後対戦における各仮想オブジェクトの属性情報を特定するために用いられる第三特定ユニットと、
    前記複数のプリセット対戦イベントから前記属性情報にマッチングする少なくとも一つの候補対戦イベントをスクリーニングするために用いられる第四特定ユニットと、
    少なくとも一つの前記候補対戦イベントから目標対戦イベントをスクリーニングするために用いられるスクリーニングユニットと、
    前記目標対戦イベントに基づいて解説テキストを生成し、前記解説テキストに対して処理を行い、前記解説データストリームを生成するために用いられる第一生成ユニットとを含むことを特徴とする請求項１１に記載の装置。
17. 前記第四特定ユニットはさらに、
    前記属性情報と前記対戦イベントセットにおける各前記プリセット対戦イベントのプリセット属性情報に対して情報マッチング処理を行い、前記属性情報にマッチングする目標プリセット属性情報を取得し、
    前記目標プリセット属性情報に対応するプリセット対戦イベントに基づき、候補対戦イベントを特定するために用いられることを特徴とする請求項１６に記載の装置。
18. 前記第四特定ユニットはさらに、
    前記目標プリセット属性情報に対応するプリセット対戦イベントを特定し、前記目標プリセット属性情報に対応するプリセット対戦イベントにおけるプリセット解説条件を満たしているプリセット対戦イベントを候補対戦イベントとして、前記プリセット解説条件は対戦視角条件及びイベント重複条件のうちの少なくとも一つを含み、前記対戦視角条件とは前記プリセット対戦イベントが対戦視聴視角内に位置することであり、前記イベント重複条件とは前記プリセット対戦イベントがプリセット時間内に出現する回数が回数閾値よりも小さいことであるために用いられることを特徴とする請求項１７に記載の装置。
19. コンピュータ可読命令が記憶されているメモリと、一つ又は複数のプロセッサとを含むサーバであって、前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、請求項１から１０のいずれか一項に記載の方法のステップを実行させることを特徴とするサーバ。
20. コンピュータ可読命令が記憶された一つ又は複数の不揮発性可読記憶媒体であって、
    前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサに請求項１から１０のいずれか一項に記載の方法のステップを実行させることを特徴とする不揮発性可読記憶媒体。