JP7258400B6 - ビデオデータ処理方法、ビデオデータ処理装置、コンピュータ機器、及びコンピュータプログラム - Google Patents

Description

本願は、２０１９年４月３０日に提出された、出願番号が第２０１９１０３５８５６９．８号であり、発明の名称が「ビデオデータ処理方法及び関連装置」である中国特許出願に基づく優先権を主張し、その全ての内容が参照によって本願に組み込まれる。

本願は、インターネットの技術分野に関し、特にビデオデータ処理方法及び関連装置に関する。

ユーザは、ユーザ端末を介してネットワークビデオを視聴している間に、該ユーザ又は他のユーザから投稿されたユーザ文字やユーザコメントをビデオ再生インタフェースで見ることができる。従来のユーザ文字の表示方式では、ビデオ再生インタフェースに出力されるユーザ文字は、通常、該ビデオ再生インタフェースにおける固定の文字表示トラックを介して出力表示される。

本願の実施例は、ビデオデータ処理方法及び関連装置を提供する。

本願の実施例の一態様では、コンピュータ機器に適用されるビデオデータ処理方法が提供されており、前記方法は、
ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得するステップであって、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である、ステップと、
前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定するステップと、
前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得するステップであって、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである、ステップと、
前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示するステップと、を含む。

本願の実施例の一態様では、サービスサーバに適用されるビデオデータ処理方法が提供されており、前記方法は、
キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得するステップであって、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである、ステップと、
前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信するステップであって、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである、ステップと、を含む。

本願の実施例の一態様では、ビデオデータ処理方法が提供されており、前記方法は、
ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得するステップと、
前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定するステップと、
前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成するステップであって、前記軌跡情報は、ターゲットビデオにおけるターゲット画素点に関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む、ステップと、を含む。

本願の実施例の一態様では、コンピュータ機器に適用されるビデオデータ処理装置が提供されており、前記装置は、
ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得するオブジェクト決定モジュールであって、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である、オブジェクト決定モジュールと、
前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する要求決定モジュールと、
前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得する軌跡取得モジュールであって、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである、軌跡取得モジュールと、
前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示するテキスト表示モジュールと、を含む。

本願の実施例の一態様では、サービスサーバに適用されるビデオデータ処理装置が提供されており、前記装置は、
キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得する要求応答モジュールであって、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである、要求応答モジュールと、
前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信する軌跡選別モジュールであって、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである、軌跡選別モジュールと、を含む。

本願の実施例の一態様では、ビデオデータ処理装置が提供されており、前記装置は、
ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得する第１取得モジュールと、
前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する行列取得モジュールと、
前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定する位置追跡モジュールと、
前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成する追跡生成モジュールあって、前記軌跡情報は、ターゲットビデオにおけるターゲット画素点に関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む、追跡生成モジュールと、を含む。

本願の実施例の一態様では、コンピュータ機器が提供されており、前記コンピュータ機器は、プロセッサと、メモリと、ネットワークインタフェースと、を備え、
前記プロセッサは、前記メモリ及び前記ネットワークインタフェースに接続され、前記ネットワークインタフェースは、データ通信機能を提供し、前記メモリは、コンピュータプログラムを記憶し、前記プロセッサは、前記コンピュータプログラムを呼び出すことにより、本願の実施例の一態様に記載の方法を実行する。

本願の実施例の一態様では、コンピュータ記憶媒体が提供されており、前記コンピュータ記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムには、プログラム命令が含まれ、前記プログラム命令は、プロセッサによって実行されると、本願の実施例の一態様に記載の方法を実行させる。

本願の実施例又は従来技術における構成をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているにすぎず、当業者にとって、創造的な労働をせずに、これらの図面から他の図面を得ることもできる。

本願の実施例で提供されるネットワークアーキテクチャの構成の模式図である。 本願の実施例で提供されるターゲットビデオにおける複数のビデオフレームの模式図である。 本願の実施例で提供されるターゲットビデオを取得するシナリオの模式図である。 本願の実施例で提供されるビデオデータ処理方法のフローの模式図である。 本願の実施例で提供されるマルチメディア情報の取得の模式図である。 本願の実施例で提供される全画素追跡の模式図である。 本願の実施例で提供される連続する複数のビデオフレームにおける弾幕データの追跡の模式図である。 本願の実施例で提供される別のビデオデータ処理方法の模式図である。 本願の実施例で提供される有効画素点を決定する方法の模式図である。 本願の実施例で提供される軌跡情報に基づく弾幕データの表示の模式図である。 本願の実施例で提供されるビデオデータ処理装置の構成の模式図である。 本願の実施例で提供されるコンピュータ機器の構成の模式図である。 本願の実施例で提供される別のビデオデータ処理装置の構成の模式図である。 本願の実施例で提供される別のコンピュータ機器の構成の模式図である。 本願の実施例で提供される別のビデオデータ処理装置の構成の模式図である。 本願の実施例で提供される別のコンピュータ機器の構成の模式図である。

以下、本願の実施例の図面を参照しながら、本願の実施例の構成を明確かつ十分に説明するが、明らかなように、説明する実施例は、本願の一部の実施例にすぎず、全ての実施例ではない。当業者が創造的な労働をせずに本願の実施例から得る全ての他の実施例は、本願の保護範囲に属する。

従来のネットワークビデオの再生過程において、ビデオ再生インタフェースに表示されるユーザ文字は、ビデオ再生インタフェースで再生されるビデオコンテンツとは独立しているので、表示されるユーザ文字とビデオコンテンツとの間に一定の相関性がない。また、ユーザがユーザ文字を送信しようとする場合、ユーザ端末は、取得したユーザ文字を所定の文字表示トラックで出力する。したがって、各ユーザから送信されたユーザ文字が全て同一の文字表示トラックで出力されるため、ビデオコンテンツに対する個性的なコメントは不可能である。

本願の実施例で提供されるネットワークアーキテクチャの構成の模式図である図１を参照されたい。図１に示すように、前記ネットワークアーキテクチャは、サービスサーバ２０００（又はアプリケーションサーバ２０００）と、ユーザ端末クラスタと、を含んでもよい。前記サービスサーバ２０００は、多数のサーバからなるサーバクラスタ、例えば、クラウドサーバ（又は、クラウドと略称する）であってもよい。前記ユーザ端末クラスタは、複数のユーザ端末を含んでもよく、図１に示すように、具体的に、ユーザ端末３０００ａ、ユーザ端末３０００ｂ、ユーザ端末３０００ｃ、…、ユーザ端末３０００ｎを含んでもよい。図１に示すように、ユーザ端末３０００ａ、ユーザ端末３０００ｂ、ユーザ端末３０００ｃ、…、ユーザ端末３０００ｎは、それぞれ、前記サービスサーバ２０００にネットワーク接続されてもよい。これにより、各ユーザ端末は、該ネットワーク接続を介して、サービスサーバ２０００とデータやり取りすることができる。

図１に示すように、ユーザ端末クラスタの各ユーザ端末のいずれにも、ターゲットアプリケーションを統合してインストールしてもよい。該ターゲットアプリケーションが各ユーザ端末で実行されると、それぞれ、上記図１に示すサービスサーバ２０００とデータやり取りすることができる。ここで、ターゲットアプリケーションは、マルチメディアアプリケーション、ソーシャルアプリケーション、エンターテイメントアプリケーションなど、ビデオ再生機能を有するアプリケーションを含んでもよい。理解を容易にするために、本願の実施例では、前記複数のユーザ端末のうちの１つをターゲットユーザ端末とする場合を例に、該ターゲットアプリケーションが統合されたターゲットユーザ端末が、サービスデータ展示プラットフォームによって、前記サービスサーバ２０００との間でデータやり取りを実現する具体的な過程を説明する。ここで、本願の実施例におけるターゲットユーザ端末は、パーソナルコンピュータ、タブレットコンピュータ、ノート型コンピュータ、スマートフォンなどの、上記ターゲットアプリケーションが統合されたモバイル端末を含んでもよい。ここで、該サービスサーバ２０００は、該ターゲットアプリケーションのバックグラウンドサーバであってもよく、該バックグラウンドサーバに対応するサービスデータベースは、該サービスデータ展示プラットフォームに展示された各サービスデータ情報を記憶するために用いることができ、該サービスデータ情報は、ビデオデータなどのインターネット情報を含んでもよい。理解すべきものとして、該サービスデータ展示プラットフォームには、複数のビデオが表示されてもよく、ターゲットユーザが、該ターゲットユーザ端末において、該サービスデータ展示プラットフォームを介して複数のビデオのうちの１つをトリガすると、該ビデオに対応するビデオデータを取得してもよく、さらに、該ターゲットユーザ端末で該ビデオデータを再生してもよく、さらに、該ターゲットユーザ端末で現在再生されているビデオデータをターゲットビデオと呼ぶことができる。該ターゲットビデオは、ターゲットユーザ端末から送信されたデータロード指示に基づいて該サービスサーバ２０００が返信したビデオデータである。

ここで、前記ターゲットビデオは、複数のビデオフレームを含んでもよい。各ビデオフレームは、いずれも、１つの画像データと呼ぶことができる。また、各ビデオフレームは、いずれも、該ターゲットビデオの再生期間内の１つの再生タイムスタンプ（即ち、１つの時刻）に対応する。これにより、ターゲットユーザ端末が後続で該ターゲットビデオをロードして再生する際に、該ターゲットビデオにおける各ビデオフレームそれぞれに対応する再生タイムスタンプに基づいて、再生表示インタフェースに各ビデオフレームを表示することができる。

ここで、サービスサーバ２０００は、ビデオの前処理段階において、サービスデータベースに記憶されたビデオセットの各ビデオに対してフレーム化処理を行ってもよい。これにより、各ビデオそれぞれに含まれる複数のビデオフレームを１枚ずつのピクチャとして分割することができる。理解を容易にするために、さらに、本願の実施例で提供されるターゲットビデオにおける複数のビデオフレームの模式図である図２を参照されたい。ここで、該ターゲットビデオは、前述のサービスデータベースにおけるビデオＡであってもよく、図２に示すように、該ビデオＡは、ｎ個（ｎは０より大きい正の整数である）のビデオフレームを含んでもよい。サービスサーバ２０００は、該ビデオＡにおけるｎ個のビデオフレームをｎ個のピクチャとして予め分割してもよい。これらのｎ個のピクチャのうち、前後に隣接する２つずつのピクチャを１つの画像ペアと呼ぶことができる。例えば、図２に示すように、本願の実施例では、図２に示される第１時刻に対応するビデオフレームと、第２時刻に対応するビデオフレームとを１つの画像ペアと呼ぶことができ、第２時刻に対応するビデオフレームと、第３時刻に対応するビデオフレームとを１つの画像ペアと呼ぶことができ、第ｎ－１時刻に対応するビデオフレームと、第ｎ時刻に対応するビデオフレームとを１つの画像ペアと呼ぶことができる。換言すれば、１つのターゲットビデオについて、該ターゲットビデオの複数のビデオフレームから、複数の画像ペアを決定することができ、各画像ペアのいずれにも、前後に隣接する２つの時刻に対応するビデオフレームが含まれてもよく、即ち、各画像ペアのいずれにも、隣接する２つのビデオフレームが含まれてもよい。

理解を容易にするために、本願の実施例では、前記複数の画像ペアのうちの最初の画像ペアを例に挙げる。ビデオの前処理段階において、本願の実施例では、該最初の画像ペアの一方のビデオフレーム（例えば、図２に示される第１時刻に対応するビデオフレーム）を第１ビデオフレームと呼ぶことができ、該画像ペアの他方のビデオフレーム（即ち、第２時刻に対応するビデオフレーム）を第２ビデオフレームと呼ぶことができ、さらに、オプティカルフロー追跡規則に基づいて、該画像ペアの第１ビデオフレームにおける全ての画素点の位置情報を追跡することにより、該第１ビデオフレームにおける各画素点の第２ビデオフレームにおける出現位置情報を取得することができる。各画像ペアのいずれにも、隣接する２つのビデオフレームが含まれるので、各画像ペアそれぞれの第１ビデオフレームにおける画素点の、次のビデオフレームにおける出現位置情報を算出することができ、最後に、該サービスサーバ２０００において、該ビデオＡにおける全ての画素点の、全てのビデオフレームにおける移動軌跡を決定することができ、これらの画素点の移動軌跡を画素点の軌跡情報と総称することができる。

サービスサーバ２０００が、該ビデオＡにおける全ての画素点の軌跡情報を予め計算しておくことができるので、ターゲットユーザがターゲットユーザ端末で該ビデオＡを再生する際に、現在再生されているビデオＡをターゲットビデオと呼ぶことができる。該ターゲットビデオの再生中に、ターゲットユーザは、あるオブジェクトを追跡する必要がある場合、ターゲットユーザ端末において、追跡する必要があるオブジェクト（即ち、ターゲットオブジェクト）に対してトリガ操作を実行してもよい。トリガ操作に対応する画素点は、ターゲット画素点と呼ばれ、即ち、該ターゲット画素点は、現在再生されているビデオフレームにおけるターゲットオブジェクトに対して該ターゲットユーザが実行したトリガ操作によって決定され、該トリガ操作は、現在再生されているビデオフレームから、追跡する必要があるターゲットオブジェクトを選択することに使用することができる。ここで、本願の実施例では、該トリガ操作に対応するビデオフレームをキービデオフレームと呼ぶことができる。換言すれば、本願の実施例では、現在該ターゲット画素点を含むビデオフレームを、該ターゲットビデオにおけるキービデオフレームと呼ぶことができる。理解すべきものとして、該キービデオフレームは、上記図２に対応する実施例における第１時刻に対応するビデオフレームであってもよい。任意選択的に、該キービデオフレームは、上記図２に対応する実施例における第２時刻に対応するビデオフレームであってもよいが、ここでは網羅的に挙げない。

理解すべきものとして、本願の実施例では、該キービデオフレーム、該キービデオフレームにおけるターゲット画素点、及び該ターゲット画素点の位置情報を、上記図１に対応する実施例におけるサービスサーバ２０００に与えることができる。これにより、該サービスサーバ２０００は、該ターゲット画素点の該キービデオフレームにおける位置情報に基づいて、予め算出された、該ターゲットビデオにおける全ての画素点の軌跡情報の中から、該ターゲット画素点の位置情報にマッチングする軌跡情報をターゲット軌跡情報として選別することができる。ここで、前記ターゲット軌跡情報は、ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置座標を含んでもよい。さらに、サービスサーバ２０００は、該ターゲット軌跡情報を該ターゲットユーザ端末に返信してもよい。これにより、ターゲットユーザ端末は、該キービデオフレームの次のビデオフレームを再生する際に、さらに、該ターゲット軌跡情報に基づいて、ターゲット画素点の、該キービデオフレームの次のビデオフレームにおける位置情報を決定することができ、即ち、該ターゲット画素点のターゲット位置情報を取得することができ、さらに、該ターゲット位置情報に基づいて、該ターゲットオブジェクトに対応するマルチメディア情報を表示することができる。

さらに、本願の実施例で提供されるターゲットビデオを取得するシナリオの模式図である図３を参照されたい。図３に示すターゲットユーザ端末は、上記図１に対応する実施例におけるユーザ端末３０００ａであってもよい。図３に示すように、ターゲットユーザは、該ターゲットアプリケーションに入った後、該ターゲットユーザ端末（例えば、スマートフォン）に該ターゲットアプリケーションのサービスデータ展示プラットフォームを表示させてもよい。該サービスデータ展示プラットフォームには、図３に示されるビデオ１０ａ、ビデオ２０ａ、ビデオ３０ａ、及びビデオ４０ａが表示されてもよい。ターゲットユーザは、図３に示されるビデオ３０ａ（該ビデオ３０ａは、上記図２に対応する実施例におけるビデオＡであってもよい）をターゲットユーザ端末で再生する必要がある場合、該ビデオ３０ａが位置する領域に対して再生操作を実行してもよく（例えば、ターゲットユーザは、該ビデオ３０ａに対してクリック操作を実行してもよい）、さらに、該ビデオ３０ａに対応するターゲット識別情報を、図３に示すデータロード指示に付加して、該ターゲットユーザ端末とネットワーク接続関係があるアプリケーションサーバに該データロード指示をさらに与えてもよい。該アプリケーションサーバは、上記図１に対応する実施例におけるサービスサーバ２０００であってもよい。理解できるように、該アプリケーションサーバは、データロード指示を取得すると、サービスデータベースから、該ターゲット識別情報に対応するビデオデータを検索することができ、検出されたビデオデータをターゲットデータと総称することができる。これにより、図３に示すターゲットユーザ端末に該ターゲットデータを与えることができ、該ターゲットユーザ端末は、図３に示すビデオ再生インタフェースで該ビデオデータを再生することができる。このとき、該ターゲットユーザ端末は、該ターゲットユーザによって選択されて再生されるビデオ３０ａをターゲットビデオと呼ぶことができる。即ち、このとき、該ターゲットユーザ端末は、上記図３に示す再生タイムスタンプに従って、ビデオ３０ａにおける各ビデオフレームを再生することができる。

ここで、上記ターゲットユーザ端末によるターゲットオブジェクトの取得及びターゲット軌跡情報の取得の具体的な過程については、以下の図４～図７に対応する実施例で提供される実現方式を参照すればよい。また、上記サービスサーバ２０００による前記画素点の前記第２ビデオフレームにおける位置情報の取得、及び前記ターゲット画素点に対応するターゲット軌跡情報の選別の具体的な過程については、以下の図８～図１０に対応する実施例で提供される実現方式を参照すればよい。

本願の実施例で提供されるビデオデータ処理方法のフローの模式図である図４を参照されたい。図４に示すように、この方法は、上記図１に対応する実施例におけるターゲットユーザ端末に適用可能である。この方法は、以下のステップを含んでもよい。

ステップＳ１０１で、ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得し、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である。

具体的には、ターゲットユーザ端末は、ターゲットアプリケーションにアクセスする際に、複数のサービスデータ情報を搭載するためのサービスデータ展示プラットフォームを該ターゲットアプリケーションの表示インタフェースに表示してもよい。例えば、該サービスデータ展示プラットフォーム上の各サービスデータ情報それぞれは、１つのビデオであってもよい。該サービスデータ展示プラットフォームに展示されるサービスデータ情報は、該ターゲットユーザ端末とネットワーク接続関係があるアプリケーションサーバが、ターゲットユーザのユーザプロファイルデータ（例えば、該ターゲットユーザの行動履歴データ）に基づいて選別を行うことにより決定されてもよい。ターゲットユーザが、該サービスデータ展示プラットフォーム上の１つのサービスデータ情報（例えば、１つのビデオ）に対して再生操作を実行すると、該アプリケーションサーバに対応するサービスデータベースから、該ビデオに対応するビデオデータをロードしてもよく、さらに、該ロードしたビデオデータを、該ターゲットユーザ端末のビデオ再生インタフェースで再生してもよい。さらに、ターゲットユーザ端末は、ビデオデータを再生している間に、該ビデオ再生インタフェースにおけるターゲットオブジェクト（即ち、追跡する必要があるオブジェクト）に対してターゲットユーザが実行したトリガ操作を取得してもよい。前記トリガ操作は、例えば、ターゲットユーザ端末のディスプレイに表示されているビデオフレームにおけるターゲットオブジェクトのある点を、マウスでクリックするか、又はタッチすることである。該トリガ操作に対応するビデオフレームをキービデオフレームと呼ぶことができ、該キービデオフレームにおける、トリガ操作に対応する画素点をターゲット画素点と呼ぶことができる。画素点は、画像（例えば、ビデオフレーム）における１つ１つの点である。画像が解像度６４０×４８０のピクチャである場合、該画像に６４０×４８０個の画素点が分布している。通常、画像の画素点には、空間的な位置と色（又は階調）の属性がある。これと同時に、該ターゲットユーザ端末は、該ビデオ再生インタフェースとは独立したサブウィンドウ内にテキストボックスを作成してもよい。これにより、該ターゲットユーザは、該ターゲットオブジェクトと関連関係があるマルチメディア情報を該テキストボックスに入力することができる。ターゲットユーザが該テキストボックスにマルチメディア情報を入力すると、該ターゲットユーザ端末は、該ターゲットオブジェクトに関連付けられたマルチメディア情報を取得することができる。即ち、該ターゲットオブジェクトに関連付けられたマルチメディア情報は、該ターゲットユーザにより入力されたユーザ文字やユーザコメントと総称することができる。

ここで、前記ターゲットユーザ端末は、ビデオデータ再生機能を有する端末機器であってもよい。前記ターゲットユーザ端末は、上記図１に対応する実施例におけるユーザ端末３０００ａであってもよい。該ターゲットユーザ端末は、モバイル端末として理解されてもよい。ここで、前記アプリケーションサーバは、上記図１に対応する実施例におけるサービスサーバ２０００であってもよい。

理解を容易にするために、さらに、本願の実施例で提供されるマルチメディア情報の取得の模式図である図５を参照されたい。図５に示すように、上記図３に対応する実施例におけるビデオ３０ａをターゲットユーザ端末が再生している間に、該ターゲットユーザ端末は、現在再生されているビデオ３０ａをターゲットビデオとしてもよい。理解できるように、ターゲットユーザは、該ビデオ３０ａが再生されている任意の時刻に、該ビデオ３０ａに含まれる複数のビデオフレームのうちのいずれか１つに対してトリガ操作を実行してもよい。ターゲットユーザ端末は、該トリガ操作に対応するビデオフレームをキービデオフレームとしてもよい。例えば、図５に示すように、ターゲットユーザは、図５に示すビデオ再生インタフェース１００ａにおいて、オブジェクトＡをターゲットオブジェクトとして選択してもよい。この場合、ターゲットユーザ端末は、ビデオ再生インタフェース１００ａで現在再生されているビデオフレームをキービデオフレームと呼ぶことができる。換言すれば、該ターゲットユーザ端末は、該選択操作（即ち、トリガ操作）に対応するビデオフレームをキービデオフレームとしてもよく、該キービデオフレームにおける、選択操作に対応する画素点をターゲット画素点としてもよい。このとき、該ターゲット画素点は、該ターゲットユーザ端末で取得されたターゲットビデオにおけるキービデオフレームの画素点である。

図５に示すように、図５に示すビデオ再生インタフェース１００ａにおいて、オブジェクトＡに対してターゲットユーザがトリガ操作を行うと、図５に示すビデオ再生インタフェース２００ａにおいて、図５に示すテキストボックスをポップアップしてもよく、該テキストボックスは、ダイアログボックスとも呼ばれる。図５に示すテキストボックスは、該ビデオ再生インタフェース２００ａとは独立したフローティングウィンドウとして理解することができる。また、図５に示すテキストボックスは、図５に示すオブジェクトＡと関連関係があってもよい（例えば、該オブジェクトＡにおけるターゲット画素点と表示位置上の相対関係があってもよい。これにより、該ビデオ３０ａにおけるターゲットオブジェクトのターゲット画素点と、該ターゲットオブジェクトに関連付けられたマルチメディア情報との関連性を構築する）。前記フローティングウィンドウの実現は、前記ビデオ再生インタフェースの実現と類似するか又は同じであってもよい。理解すべきものとして、本願の実施例のダイアログボックスに入力されるマルチメディア情報は、ユーザ文字、ユーザピクチャ、及びユーザ表情などのデータを含んでもよく、該ターゲットユーザが該ダイアログボックスに入力するユーザ文字（即ち、テキスト情報）、ユーザピクチャ（即ち、ピクチャ情報）、及びユーザ表情（即ち、表情情報）などを弾幕データと総称することができる。前記弾幕データの表示は、字幕と類似してもよい。

したがって、図５に示すビデオ再生インタフェース２００ａのテキストボックスにターゲットユーザがテキスト情報Ａを入力すると、図５に示すビデオ再生インタフェース３００ａに、入力された該テキスト情報Ａを表示させてもよい。入力された該テキスト情報Ａは、図５に示すような、該オブジェクトＡのターゲット画素点と一定の位置間隔距離があるテキスト情報であってもよい。該ビデオ再生インタフェース３００ａに表示されたテキスト情報Ａは、該ターゲットオブジェクトに関連付けられた弾幕データと呼ぶことができる。

ステップＳ１０２で、前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する。

具体的には、ターゲットユーザ端末は、該キービデオフレームにおいて、該ターゲット画素点の位置情報を決定してもよく、該キービデオフレームのターゲットビデオにおけるフレーム番号と、該ターゲット画素点の該キービデオフレームにおける位置情報とに基づいて、該ターゲット画素点に対応する軌跡取得要求を生成してもよい。これにより、ステップＳ１０３をさらに実行することができる。

ここで、該軌跡取得要求は、アプリケーションサーバに対して、予め算出された該ターゲットビデオにおける全ての画素点のそれぞれに対応する軌跡情報の中から、該ターゲット画素点にマッチングする軌跡情報を選別するように指示するために用いることができる。

ステップＳ１０３で、前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得する。

ここで、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである。

本願の実施例では、ターゲットユーザ端末は、アプリケーションサーバによって予め算出された、ターゲットビデオにおける全ての画素点の、全てのビデオフレームにおける移動軌跡（各画素点それぞれの移動軌跡は、１つの軌跡情報と総称することができる）に基づいて、これらの画素点に対応する移動軌跡の中から、ターゲット画素点にマッチングする画素点の移動軌跡を、該ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報として選別してもよい。換言すれば、該ターゲットユーザ端末は、該ターゲット軌跡情報を取得すると、該ターゲット軌跡情報に含まれる、前記ターゲット画素点の、該キービデオフレームの次のビデオフレームにおける位置情報に基づいて、上記図５に対応する実施例におけるターゲットオブジェクトにおけるターゲット画素点と、該ターゲットオブジェクトに関連付けられたマルチメディア情報との位置間隔距離、又は、ターゲット画素点とマルチメディア情報との位置間隔を迅速に決定することができ、即ち、該マルチメディア情報の、該キービデオフレームの次のビデオフレームにおける出現位置情報を迅速に取得することができる。

理解できるように、該位置間隔距離は、前記キービデオフレームにおけるターゲット画素点と、対応する弾幕データとの相対的な位置間隔距離として理解してもよい。即ち、該位置離間距離は、水平方向（即ち、横方向）の相対的な位置離間距離を含んでもよく、垂直方向（即ち、縦方向）の相対的な位置間隔距離を含んでもよい。これにより、ターゲットユーザ端末が、ターゲット画素点の、キービデオフレームの次のビデオフレームにおける位置情報を取得すると、前記相対的な位置間隔距離に基づいて、テキスト情報Ａの、キービデオフレームの次のビデオフレームにおける位置情報を迅速に算出できることを確保することができる。即ち、このとき、上記図５に対応する実施例におけるビデオ再生インタフェース３００ａに表示されるテキスト情報Ａの位置情報は、ターゲット画素点の、該キービデオフレームの後の他のビデオフレームにおける位置情報により決まる。ターゲットユーザ端末の計算性能が普通である場合、該ターゲットユーザ端末は、該ターゲットユーザ端末とネットワーク接続関係があるアプリケーションサーバから、該キービデオフレームにおけるターゲット画素点の位置情報に合致する軌跡情報をターゲット軌跡情報として取得してもよい。これにより、該ターゲットユーザ端末は、該アプリケーションサーバによって予め算出された該ターゲット画素点のターゲット軌跡情報を取得すると、さらに、該ターゲット軌跡情報におけるターゲット画素点の、該キービデオフレームの次のビデオフレームにおける出現位置情報に基づいて、該弾幕データの高速追跡を有効期間内に迅速かつ正確に実現することができる。このように、該ターゲットユーザ端末の計算量を効果的に削減することができ、該ターゲットユーザ端末の計算性能が普通である場合にも、該弾幕データを高速に追跡できることを確保することができる。

ここで、該有効期間は、弾幕データに対応する表示期間であってもよい。即ち、該ターゲットユーザ端末は、該表示期間内に、該ターゲットオブジェクトに関連付けられた弾幕データを追跡することができる。

理解すべきものとして、該ターゲットビデオにおける各画素点の移動軌跡（即ち、各画素点の軌跡情報）は、各画素点の、該ターゲットビデオの各ビデオフレームにおける位置情報によって決定されたものである。ここで、複数のビデオフレームを含むターゲットビデオの場合、本願の実施例では、この複数のビデオフレームのうち、隣接する任意の２つのビデオフレームを１つの画像ペアとして決定してもよい。理解すべきものとして、この複数のビデオフレームの中から決定された各画像ペアそれぞれに含まれる２つのビデオフレームのうち、一方のビデオフレームを第１ビデオフレームと呼ぶことができ、他方のビデオフレームを第２ビデオフレームと呼ぶことができる。上記図２に対応する実施例における第１時刻に対応するビデオフレームと、第２時刻に対応するビデオフレームとからなる画像ペア１については、該画像ペア１において、第１時刻に対応するビデオフレームを第１ビデオフレームと呼ぶことができ、該第２時刻に対応するビデオフレームを第２ビデオフレームと呼ぶことができる。さらに、予め算出された、該画像ペア１におけるこの２つのビデオフレーム間の平均変位行列に基づいて、該第１ビデオフレームにおける全ての画素点を追跡して、該第１ビデオフレームにおける全ての画素点の第２ビデオフレームにおける出現位置情報を決定することができる。同様に、上記図２に対応する実施例における第２時刻に対応するビデオフレームと、第３時刻に対応するビデオフレームとからなる画像ペア２についても、該第２時刻に対応するビデオフレームを第１ビデオフレームと呼ぶことができ、該第３時刻に対応するビデオフレームを第２ビデオフレームと呼ぶことができる。これにより、予め算出された、該画像ペア２におけるこの２つのビデオフレーム間の平均変位行列に基づいて、該第１ビデオフレームにおける全ての画素点を追跡して、該第１ビデオフレームにおける全ての画素点の第２ビデオフレームにおける出現位置情報を決定することができる。このようにして、本願の実施例では、各画像ペアそれぞれに対応する平均変位行列を取得することができ、各画像ペアそれぞれに対応する平均変位行列は、各画像ペアそれぞれにおける第１ビデオフレームに対応する平均変位行列と呼ぶことができ、各第１ビデオフレームそれぞれに対応する平均変位行列は、第１ビデオフレームにおける全ての画素点を第２ビデオフレームにマッピングして、第２ビデオフレームにおいて、マッピングされたこれら画素点の位置情報を正確に取得するために用いることができる。理解すべきものとして、本願の実施例における平均変位行列は、縦方向平均変位行列と横方向平均変位行列とを含んでもよい。縦方向平均変位行列によって、第１ビデオフレームにおける各画素点の第１縦方向座標値（例えば、ｙ値）に対して縦方向座標変換を行って、各画素点の、第２ビデオフレームにマッピングされた第２縦方向座標を取得することができる。同様に、横方向平均変位行列によって、第１ビデオフレームにおける各画素点の第１横方向座標値（例えば、ｘ値）に対して横方向座標変換を行って、各画素点の、第２ビデオフレームにマッピングされた第２横方向座標を取得することができる。理解すべきものとして、本願の実施例では、各画素点の第１ビデオフレームにおける第１横方向座標値及び第１縦方向座標値を、該第１ビデオフレームにおける各画素点の第１位置情報と呼ぶことができ、各画素点の、第２ビデオフレームにマッピングされた第２横方向座標値及び第２縦方向座標値を、該第２ビデオフレームにおける各マッピングされた画素点の第２位置情報と呼ぶことができる。各画像ペアは、いずれも、１つの平均変位行列に対応するので、第１ビデオフレームにおける画素点の第１位置情報に基づいて、対応する第２位置情報を算出することができ、算出した第２ビデオフレームにおける各マッピングされた画素点の第２位置情報を保存することができ、さらに、同一画素点の各ビデオフレームにおける位置情報を統合して、該ビデオフレームにおける全ての画素点の移動軌跡を取得することができる。これにより、該ターゲットビデオの全てのビデオフレームにおける全ての画素点の追跡を実現することができる。

理解すべきものとして、上記図２に対応する実施例で示された該ターゲットビデオにおける複数のビデオフレームは、複数の連続する画像フレームであってもよい。したがって、上記の図２に示したターゲットビデオを分割した後、分割された各画像フレーム（即ち、ビデオフレーム）に、再生順に応じたビデオフレーム番号を設定することができる。例えば、上記の第１時刻に取得されたビデオフレームのビデオフレーム番号は、１であってもよく、該ビデオフレーム番号１は、該第１時刻に取得されたビデオフレームが、該ターゲットビデオにおける第１フレームであることを示すために用いることができる。同様に、上記の第２時刻に取得されたビデオフレームのビデオフレーム番号は、２であってもよく、該ビデオフレーム番号２は、該第２時刻に取得されたビデオフレームが、該ターゲットビデオにおける第２フレームであることを示すために用いることができる。このようにして、上記の第ｎ－１時刻に取得されたビデオフレームのビデオフレーム番号は、ｎ－１であってもよく、該ビデオフレーム番号ｎ－１は、該第ｎ－１時刻に取得されたビデオフレームが、該ターゲットビデオにおける第ｎ－１フレームであることを示すために用いることができ、上記の第ｎ時刻に取得されたビデオフレームのビデオフレーム番号は、ｎであってもよく、該ビデオフレーム番号ｎは、該第ｎ時刻に取得されたビデオフレームが、該ターゲットビデオにおける第ｎフレーム、即ち該ターゲットビデオにおける最後のフレームであることを示すために用いることができる。

理解を容易にするために、本願の実施例では、平均変位行列によって、第１フレームにおける画素点を第２フレームに平行移動変換して、画素追跡を実現する具体的な過程を説明するために、上記図２に示された複数のビデオフレームのうち、第１フレームと第２フレームとからなる画像ペアを、最初の画像ペアと呼ぶことができる。ここで、該最初の画像ペアにおける第１フレームは、上記図２に対応する実施例における第１時刻に対応するビデオフレームであり、該最初の画像ペアにおける第２フレームは、上記図２に対応する実施例における第２時刻に対応するビデオフレームである。さらに、本願の実施例で提供される全画素追跡の模式図である図６を参照されたい。図６に示す画像ペア（１，２）は、前述した最初の画像ペアであってもよい。該最初の画像ペアにおける第１ビデオフレームは、前述した第１時刻に対応するビデオフレーム（即ち、第１フレーム）であってもよく、該最初の画像ペアにおける第２ビデオフレームは、前述した第２時刻に対応するビデオフレーム（即ち、第２フレーム）であってもよい。ここで、理解すべきものとして、該画像ペア（１，２）の数値１は第１フレームのビデオフレーム番号であり、数値２は第２フレームのビデオフレーム番号である。したがって、該ターゲットビデオにおける前後に隣接する任意の２つのビデオフレームを、該ターゲットビデオにおける各ビデオフレームのビデオフレーム番号で表すことができる。図６に示す画素点表示領域６００ａは、該画像ペアの第１ビデオフレームから抽出された全ての画素点を含んでもよく、例えば、該画素点表示領域６００ａにおける各画素点は、いずれも、１つの領域識別子に対応することができる。図６の画素点表示領域６００ａは、例示するためのものにすぎず、画素点表示領域６００ａは、画素点領域などとも呼ぶことができる。理解すべきものとして、本願の実施例では、該第１ビデオフレームから取得された画素点が２０個の画素点である場合のみを例にしているが、実際には、該第１ビデオフレームから取得された画素点の数は、本願の実施例で列挙された２０個よりもはるかに多い。理解すべきものとして、同一ビデオにおける複数のビデオフレームが、同一端末による画像収集により取得されたものであるので、同一ビデオに含まれる各ビデオフレームにおける画素点の数は同じである。

図６に示すように、該第１ビデオフレームにおける各画素点が取得された後、取得されたこれらの全ての画素点を画素点と総称することができ、さらに、図６に示す平均変位行列によって、該画素点表示領域６００ａにおける全ての画素点を追跡することができ、さらに、第２ビデオフレームに対応する画素点表示領域７００ａにおいて、マッピングされた画素点の位置情報を決定することができる。例えば、図６に示す画素点Ａを例にとると、該画素点Ａの、図６に示す画素点表示領域６００ａにおける位置情報は、領域識別子５の座標位置情報であってもよく、該平均変位行列によって、該画素点Ａを、図６に示す画素点表示領域７００ａにマッピングすることができ、該画素点Ａの、図６に示す画素点表示領域７００ａにおける位置情報は、領域識別子１０の座標位置情報であってもよい。本願の実施例では、該画素点Ａの該第２ビデオフレームにおける位置情報を算出した後、該位置情報を記憶することができる。該ターゲットビデオにおける各画像ペアは、いずれも、１つの平均変位行列に対応することができるので、各第１ビデオフレームそれぞれにおける画素点の、第２ビデオフレームにマッピングされた位置情報を算出することができる。各画像ペアにおける同一画素点の、連続するビデオフレームにおける出現位置情報を統合することにより、該画素点Ａの、該ターゲットビデオの各ビデオフレームにおける出現位置情報を取得することができ、さらに、該画素点Ａの、該ターゲットビデオの各ビデオフレームにおける出現位置情報に基づいて、該画素点Ａの移動軌跡を取得することができる。

同様に、該ビデオフレームにおける全ての画素点のうちの他の画素点については、各画像ペアそれぞれに対応する平均変位行列（即ち、各画像ペアそれぞれにおける第１ビデオフレームに対応する平均変位行列）によって、他の画素点のそれぞれの、該ターゲットビデオの各ビデオフレームにおける位置情報を決定することができ、さらに、他の画素点の移動軌跡を取得して、各画像ペアそれぞれの第１ビデオフレームにおける全ての画素点の全画素追跡を実現することができ、さらに、該ターゲットビデオの全ての画素点の各ビデオフレームにおける位置情報を取得することができる。理解すべきものとして、本願の実施例では、該ターゲットビデオにおける全ての画素点のそれぞれに対応する軌跡情報を、画素点に対応する軌跡情報と総称することができる。

ここで、該ターゲットユーザ端末の計算性能は、大量の画素点を追跡する計算要求を満たすことが困難である場合、該ターゲットユーザ端末の計算量を減らすために、該ターゲットユーザ端末とネットワーク接続関係があるアプリケーションサーバによって、該ターゲットビデオにおける全ての画素点の移動軌跡を予め算出してもよい。これにより、該ターゲットユーザ端末が該ターゲットビデオを実際に再生する際に、アプリケーションサーバは、ターゲットユーザ端末から送信された、ターゲット画素点のキービデオフレームにおける位置情報を受信し、予め算出された、画素点に対応する軌跡情報の中から、該ターゲット画素点にマッチングする軌跡情報をターゲット軌跡情報として選別し、さらに、該ターゲット軌跡情報をターゲットユーザ端末に返信することができる。これにより、ターゲットユーザ端末は、取得した該ターゲット軌跡情報に基づいて、ステップＳ１０４をさらに実行することができる。ここで、該ターゲット画素点は、ターゲットユーザによって選択されたキービデオフレームにおける画素点である。

任意選択的に、該ターゲットユーザ端末が良好な計算性能を有する場合、該ターゲットユーザ端末において、該ターゲットビデオにおける全ての画素点の移動軌跡を予め算出してもよい。これにより、該ターゲットユーザ端末が該ターゲットビデオを実際に再生する際に、さらに、ターゲットユーザによって選択されたターゲットオブジェクトにおけるターゲット画素点に基づいて、これらの画素点に対応する軌跡情報の中から、該ターゲット画素点にマッチングする軌跡情報をターゲット軌跡情報として選別することができ、ステップＳ１０４をさらに実行することを可能にする。

ステップＳ１０４で、前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示する。

理解を容易にするために、さらに、本願の実施例で提供される連続する複数のビデオフレームにおける弾幕データの追跡の模式図である図７を参照されたい。理解すべきものとして、本願の実施例では、弾幕追跡のための連続する複数のビデオフレームは、現在再生されているキービデオフレームと、まだ再生されていない、該ターゲットビデオにおけるキービデオフレームの後に位置するビデオフレームとを含んでもよい。例えば、図７に示すビデオフレーム１０をキービデオフレームとした場合、該キービデオフレームの後の各ビデオフレーム（例えば、ビデオフレーム２０、ビデオフレーム３０などのビデオフレーム）において、ビデオフレーム１０に現れた弾幕データに対して弾幕追跡を行ってもよい。ここで、図７に示されたビデオフレーム１０は、上記図５に対応する実施例における、ビデオ再生インタフェース３００ａに表示されているビデオフレームであってもよく、即ち、図７に示されたビデオフレーム１０は、ターゲットユーザ端末で現在再生されているターゲットビデオにおける、該ターゲットユーザに関連付けられたキービデオフレームであってもよい。換言すれば、本願の実施例におけるキービデオフレームは、ターゲットユーザがターゲットオブジェクトを選択する際に実行したトリガ操作に対応するビデオフレームとして理解することができる。理解すべきものとして、本願の実施例におけるターゲットオブジェクトは、再生中のビデオフレームにおいてターゲットユーザがクリック操作によって選択した人物、動物、植物などのオブジェクトを含んでもよい。換言すれば、該ターゲットユーザ端末は、該ターゲットユーザによって選択されたオブジェクトをターゲットオブジェクトと呼ぶことができ、該キービデオフレームのターゲットオブジェクトにおける、トリガ操作に対応する画素点をターゲット画素点とすることができ、さらに、アプリケーションサーバによって予め算出された、該ターゲットビデオにおける全ての画素点の軌跡情報の中から、該ターゲットオブジェクトにおけるターゲット画素点に関連付けられた軌跡情報を取得することができ、取得した軌跡情報を、該ターゲット画素点に対応するターゲット軌跡情報とすることができる。該ターゲット軌跡情報は、該ターゲット画素点の該キービデオフレームにおける位置情報を含んでもよく、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレーム（例えば、該キービデオフレームの次のビデオフレーム）における位置情報も含んでもよい。理解すべきものとして、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける位置情報に基づいて、ターゲットオブジェクトに関連付けられた（ターゲット画素点にも関連付けられた）マルチメディア情報（即ち、上記図５に対応する実施例における弾幕データ）の、該キービデオフレームの後の各ビデオフレームにおける位置情報を迅速に算出して、該ターゲットオブジェクトに関連付けられた弾幕データの高速追跡を実現することができる。これにより、該ターゲットユーザ端末が該キービデオフレームの次のビデオフレームを再生する際に、算出された、前記弾幕データの前記キービデオフレームにおける位置情報に基づいて、前記の次のビデオフレームにおいて該弾幕データをリアルタイムに表示することを可能にする。前記弾幕データの表示は、字幕の表示と類似してもよい。

理解すべきものとして、本願の実施例では、弾幕データを、該キービデオフレームにおけるターゲットオブジェクトに関連付けることにより、影の形に添うような弾幕データとターゲットオブジェクトとを実現することができ、即ち、ユーザによって入力された弾幕が、有効追跡期間内にずっとこの追跡対象のターゲットオブジェクトに従って相対的に移動することができる。例えば、該ターゲットビデオにおいて、該キービデオフレームの後の連続する複数のビデオフレームのいずれにもターゲットオブジェクトが存在する場合、該ターゲットオブジェクトにおけるターゲット画素点の、これらの連続するいくつかのビデオフレームにおける位置情報に基づいて、該ターゲットオブジェクトに関連付けられた弾幕データ（即ち、前述したテキスト情報Ａ）を表示することができる。

ターゲットユーザ端末は、ユーザによって入力された弾幕データ（マルチメディア情報）と、算出した、弾幕データの、ターゲットビデオの各ビデオフレームにおける位置情報とをサーバに送信してもよい。あるいは、サーバは、ターゲットユーザ端末から送信された、ユーザがクリックしたターゲットビデオにおけるキービデオフレームのフレーム番号、ターゲット画素点座標、入力された弾幕データ（マルチメディア情報）を受信し、ターゲット画素点の、ターゲットビデオの各ビデオフレームにおけるターゲット軌跡情報を算出し、該ターゲット軌跡情報に基づいて、弾幕データの、ターゲットビデオの各ビデオフレームにおける位置情報を算出し、前記弾幕データの位置情報を保存してもよい。サーバは、ターゲットユーザ端末から送信された情報を受信する際に、ターゲットユーザ端末の識別子、及び／又は、ターゲットユーザ端末においてユーザがターゲットアプリケーションにログインしたときに使用したユーザ識別子などの情報も受信してもよい。そして、他のユーザ端末で前記ターゲットビデオを再生する際に、サーバが、前記弾幕データと、前記弾幕データの、ターゲットビデオの各ビデオフレームにおける位置情報と、ユーザ識別子とを他のユーザ端末に送信し、他のユーザ端末が、弾幕データの位置情報に基づいて、ターゲットビデオの各ビデオフレームにおいて弾幕データを表示するようにしてもよい。

理解すべきものとして、ターゲットユーザ端末で再生されるいずれのビデオについても、ターゲットユーザは、現在の時刻が時刻Ｔ１であるときに、現在再生されているビデオフレームから、該ターゲットユーザが追跡する必要があると考えるオブジェクトを選択することができる。選択した該オブジェクトをターゲットオブジェクトと呼ぶことができる。さらに、ターゲットユーザ端末は、予め算出された、該ビデオにおける全ての画素点のそれぞれに対応する軌跡情報の中から、該ターゲットオブジェクトにおけるターゲット画素点に関連付けられた軌跡情報を選別することにより、該ターゲットオブジェクトにおけるターゲット画素点に対応するターゲット軌跡情報を迅速に取得することができる。ここで、理解すべきものとして、予め算出された、該ビデオにおける各画素点のいずれに対応する軌跡情報でも、該画素点の、該ビデオの各ビデオフレームにおける位置情報を記述するために使用することができる。したがって、ターゲットユーザ端末は、時刻Ｔ１に再生されたビデオフレームをキービデオフレームとした場合、該キービデオフレームにおいて、該ターゲットオブジェクトにおけるターゲット画素点を取得することができ、さらに、該ターゲット画素点に対応するターゲット軌跡情報の中から、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける位置情報を迅速に取得することができ、該ターゲット軌跡情報に基づいて、該ターゲットオブジェクトに関連付けられたマルチメディア情報を表示することができる。ここで、理解できるように、各ビデオフレームにおいてターゲット画素点によって形成された軌跡情報が円である場合、該ターゲットオブジェクトに関連付けられたマルチメディア情報は、同期的に該軌跡情報に従って回転することができる。このようにして、該ターゲットビデオにおける全ての画素点を予め追跡することにより、各画素点それぞれに対応する軌跡情報を予め取得することができる。これにより、該ターゲットビデオがターゲットユーザ端末で再生されているときに、ターゲットユーザが実行したトリガ操作に基づいて、トリガ操作に対応するターゲットオブジェクトにおける画素点をターゲット画素点とし、該ターゲット画素点に関連付けられた軌跡情報をターゲット軌跡情報として取得することができ、さらに、取得した該ターゲット軌跡情報に基づいて、該ターゲットオブジェクトに関連付けられたマルチメディア情報の正確な追跡を迅速に実現することができる。

そこで、該キービデオフレームにおける異なるオブジェクトについては、異なるオブジェクトにおけるターゲット画素点のそれぞれに対応する移動軌跡を取得することができる。これにより、異なるターゲットオブジェクトに関連付けられた弾幕データが、異なる軌跡で移動することができ、弾幕データと、弾幕データのターゲットとなるオブジェクトとの関連性がより強くなり、さらに、弾幕データの視覚的な展示効果を豊かにすることができ、弾幕データの表示態様の柔軟性を高めることもできる。

本願の実施例では、ターゲットビデオに対するターゲットユーザのトリガ操作が取得されると、該ターゲットビデオにおける、該トリガ操作に対応するビデオフレームをキービデオフレームとすることができる。これにより、該キービデオフレームからターゲット画素点を決定し、該ターゲット画素点及び該ターゲット画素点が位置するターゲットオブジェクトに関連付けられたマルチメディア情報（例えば、該マルチメディア情報は、該ターゲットビデオにおけるユーザ文字、ピクチャ、表情などの弾幕データであってもよい）を取得することができる。さらに、該ターゲット画素点の該キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する。さらに、該軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得することができる。これにより、該キービデオフレームの次のビデオフレームを再生する際に、該ターゲット軌跡情報に基づいて、該ターゲット画素点及び該ターゲット画素点が位置するターゲットオブジェクトに関連付けられた弾幕データを表示することができる。ここから分かるように、本願の実施例では、キービデオフレームが決定されると、さらに、該キービデオフレームにおける全ての画素点の軌跡情報の中から、ターゲット画素点の軌跡情報を選別し、選別したターゲット画素点の軌跡情報をターゲット軌跡情報とすることができる。これにより、取得されたターゲット軌跡情報に基づいて、弾幕データの展示効果を豊かにすることができる。例えば、異なるターゲットオブジェクトにおけるターゲット画素点について、取得されるターゲット軌跡情報が異なる可能性があり、その結果、弾幕データの展示効果が異なる。また、ターゲットオブジェクトと弾幕データとの関連関係に基づいて、該弾幕データの、該キービデオフレームの後の各ビデオフレームにおける位置情報を迅速に決定することができる。換言すれば、該弾幕データは、該ターゲットビデオにおいてずっと該ターゲットオブジェクトに従って変動し、さらに、ビデオにおけるユーザ文字の視覚的な展示効果を豊かにすることができ、弾幕データと、ターゲットオブジェクト、又はコメント対象のビデオにおけるオブジェクトとの関連性をより強くすることができる。

理解を容易にするために、さらに、本願の実施例の別のビデオデータ処理方法の模式図である図８を参照されたい。この方法は、主にターゲットユーザ端末とアプリケーションサーバとの間のデータやり取りの過程を記述するために用いられる。該方法は、以下のステップを含んでもよい。

ステップＳ２０１で、ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得する。

具体的には、アプリケーションサーバは、ターゲットビデオに含まれる複数のビデオフレームから、複数の画像ペアを決定することができ、この複数の画像ペアは、いずれも、該ターゲットビデオにおける隣接する２つのビデオフレームからなる。

換言すれば、アプリケーションサーバは、該ターゲットビデオに対するビデオ前処理段階において、まず、該ターゲットビデオをフレーム化処理して、該ターゲットビデオにおける複数のビデオフレームを、再生時系列に従って１枚ずつのピクチャに分割してもよい。これにより、上記図２に示すような再生時系列で配置された複数のビデオフレームを取得することができる。該ターゲットビデオの各ビデオフレームを分割することにより、各ビデオフレームそれぞれに対応するピクチャを取得することができ、即ち、１つの画像を１つの画像フレームと見なすことができる。さらに、該アプリケーションサーバは、前方後方オプティカルフロー法によって、各画像ペアそれぞれの２つのビデオフレームにおける画素点に対して画素追跡を行ってもよい。例えば、ｎ個のビデオフレームを含むターゲットビデオの場合、該アプリケーションサーバは、該ターゲットビデオの各ビデオフレームのビデオフレーム番号に基づいて、隣接するフレーム番号を有する２つのビデオフレームを１つの画像ペアとして決定してもよい。換言すれば、該アプリケーションサーバは、ビデオフレーム番号が１であるビデオフレームと、ビデオフレーム番号が２であるビデオフレームとを１つの画像ペアとして決定してもよい。同様に、該アプリケーションサーバは、ビデオフレーム番号が２でありビデオフレームと、ビデオフレーム番号が３であるビデオフレームとを１つの画像ペアとして決定してもよい。このようにして、該アプリケーションサーバは、ビデオフレーム番号がｎ－１であるビデオフレームと、ビデオフレーム番号がｎであるビデオフレームとを１つの画像ペアとして決定してもよい。

該ターゲットビデオにおける各画像ペアについて、各画像ペアそれぞれにおける２つのビデオフレームを、各ビデオフレームのビデオフレーム番号で記述することができる。したがって、前述したｎ個のビデオフレームを含むターゲットビデオの場合、ｎ－１個の画像ペアを取得することができ、これらのｎ－１個の画像ペアは、（１，２）、（２，３）、（３，４）、…（ｎ－１，ｎ）と表すことができる。ここで、画像ペアにおいて、ビデオフレーム番号が１であるビデオフレームは、該ターゲットビデオの第１フレームと呼ぶことができ、ビデオフレーム番号が２であるビデオフレームは、該ターゲットビデオの第２フレームと呼ぶことができ、このようにして、画像ペアにおいて、ビデオフレーム番号がｎ－１であるビデオフレームは、該ターゲットビデオの第ｎ－１フレームと呼ぶことができ、ビデオフレーム番号がｎであるビデオフレームは、該ターゲットビデオの第ｎフレームと呼ぶことができる。さらに、該アプリケーションサーバは、クラウド前方後方オプティカルフロー法によって、該ターゲットビデオの各画像ペアにおける画素点を追跡してもよい。ここで、該クラウド前方後方オプティカルフロー法は、オプティカルフロー法と総称することができ、このオプティカルフロー法は、各画像ペアそれぞれにおける２つのビデオフレーム間の画素点変位を計算するために用いることができる。

理解できるように、各画像ペアは、いずれも、前後に隣接する２つのビデオフレームからなるので、各画像ペアそれぞれにおける一方のビデオフレームを第１ビデオフレームと呼ぶことができ、各画像ペアそれぞれにおける他方のビデオフレームを第２ビデオフレームと呼ぶことができる。これにより、ステップＳ２０２をさらに実行することを可能にする。

ここで、理解を容易にするために、本願の実施例では、ターゲットビデオから取得された各画像ペアそれぞれにおける２つのビデオフレームを、第１ビデオフレーム及び第２ビデオフレームと総称することができ、即ち、該アプリケーションサーバは、ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得することができる。

ステップＳ２０２で、前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する。

具体的には、アプリケーションサーバは、第１ビデオフレームの全ての画素点を抽出してもよい。抽出された全ての画素点を画素点と総称することができる。ここで、該ターゲットビデオに対応するオプティカルフロー追跡規則は、前述したクラウド前方後方オプティカルフロー法を含んでもよく、クラウド変位積分法及びクラウド変位差分法を含んでもよい。理解すべきものとして、該オプティカルフロー追跡規則によって、各画像ペアそれぞれの、第１ビデオフレームにおける画素点及び第２ビデオフレームにおける画素点に対して、オプティカルフロー演算を行って、各画像ペアそれぞれに対応するオプティカルフロー追跡結果を取得することができ、さらに、該オプティカルフロー追跡結果に基づいて、各画像ペアそれぞれに対応するターゲット状態行列及びターゲット変位行列を決定することができる。ターゲット状態行列及びターゲット変位行列を直接使用して、ビデオフレームにおける画素点を追跡することも可能であるが、追跡結果はあまり正確ではない可能性がある。追跡の正確さを向上させるために、画素点の第１ビデオフレーム及び第２ビデオフレームにおける変位を計算する際に、画素点の周囲の画素点の変位の情報を考慮してもよい。例えば、アプリケーションサーバは、前記第１ビデオフレームにおける各画素点それぞれに対して、該画素点を中心として、該画素点の周囲の画像ブロック（該画素点及び該画素点の周囲の画素点を含む）を選択し、前記画像ブロックにおける全ての画素点の平均変位を計算して、該画素点の変位としてもよい。このような処理方式では、演算量が大きくなる可能性がある。本願の実施例によれば、該オプティカルフロー追跡規則によって、さらに、各画像ペアそれぞれに対応するターゲット状態行列及びターゲット変位行列に対して、変位積分演算を行って、各画像ペアそれぞれに対応する状態積分行列及び変位積分行列を取得することもできる。さらに、該オプティカルフロー追跡規則によって、各画像ペアそれぞれに対応する状態積分行列及び変位積分行列に対して、変位差分演算を行って、各画像ペアそれぞれに対応する平均変位行列を取得することもできる。換言すれば、該オプティカルフロー追跡規則によって、各画像ペアそれぞれの第１ビデオフレームにおける画素点の位置情報の正確な追跡に使用可能な平均変位行列を正確に取得することができる。上記した変位積分演算及び変位差分演算によれば、アプリケーションサーバは、第１ビデオフレームにおける画素点と、第２ビデオフレームにおける画素点との平均変位をバッチで計算することができるので、演算速度を向上させ、画素点及びビデオフレームの処理効率を向上させることができる。

ここで、クラウド前方後方オプティカルフロー法は、各画像ペアそれぞれにおける第１ビデオフレーム及び第２ビデオフレームに対して、順方向逆方向オプティカルフロー法による計算を同期的に行って、各画像ペアそれぞれに対応するオプティカルフロー追跡結果を取得するために用いることができる。換言すれば、アプリケーションサーバで取得されたオプティカルフロー追跡結果は、各画像ペアそれぞれにおける第１ビデオフレームに対応する順方向変位行列を含んでもよく、各画像ペアそれぞれにおける第２ビデオフレームに対応する逆方向変位行列を含んでもよい。本願の実施例では、順方向変位行列及び逆方向変位行列の各行列要素は、いずれも、２つの次元の変位（例えば、（Δｘ，Δｙ））を含んでもよい。ここで、この２つの次元の変位は、同一画素点の水平方向の変位（即ち、Δｘ）及び垂直方向の変位（即ち、Δｙ）として理解することができる。理解すべきものとして、該ターゲットビデオにおける各画像ペアのいずれに対しても、該オプティカルフロー法によって計算を行うと、順方向水平変位行列、順方向垂直変位行列、逆方向水平変位行列、逆方向垂直変位行列を取得することができ、取得された４つの行列をオプティカルフロー結果と呼ぶことができる。さらに、アプリケーションサーバは、各画像ペアそれぞれにおける第１ビデオフレームに対して初期状態行列を設定してもよく、さらに、先に取得された順方向変位行列及び逆方向変位行列に基づいて、各画像ペアそれぞれの第１ビデオフレームにおける画素点がターゲット選別条件を満たすか否かを判定してもよい。第１ビデオフレームには、ターゲット選別条件を満たす画素点が存在する場合、アプリケーションサーバは、ターゲット選別条件を満たす画素点を有効画素点として決定してもよく、さらに、決定した有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正して、各画像ペアそれぞれにおける第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得してもよい。さらに、アプリケーションサーバは、上記したクラウド変位積分法及びクラウド変位差分法と、取得されたターゲット状態行列及びターゲット変位行列とによって、各画像ペアそれぞれにおける第１ビデオフレームに対応する平均変位行列を決定してもよい。

ここで、本願の実施例では、該順方向水平変位行列及び順方向垂直変位行列を順方向変位行列と総称することができ、逆方向水平変位行列及び逆方向垂直変位行列を逆方向変位行列と総称することができる。理解を容易にするために、本願の実施例では、複数の画像ペアのうちの１つを例にして、該画像ペアにおける第１ビデオフレーム及び第２ビデオフレームから、該画像ペアに対応する平均変位行列を取得する過程を説明する。ここで、該画像ペアにおける第１ビデオフレームは、上記したビデオフレーム番号が１であるビデオフレームであってもよく、第２ビデオフレームは、上記したビデオフレーム番号が２であるビデオフレームであってもよい。したがって、該ビデオフレーム番号が１であるビデオフレームと、ビデオフレーム番号が２であるビデオフレームとからなる画像ペアを画像ペア１と呼び、該画像ペア１を（１，２）で表すことができる。

ここで、オプティカルフロー法によって算出された該画像ペア１に対応する順方向変位行列は、順方向水平変位行列（例えば、該順方向水平変位行列は、行列Ｑ_{１，２，ｘ}であってもよい）と、順方向垂直変位行列（例えば、該順方向垂直変位行列は、行列Ｑ_{１，２，ｙ}であってもよい）と、を含んでもよい。ここで、理解すべきものとして、行列Ｑ_{１，２，ｘ}の各行列要素は、第１ビデオフレームにおける画素点の、第２ビデオフレームにおける水平方向の変位として理解することができる。即ち、該順方向水平変位行列の各行列要素は、第１ビデオフレームにおける画素点に対応する第１横方向変位と呼ぶことができる。同様に、行列Ｑ_{１，２，ｙ}の各行列要素は、第１ビデオフレームにおける画素点の、第２ビデオフレームにおける垂直方向の変位として理解することができる。即ち、該順方向垂直変位行列の各行列要素は、第１ビデオフレームにおける画素点に対応する第１縦方向変位と呼ぶことができる。換言すれば、オプティカルフロー法によって算出されたこの２つの行列（即ち、行列Ｑ_{１，２，ｘ}及び行列Ｑ_{１，２，ｙ} ）の行列サイズは、第１ビデオフレームのサイズと同じであり、即ち、１つの行列要素は、第１ビデオフレームにおける１つの画素点に対応することができる。

同様に、オプティカルフロー法によって算出された該画像ペア１に対応する逆方向変位行列は、逆方向水平変位行列（即ち、該逆方向水平変位行列は、行列Ｑ_{２，１，ｘ}であってもよい）と、逆方向垂直変位行列（即ち、該逆方向垂直変位行列は、行列Ｑ_{２，１，ｙ}であってもよい）と、を含んでもよい。ここで、理解すべきものとして、行列Ｑ_{２，１，ｘ}の各行列要素は、第２ビデオフレームにおける画素点の、第１ビデオフレームにおける水平方向の変位として理解することができる。即ち、該逆方向水平変位行列の各行列要素は、第２ビデオフレームにおける画素点に対応する第２横方向変位と呼ぶことができる。同様に、行列Ｑ_{２，１，ｙ}の各行列要素は、第２ビデオフレームにおける画素点の、第１ビデオフレームにおける垂直方向の変位として理解することができる。即ち、該逆方向垂直変位行列の各行列要素は、第２ビデオフレームにおける画素点に対応する第２縦方向変位と呼ぶことができる。換言すれば、オプティカルフロー法によって算出されたこの２つの行列（即ち、行列Ｑ_{２，１，ｘ}及び行列Ｑ_{２，１，ｙ}）の行列サイズは、第２ビデオフレームのサイズと同じであり、即ち、１つの行列要素は、第２ビデオフレームにおける１つの画素点に対応することができる。

理解すべきものとして、ターゲットビデオにおける各ビデオフレームについては、各ビデオフレームにおける画素点の数が同じであるので、オプティカルフロー法によって算出された、該画像ペア１に対応するこの４つの行列（即ち、行列Ｑ_{１，２，ｘ}、行列Ｑ_{１，２，ｙ}、行列Ｑ_{２，１，ｘ}、行列Ｑ_{２，１，ｙ}）の行列サイズは同じである。例えば、各ビデオフレームそれぞれにおける画素点の数がｍ×ｎ個である場合、取得されたこの４つの行列の行列サイズは、いずれも、ｍ×ｎであってもよい。ここから分かるように、順方向水平変位行列及び順方向垂直変位行列の各行列要素は、いずれも、第１ビデオフレームにおける画素点に対応することができる。したがって、該画像ペア１に対応する順方向変位行列の各行列要素は、第１ビデオフレームにおける画素点の、第２ビデオフレームにおける２つの次元の変位を表すことができる。該画像ペア１に対応する順方向変位行列を、第１ビデオフレームに対応する順方向変位行列と総称することができる。同様に、画像ペア１に対応する逆方向変位行列の各行列要素は、第２ビデオフレームにおける画素点の、第１ビデオフレームにおける２つの次元の変位を表すことができる。該画像ペア１に対応する逆方向変位行列を、第２ビデオフレームに対応する逆方向変位行列と総称することができる。

ここから分かるように、アプリケーションサーバは、前記第１ビデオフレームにおける画素点の第１位置情報と、前記オプティカルフロー追跡規則とに基づいて、前記第１ビデオフレームにおける画素点を前記第２ビデオフレームに順方向にマッピングし、前記第２ビデオフレームにおいて、マッピングされた第１マッピング点の第２位置情報を決定することができ、さらに、前記画素点の第１位置情報と、前記第１マッピング点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を決定することができる。さらに、アプリケーションサーバは、前記第２ビデオフレームにおける画素点の第２位置情報と、前記オプティカルフロー追跡規則とに基づいて、前記第２ビデオフレームにおける画素点を前記第１ビデオフレームに逆方向にマッピングし、前記第１ビデオフレームにおいて、マッピングされた第２マッピング点の第３位置情報を決定することができ、さらに、前記第１マッピング点の第２位置情報と、前記第２マッピング点の第３位置情報とに基づいて、前記第２ビデオフレームに対応する逆方向変位行列を決定することができる。ここで、前記第１マッピング点及び前記第２マッピング点は、いずれも、オプティカルフロー法によって、画像ペアの一方のビデオフレームにおける画素点を他方のビデオフレームにマッピングした画素点である。

さらに、アプリケーションサーバは、前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記画素点のうち、ターゲット選別条件を満たす画素点を有効画素点として決定することができる。ここで、該アプリケーションサーバが有効画素点を決定する具体的な過程は、以下のように記述することができる。

アプリケーションサーバは、前記第１ビデオフレームにおける画素点の中から、第１画素点を取得し、前記第１ビデオフレームにおいて、前記第１画素点の第１位置情報を決定し、前記順方向変位行列から、前記第１画素点に対応する第１横方向変位及び第１縦方向変位を決定してもよい。さらに、アプリケーションサーバは、前記第１画素点の第１位置情報と、前記第１画素点に対応する第１横方向変位及び第１縦方向変位とに基づいて、前記第１画素点を前記第２ビデオフレームに順方向にマッピングし、前記第２ビデオフレームにおいて、マッピングされた第２画素点の第２位置情報を決定してもよい。さらに、アプリケーションサーバは、前記逆方向変位行列から、前記第２画素点に対応する第２横方向変位及び第２縦方向変位を決定し、前記第２画素点の第２位置情報と、前記第２画素点に対応する第２横方向変位及び第２縦方向変位とに基づいて、前記第２画素点を前記第１ビデオフレームに逆方向にマッピングし、前記第１ビデオフレームにおいて、マッピングされた第３画素点の第３位置情報を決定してもよい。さらに、アプリケーションサーバは、前記第１画素点の第１位置情報と、前記第３画素点の第３位置情報とに基づいて、前記第１画素点と前記第３画素点との誤差距離を決定し、前記第１画素点の第１位置情報と、前記第２画素点の第２位置情報とに基づいて、第１画素点を含む画像ブロックと、前記第２画素点を含む画像ブロックとの相関係数を決定してもよい。さらに、アプリケーションサーバは、前記画素点のうち、誤差距離が誤差距離閾値未満であり、かつ前記相関係数が相関係数閾値以上である画素点を有効画素点として決定してもよい。

このように取得されたオプティカルフロー追跡結果における順方向変位行列及び逆方向変位行列の行列要素の正確性を検証するために、本願の実施例では、行列変換によって、上記した４つの変位行列の行列要素を選別してもよく、即ち、構築された初期状態行列における、各画素点それぞれに対応する位置にある行列要素の変化状況によって、この４つの行列から、各画素点それぞれに対応する位置にある、変位誤差が大きい行列要素を除去してもよい。これにより、第１ビデオフレームの画素点の中から、有効画素点を決定することができる。

理解を容易にするために、さらに、本願の実施例で提供される有効画素点を決定する方法の模式図である図９を参照されたい。図９に示すように、該アプリケーションサーバは、この４つの行列の行列要素を選別する前に、まず、該第１ビデオフレームと同じサイズの状態行列Ｓ_１を初期化してもよい。この場合、該アプリケーションサーバは、該状態行列Ｓ_１を初期状態行列と呼ぶことができる。ここで、該初期状態行列において、各画素点それぞれに対応する行列要素の値は、第１数値と呼ぶことができる。このとき、該初期状態行列における第１数値は、いずれも、ゼロである。該初期状態行列の行列要素の値の変化状況は、第１ビデオフレームにおける画素点がターゲット選別条件を満たすか否かを表すために用いることができる。これにより、ターゲット選別条件を満たす画素点を有効追跡画素点（即ち、有効画素点）とすることができる。

ここで、図９に示す第１画像フレームは、上記した画像ペア１におけるビデオフレーム番号が１であるビデオフレームであってもよい。該第１ビデオフレームにおける画素点は、図９に示すような第１画素点ｐ１を含んでもよく、即ち、該第１画素点ｐ１は、該第１ビデオフレームの全ての画素点のうちの１つであってもよく、該第１画素点ｐ１の第１ビデオフレームにおける位置情報を第１位置情報と呼ぶことができる。さらに、アプリケーションサーバは、上記の順方向変位行列の順方向水平変位行列から、該第１画素点ｐ１に対応する第１横方向変位を見つけて、上記の順方向変位行列の順方向垂直変位行列から、該第１画素点ｐ１に対応する第１縦方向変位を見つけることができ、さらに、該第１画素点ｐ１の第１位置情報と、該第１画素点ｐ１に対応する第１横方向変位及び第１縦方向変位とに基づいて、該第１画素点ｐ１を、図９に示す第２ビデオフレームに順方向にマッピングし、第２ビデオフレームにおいて、マッピングされた第２画素点ｐ２の第２位置情報を決定することができる。理解できるように、このとき、該第２画素点ｐ２は、第１画素点ｐ１を行列変換した画素点である。さらに、該アプリケーションサーバは、上記の逆方向変位行列から、該第２画素点ｐ２に対応する第２横方向変位及び第２縦方向変位を決定することができ、該第２画素点ｐ２の第２位置情報と、該第２画素点ｐ２に対応する第２横方向変位及び第２縦方向変位とに基づいて、該第２画素点ｐ２を、図９に示す第１ビデオフレームに逆方向にマッピングすることができ、該第１ビデオフレームにおいて、マッピングされた第３画素点ｐ１’の第３位置情報を決定することができる。理解できるように、このとき、該第３画素点ｐ１’は、第１画素点ｐ１をマッピングした第２画素点ｐ２を行列変換した画素点である。

さらに、該アプリケーションサーバは、第１ビデオフレームにおいて、第１画素点ｐ１の第１位置情報と、行列変換された第３画素点ｐ１’の第３位置情報との２つの位置間の誤差距離ｔ_１１’を決定することができる。さらに、アプリケーションサーバは、図９に示す第１ビデオフレームにおいて、第１画素点ｐ１の第１位置情報を中心として、サイズがｋ＊ｋ画素（例えば、８＊８画素）である画像ブロック１０を選択してもよい。また、図９に示すように、アプリケーションサーバは、図９に示す第２ビデオフレームにおいて、第２画素点ｐ２の第２位置情報を中心として、同様に、サイズがｋ＊ｋ画素である画像ブロック２０を選択してもよく、さらに、この２つの画像ブロック間の相関係数（該相関係数は、Ｎ_１，２であってもよい）を計算してもよい。

ここで、相関係数Ｎ_１，２の計算式は、次の通りである。

数式１におけるｐａｔｃｈ_１（ａ，ｂ）は、図９に示す画像ブロック１０のａ行ｂ列の位置にある画素点の画素値を表すことができる。前記画素値は、０～２５５の間にある、画素の階調値であってもよい。Ｅ（ｐａｔｃｈ_１）は、図９に示す画像ブロック１０の平均画素値を表す。ｐａｔｃｈ_２（ａ，ｂ）は、図９に示す画像ブロック２０のａ行ｂ列の位置にある画素点の画素値を表す。Ｅ（ｐａｔｃｈ_２）は、図９に示す画像ブロック２０の平均画素値を表す。

ここで、理解できるように、本願の実施例では、図９に示す第１画素点ｐ１と第３画素点ｐ１’との誤差距離を算出した後、この算出した誤差距離を、予め設定された誤差距離閾値と比較してもよい。ｔ_１１’＜Ｔ_Ｂ、かつＮ_１，２≧Ｔ_Ａである場合は（ここで、Ｔ_Ｂは設定された誤差距離閾値、Ｔ_Ａは設定された相関係数閾値）、該第１ビデオフレームにおける第１画素点ｐ１が前述のターゲット選別条件を満たすことを表すため、該第１画素点ｐ１が有効画素点であると決定することができる。

さらに、該アプリケーションサーバは、初期状態行列Ｓ_１における、該第１画素点ｐ１に対応する位置にある行列要素の値を第２数値に設定してもよい。例えば、第１ビデオフレームにおける第１画素点ｐ１が有効画素点であることを表すために、該初期状態行列Ｓ_１における、第１画素点ｐ１に対応する要素の値を０から１に切り替えてもよい。逆に、ｔ_１１’≧Ｔ_Ｂ、及び／又は、Ｎ_１，２＜Ｔ_Ａである場合は、該第１ビデオフレームにおける第１画素点ｐ１が前述のターゲット選別条件を満たさないことを表す。この場合、該アプリケーションサーバは、上記図９に示す第１画素点ｐ１を無効追跡画素点と判断することができる。即ち、該初期状態行列Ｓ_１において、第１画素点ｐ１に対応する要素の値は、０のままである。これと同時に、該アプリケーションサーバは、さらに、上記の順方向変位行列（即ち、上記行列Ｑ_{１，２，ｘ}及び行列Ｑ_{１，２，ｙ}）における、該第１画素点ｐ１に対応する位置にある行列要素の値を０に設定してもよい。これにより、前記第１数値を含むこの順方向変位行列を、ターゲット変位行列（例えば、順方向水平変位行列Ｑ_ｘ１及び順方向垂直変位行列Ｑ_ｙ１）として決定することができる。即ち、該ターゲット変位行列におけるこれらの位置にある行列要素は、上記の順方向変位行列から選別されて、大きな誤差が存在する誤り追跡変位が除外された後に決定された行列を表すために用いることができる。

理解できるように、上記図９に示す他の画素点については、図９に示す第１ビデオフレームから画素点を順次選択して第１画素点として、有効画素点を決定する上記のステップを繰り返してもよい。該第１ビデオフレームにおける全ての画素点のいずれも第１画素点とされると、該第１ビデオフレームにおける全ての有効画素点を決定することができる。これにより、該有効画素点の該初期状態行列における位置情報に基づいて、該初期状態行列における行列要素を更新することができ、さらに、第２数値を含む初期状態行列を、前記第１ビデオフレームに対応するターゲット状態行列Ｓ_１として決定することができる。そして、該第１ビデオフレームに対応するターゲット変位行列（即ち、ターゲット水平変位行列Ｑ_ｘ，１及びターゲット垂直変位行列Ｑ_ｙ，１）を取得することができる。同様に、複数の画像ペアのうちの他の画像ペアについても、画像ペア１から有効画素点を決定する上記のステップを繰り返すことにより、残りの画像ペアのそれぞれにおける第１ビデオフレームに対応するターゲット状態行列、ターゲット変位行列を取得することができる。例えば、ターゲットビデオにおける、ビデオフレーム番号がそれぞれ１、２、３、４、…、ｎである連続する複数のビデオフレームを例にとると、構成された複数の画像ペアは、それぞれ、（１，２）、（２，３）、（３，４）、…、（ｎ－１，ｎ）と表すことができる。そうすると、各画像ペアそれぞれに対応するオプティカルフロー追跡結果から、上記の有効画素点の判断方式によって、画像ペア（１，２）に対応するターゲット状態行列Ｓ_１と、画像ペア（１，２）に対応するターゲット変位行列Ｑ_１（即ち、前述のターゲット水平変位行列Ｑ_ｘ，１及びターゲット垂直変位行列Ｑ_ｙ，１）を最終的に取得することができる。このようにして、画像ペア（ｎ－１，ｎ）に対応するターゲット状態行列Ｓ_ｎ－１と、画像ペア（ｎ－１，ｎ）に対応するターゲット変位行列Ｑ_ｎ－１（即ち、前述のターゲット水平変位行列Ｑ_{ｘ，ｎ－１}及びターゲット水垂直位行列Ｑ_{ｙ，ｎ－１}）を取得することができる。

さらに、アプリケーションサーバは、クラウド変位積分法によって、上記画像ペア１に対応するターゲット状態行列Ｓ_１及び前記ターゲット変位行列Ｑ_１に対して積分演算を行って、該第１ビデオフレームにおける画素点に対応する状態積分行列Ｓ_ｉｎ（ｘ，ｙ）及び変位積分行列Ｑ_ｉｎ（ｘ，ｙ）を取得することができる。ここで、変位積分行列Ｑ_ｉｎ（ｘ，ｙ）は、横方向変位積分行列Ｑ_ｘ，ｉｎ（ｘ，ｙ）と、縦方向変位積分行列Ｑ_ｙ，ｉｎ（ｘ，ｙ）と、を含んでもよい。また、該状態積分行列Ｓ_ｉｎ（ｘ，ｙ）、横方向変位積分行列Ｑ_ｘ，ｉｎ（ｘ，ｙ）、及び縦方向変位積分行列Ｑ_ｙ，ｉｎ（ｘ，ｙ）は、次の行列積分式によって取得することができる。

数式２、数式３、数式４におけるｘ及びｙは、第１ビデオフレームに対応する状態積分行列、変位積分行列における全ての行列要素の座標を表すために用いることができ、例えば、Ｓ_ｉｎ（ｘ，ｙ）は、状態積分行列のｘ行ｙ列の行列要素の値を表すことができる。また、数式２、数式３、数式４におけるｘ’及びｙ’は、ターゲット状態行列及びターゲット変位行列における行列要素の座標を表すことができ、例えば、Ｓ（ｘ’，ｙ’）は、ターゲット状態行列のｘ’行ｙ’列の行列要素の値を表すことができる。

さらに、アプリケーションサーバは、クラウド変位差分法によって、第１ビデオフレームにおいて、高さがＭであり、かつ幅がＮであるターゲットボックスを選択してもよく、さらに、該ターゲットボックス内で、数式２、数式３、数式４によって取得されたこの３つの積分行列に対して変位差分演算を行って、状態差分行列Ｓ_ｄｉｆ（ｘ，ｙ）及び変位差分行列Ｑ_ｄｉｆ（ｘ，ｙ）をそれぞれ取得することができる。前記ターゲットボックスは、画素点の周囲の一定の領域の全ての画素点を選択して、平均変位を計算するためのものであり、例えば、８０×８０画素のサイズである。

ここで、変位差分行列Ｑ_ｄｉｆ（ｘ，ｙ）は、横方向変位差分行列Ｑ_{ｘ，ｄｉｆ}（ｘ，ｙ）と、縦方向変位差分行列Ｑ_{ｙ，ｄｉｆ}（ｘ，ｙ）と、を含んでもよい。該状態差分行列Ｓ_ｄｉｆ（ｘ，ｙ）、横方向変位差分行列Ｑ_{ｘ，ｄｉｆ}（ｘ，ｙ）、及び縦方向変位差分行列Ｑ_{ｙ，ｄｉｆ}（ｘ，ｙ）は、次の変位差分演算式（数式５）によって取得することができる。

ここで、理解できるように、本願の実施例では、該第１ビデオフレームにおける、該ターゲットブロックが位置する領域を、差分領域と呼ぶことができる。これにより、該差分領域のサイズ情報、状態積分行列、横方向変位積分行列、及び縦方向変位積分行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定することができる。ここで、該変位差分演算式におけるＭ及びＮは、該差分領域の長さの値及び幅の値である。ここで、該変位差分演算式におけるｘ及びｙは、それぞれ、第１ビデオフレームにおける各画素点の位置情報である。該変位差分演算式によって、該差分領域内の全ての画素点の平均値を迅速に取得することができる。例えば、状態積分行列の場合は、該状態積分行列Ｓ_ｉｎ（ｘ，ｙ）に対応する状態差分行列Ｓ_ｄｉｆ（ｘ，ｙ）を取得することができる。横方向変位積分行列Ｑ_ｘ，ｉｎ（ｘ，ｙ）及び縦方向変位積分行列Ｑ_ｙ，ｉｎ（ｘ，ｙ）の場合は、横方向変位差分行列Ｑ_{ｘ，ｄｉｆ}（ｘ，ｙ）及び縦方向変位差分行列Ｑ_{ｙ，ｄｉｆ}（ｘ，ｙ）を取得することができる。

さらに、該アプリケーションサーバは、横方向変位差分行列Ｑ_{ｘ，ｄｉｆ}（ｘ，ｙ）と前記状態差分行列Ｓ_ｄｉｆ（ｘ，ｙ）との比を横方向平均変位行列Ｑ_ｘ，Ｆ（ｘ，ｙ）として決定し、前記縦方向変位差分行列Ｑ_{ｙ，ｄｉｆ} （ｘ，ｙ）と前記状態差分行列Ｓ_ｄｉｆ（ｘ，ｙ）との比を縦方向平均変位行列Ｑ_ｙ，Ｆ（ｘ，ｙ）として決定してもよい。

数式６及び数式７におけるｅは、０．００１のような、人為的に設定された比較的小さな数を表す。即ち、数式６及び数式７におけるｅは、状態差分行列Ｓ_ｄｉｆ（ｘ，ｙ）における行列要素の値が全て０である場合、直接０で除算することを回避するためのものである。これにより、ステップＳ２０３をさらに実行して、該第１ビデオフレームにおける画素点の第２ビデオフレームにおける出現位置情報を該ターゲットユーザ端末で予め算出することができる。

ステップＳ２０３で、前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定する。

具体的には、アプリケーションサーバは、前述したステップＳ２０２で取得された平均変位行列（該平均変位行列は、横方向平均変位行列Ｑ_ｘ，Ｆ（ｘ，ｙ）と、縦方向平均変位行列Ｑ_ｙ，Ｆ（ｘ，ｙ）と、を含んでもよい）に基づいて、さらに、該第１ビデオフレームにおける画素点の、次のビデオフレーム（即ち、上記の画像ペア１における第２ビデオフレーム）における出現位置情報を迅速かつ正確に追跡することができ、即ち、変位変換を行うことにより、前記第２ビデオフレームにおいて、該第１ビデオフレームにおける画素点を追跡して得られた画素点の位置情報を決定することができる。

数式８におけるｘは、該第１ビデオフレームにおける画素点の横方向の位置座標であり、Ｑ_ｘ，Ｆ（ｘ，ｙ）は、該第１ビデオフレームに対応する横方向平均変位行列であり、該数式８によって、第１ビデオフレームにおける画素点の横方向の位置座標を座標変換して、該第１ビデオフレームにおける画素点の、次のビデオフレームにおける横方向の位置座標を取得することができる。同様に、数式９におけるｙは、該第１ビデオフレームにおける画素点の縦方向の位置座標であり、Ｑ _ｙ，Ｆ （ｘ，ｙ）は、該第１ビデオフレームに対応する縦方向平均変位行列であり、該数式９によって、第１ビデオフレームにおける画素点の縦方向位置座標を座標変換して、該第１ビデオフレームにおける画素点の、次のビデオフレームにおける縦方向の位置座標を取得することができる。

理解できるように、各画像ペアのいずれについても、該画像ペアにおける第１ビデオフレームに対応する平均変位行列によって、該画像ペアの第１ビデオフレームにおける画素点を迅速に追跡することができ、該画像ペアの第２ビデオフレームにおいて、追跡された画素点の位置座標を決定することができ、即ち、各画像ペアそれぞれの第２ビデオフレームにおいて、追跡された画素点の位置情報を決定することができる。該アプリケーションサーバは、ステップＳ２０４をさらに実行することを可能にするために、各画像ペアにおいて追跡された画素点の位置情報をさらに記憶してもよい。

ステップＳ２０４で、前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成する。

ここで、前記軌跡情報は、ターゲットビデオにおけるターゲットオブジェクトに関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む。

ステップＳ２０５で、ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得する。

ステップＳ２０６で、前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する。

ここで、ステップＳ２０５及びステップＳ２０６の具体的な実現方式については、上記図４に対応する実施例におけるターゲットユーザ端末の説明を参照すればよいが、ここではこれ以上の説明を省略する。

ステップＳ２０７で、キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得する。

具体的には、アプリケーションサーバは、ターゲットユーザ端末が、キービデオフレームにおけるターゲット画素点に基づいて送信した軌跡取得要求を受信してもよく、さらに、上述したアプリケーションサーバによって予め算出された、該ターゲットビデオにおける全ての画素点のそれぞれに関連付けられた軌跡情報を取得してもよい。これにより、ステップＳ２０８をさらに実行することを可能にする。

ステップＳ２０８で、前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信する。

具体的には、アプリケーションサーバは、該軌跡取得要求から、該キービデオフレームのターゲットビデオにおけるビデオフレーム番号と、ターゲット画素点の該キービデオフレームにおける位置情報とを取得してもよく、さらに、該アプリケーションサーバが予め取得した、該ターゲットビデオに関連付けられた軌跡情報の中から、該ターゲット画素点に関連付けられた軌跡情報を選別してもよく、選別した軌跡情報をターゲット軌跡情報と呼ぶことができ、さらに、該ターゲット軌跡情報をターゲットユーザ端末に返信してもよい。これにより、該ターゲットユーザ端末は、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける出現位置情報が取得されるまで、該キービデオフレームのフレーム番号に基づいて、受信した該ターゲット軌跡情報の中から、ターゲット画素点の、該キービデオフレームの次のビデオフレームにおける出現位置情報を迅速に見つけることができる。この場合、該ターゲットユーザ端末は、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける出現位置情報からなる新たな軌跡情報をターゲット軌跡情報と呼ぶことができる。任意選択的に、理解すべきものとして、該アプリケーションサーバは、該キービデオフレームのフレーム番号を取得すると、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける出現位置情報が取得されるまで、選別した該軌跡情報の中から、ターゲット画素点の、該キービデオフレームの次のビデオフレームにおける出現位置情報を迅速に見つけてもよい。この場合、該アプリケーションサーバは、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける出現位置情報からなる新たな軌跡情報をターゲット軌跡情報と呼ぶことができる。

ここで、理解できるように、ターゲットユーザ端末の計算性能がオブジェクト追跡の需要を満たせない場合、該ターゲットユーザ端末は、該ターゲット画素点に対応する軌跡取得要求を生成すると、該軌跡取得要求をアプリケーションサーバに送信してもよい。これにより、アプリケーションサーバは、前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得することができ、取得したターゲット軌跡情報を該ターゲットユーザ端末に返信することができる。

任意選択的に、ターゲットユーザ端末の計算性能がオブジェクト追跡の需要を満たせる場合、該ターゲットユーザ端末は、上記したステップＳ２０１～ステップＳ２０４を該ターゲットユーザ端末で実行してもよい。これにより、該ターゲットユーザ端末では、該ターゲットビデオにおける全ての画素点の全画素追跡を予め行って、該ターゲットビデオにおける全ての画素点の各ビデオフレームにおける位置情報を予め取得し、さらに、該ターゲットビデオにおける各画素点の各ビデオフレームにおける位置情報について位置を統合して、該ターゲットビデオにおける各画素点それぞれに対応する軌跡情報を取得することができる。この場合、該ターゲットユーザ端末は、前記ターゲットオブジェクトにおけるターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、該ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を該ターゲットユーザ端末において直接取得してもよい。これにより、ステップＳ２０９をさらに実行することを可能にする。

ここで、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲットオブジェクトを追跡することにより取得されたものである。

例えば、現在再生されているビデオ（即ち、ターゲットビデオ）に含まれる複数の連続するビデオフレームが以下の６つのビデオフレームである場合を例にとる。この６つのビデオフレームは、ビデオフレームａ、ビデオフレームｂ、ビデオフレームｃ、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆであってもよい。したがって、アプリケーションサーバは、ビデオの前処理段階で、該ターゲットビデオにおける各ビデオフレームに対して前処理を予め行ってもよく、即ち、上記したオプティカルフロー追跡規則に基づいて、該ターゲットビデオにおける２つずつの隣接するビデオフレームからなる画像ペアのそれぞれに対応する平均変位行列を決定してもよく、さらに、各画像ペアそれぞれに対応する平均変位行列（各画像ペアそれぞれにおける第１ビデオフレームに対応する平均変位行列とも呼ぶことができる）に基づいて、該第１ビデオフレームにおける全ての画素点を追跡してもよい。これにより、該第１ビデオフレームにおける全ての画素点の第２ビデオフレームにおける出現位置情報を取得することができ、さらに、該ターゲットビデオの全ての画素点の各ビデオフレームにおける位置情報を取得することができ（即ち、該ターゲットビデオの全ての画素点の、上記したビデオフレームａ、ビデオフレームｂ、ビデオフレームｃ、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆにおける位置情報を取得することができ）、該ターゲットビデオの全ての画素点の各ビデオフレームにおける位置情報に基づいて、該ターゲットビデオの全ての画素点のそれぞれに対応する軌跡情報を取得することができる。該ターゲットビデオの全ての画素点のそれぞれに対応する軌跡情報を、該ターゲットビデオに関連付けられた軌跡情報と呼ぶ。

また、例えば、アプリケーションサーバは、該ターゲットビデオに対して前処理を行う際に、該ターゲットビデオにおける画素点Ａ（例えば、該画素点Ａは、該ターゲットビデオにおける全ての画素点のうちの１つであってもよい）に対応する軌跡情報を予め算出してもよく、該画素点Ａに対応する軌跡情報には、該画素点Ａの、該ターゲットビデオの各ビデオフレーム（即ち、上記ビデオフレームａ、ビデオフレームｂ、ビデオフレームｃ、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆ）における位置情報が含まれる場合、ターゲットユーザ端末におけるターゲット画素点に対応するキービデオフレームが、該ターゲットビデオのビデオフレームｃであれば、さらに、該ビデオフレームｃにおけるターゲットオブジェクトにおける画素点Ａをターゲット画素点としてもよく、さらに、該ターゲット画素点が画素点Ａである場合、アプリケーションサーバにおいて該画素点Ａの軌跡情報を選別してもよく、さらに、選別したこの画素点Ａの軌跡情報に基づいて、該画素点Ａの、該キービデオフレームの後の各ビデオフレーム（即ち、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆ）における位置情報を取得することができる。

本願の実施例では、キービデオフレームが該ターゲットビデオにおける最初のビデオフレームである場合、ターゲットユーザ端末が取得したターゲット軌跡情報は、予め算出された軌跡情報であってもよい。例えば、前述したキービデオフレームがターゲットビデオにおけるビデオフレームａ（最初のビデオフレーム）である場合を例にすると、該ターゲットユーザ端末が取得したターゲット軌跡情報は、該ターゲット画素点の、上記ビデオフレームａ、ビデオフレームｂ、ビデオフレームｃ、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆにおける位置情報を含んでもよい。任意選択的に、キービデオフレームが該ターゲットビデオにおける非最初のビデオフレームである場合、ターゲットユーザ端末が取得したターゲット軌跡情報は、予め算出された軌跡情報の中から決定された部分位置情報からなる軌跡情報であってもよい。例えば、前述したキービデオフレームがターゲットビデオにおけるビデオフレームｃ（即ち、非最初のビデオフレーム）である場合を例にすると、該ターゲットユーザ端末が取得したターゲット軌跡情報は、該ターゲット画素点の、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆにおける位置情報を含んでもよく、ターゲット画素点の、ビデオフレームｄ、ビデオフレームｅ、ビデオフレームｆにおける位置情報を部分位置情報と呼ぶことができる。

理解できるように、任意選択的に、該ターゲットユーザ端末は、該アプリケーションサーバによって検索された、該ターゲット画素点のキービデオフレームにおける位置情報を含む軌跡情報（即ち、上記画素点Ａに対応する軌跡情報）を、ターゲット軌跡情報と総称することもできる。この場合、該ターゲット軌跡情報は、該ターゲットビデオの全ての画素点の中から検索された、ターゲット画素点にマッチングする画素点Ａに対応する軌跡情報と見なすことができる。該軌跡情報は、該画素点Ａの、該ターゲットビデオの各ビデオフレームにおける位置情報を含むことができるので、当然、該軌跡情報の中から、該ターゲット画素点の、該キービデオフレームの後の各ビデオフレームにおける位置情報を迅速に取得することもできる。

ステップＳ２０９で、前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示する。

ここで、理解できるように、本願の実施例では、ターゲットユーザによって選択されたターゲットオブジェクトにおけるターゲット画素点を取得すると、予め算出された、全ての画素点のそれぞれに対応するこれらの軌跡情報の中から、該キービデオフレームにおけるターゲット画素点の位置情報に関連付けられた軌跡情報を選別することができ、さらに、選別した軌跡情報をターゲット軌跡情報と呼ぶことができる。本願の実施例では、該ビデオの各ビデオフレームにおける画素点の画素追跡を予め行うことができるので、各画像ペアそれぞれにおける第１ビデオフレームに対応する平均変位行列を取得すると、該ビデオにおける各画素点の、対応するビデオフレームにおける位置情報を迅速に取得することができる。理解すべきものとして、予め算出された、各画素点の、対応するビデオフレームにおける位置情報は、現在ビデオ再生インタフェースで再生されている該ビデオにおける各画素点の、対応するビデオフレームにおける位置情報を表すために用いることができる。したがって、ターゲットユーザ端末は、ターゲットオブジェクトにおけるターゲット画素点、及びターゲットオブジェクトに関連付けられたマルチメディア情報を取得すると、全ての画素点のそれぞれに対応する軌跡情報の中から選別された、該ターゲット画素点に対応する軌跡情報をターゲット軌跡情報と呼ぶことができ、さらに、該ターゲット軌跡情報をターゲットユーザ端末に返信することができる。これにより、該ターゲットユーザ端末は、該ターゲット軌跡情報に付されている、該ターゲット画素点の、キービデオフレームの後の各ビデオフレームにおける位置情報に基づいて、該ターゲットオブジェクトに関連付けられたマルチメディア情報（例えば、弾幕データ）を追跡して表示することができる。

理解できるように、該ターゲット画素点の、該キービデオフレームの後の連続する複数のビデオフレームにおける位置情報によって形成された軌跡が円である場合、該弾幕データは、該ターゲットユーザ端末において、この軌跡に従って回転しながら表示されることができる。

理解を容易にするために、本願の実施例で提供される軌跡情報に基づく弾幕データの表示の模式図である図１０を参照されたい。図１０に示すようなビデオフレーム１００は、複数のオブジェクトを含んでもよく、例えば、図１０に示すオブジェクト１、オブジェクト２、及びオブジェクト３を含んでもよい。ターゲットユーザがターゲットユーザ端末で図１０に示すオブジェクト１をターゲットオブジェクトとした場合、該ビデオフレーム１００をキービデオフレームと呼ぶことができ、該ターゲットオブジェクトにおける、該ターゲットユーザによるトリガ操作に対応する画素点をターゲット画素点と呼ぶことができる。該ターゲットユーザ端末が、強い計算性能を有する場合、該ターゲットユーザ端末で、該ターゲットビデオにおける各画素点の各ビデオフレームにおける位置情報を予め算出してもよい。これにより、該ターゲットユーザ端末において、該ターゲットビデオに関連付けられた軌跡情報を取得することができる。例えば、図１０に示す軌跡情報１は、予め算出されたものとして取得することができ、即ち、該軌跡情報１における位置情報は、いずれも、該ターゲットビデオにおける画素点の、該ターゲットビデオの各ビデオフレームにおける位置情報によって決定されたものである。したがって、該ターゲットユーザ端末は、該オブジェクト１におけるターゲット画素点の位置情報に基づいて、図１０に示す軌跡情報１を迅速にターゲット軌跡情報と見なすことができ、該軌跡情報１における、オブジェクト１の、該キービデオフレームの後の各ビデオフレーム（即ち、図１０に示すビデオフレーム２００及びビデオフレーム３００）における位置情報に基づいて、該ターゲットオブジェクト（即ち、オブジェクト１）に関連付けられたマルチメディア情報（即ち、図１０に示す弾幕データ１「ＢＢＢＢＢ」）を迅速に追跡して表示することができる。即ち、図１０に示すビデオフレーム２００及びビデオフレーム３００に表示されている弾幕データは、いずれも、図１０に示す軌跡情報１における位置情報によって決定されたものである。

理解できるように、図１０に示すターゲットビデオに関連付けられた軌跡情報は、上述したアプリケーションサーバによって予め算出されたものであってもよい。これにより、アプリケーションサーバが、上記したオブジェクト１におけるターゲット画素点に対する軌跡取得要求を受信した場合にも、図１０に示すターゲットビデオに関連付けられた軌跡情報の中から、該キービデオフレームにおけるターゲット画素点の位置情報に関連付けられた軌跡情報を迅速に取得することができる。即ち、ターゲットビデオにおける全ての画素点の全画素追跡をアプリケーションサーバで実行することにより、ターゲットユーザ端末の計算量を効果的に削減することができるので、ターゲットユーザ端末が、図１０に示す軌跡情報１を取得すると、該軌跡情報１における位置情報に基づいて、図１０に示す弾幕データ１を迅速に追跡して表示できることを確保することができ、弾幕データの表示の柔軟性を向上させることができる。理解すべきものとして、ビデオ再生インタフェースには、該ターゲットオブジェクトに関連付けられた複数の弾幕が存在することができるが、ターゲットユーザ端末は、該ビデオ再生インタフェースに存在する複数の弾幕に重なりがあることを検出した場合、重なりがあるこれらの弾幕をマージして、重なりがあるこれらの弾幕のうち、該ターゲットユーザ端末が最新に取得した弾幕を保持してもよい。

本願の実施例では、ターゲットビデオに対するターゲットユーザのトリガ操作が取得されると、該ターゲットビデオにおける、該トリガ操作に対応するビデオフレームをキービデオフレームと呼ぶことができる。これにより、該キービデオフレームからターゲット画素点を決定し、該ターゲット画素点及び該ターゲット画素点が位置するターゲットオブジェクトに関連付けられたマルチメディア情報（例えば、該マルチメディア情報は、該ターゲットビデオにおけるユーザ文字、ピクチャ、表情などの弾幕データであってもよい）を取得することができる。さらに、ターゲット画素点の該キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する。さらに、該軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得することができる。これにより、該キービデオフレームの次のビデオフレームを再生する際に、該ターゲット軌跡情報に基づいて、該ターゲット画素点及び該ターゲット画素点が位置するターゲットオブジェクトに関連付けられた弾幕データを表示することができる。ここから分かるように、本願の実施例では、キービデオフレームが決定されると、さらに、該キービデオフレームにおける全ての画素点の軌跡情報の中から、ターゲット画素点の軌跡情報を選別し、選別したターゲット画素点の軌跡情報をターゲット軌跡情報と呼ぶことができる。これにより、取得されたターゲット軌跡情報に基づいて、弾幕データの展示効果を豊かにすることができる。例えば、異なるターゲットオブジェクトにおけるターゲット画素点について、取得されるターゲット軌跡情報が異なる可能性があり、その結果、弾幕データの展示効果が異なる。また、ターゲットオブジェクトと弾幕データとの関連関係に基づいて、該弾幕データの、該キービデオフレームの後の各ビデオフレームにおける位置情報を迅速に決定することができる。換言すれば、該弾幕データは、該ターゲットビデオにおいてずっと該ターゲットオブジェクトに従って変動し、さらに、ビデオにおけるユーザ文字の視覚的な展示効果を豊かにすることができ、弾幕データと、ターゲットオブジェクト、又はコメント対象のビデオにおけるオブジェクトとの関連性をより強くすることができる。

さらに、本願の実施例で提供されるビデオデータ処理装置の構成の模式図である図１１を参照されたい。図１１に示すように、該ビデオデータ処理装置１は、上記図１に対応する実施例におけるターゲットユーザ端末に適用できる。該ビデオデータ処理装置１は、オブジェクト決定モジュール１１０１と、要求決定モジュール１１０２と、軌跡取得モジュール１１０３と、テキスト表示モジュール１１０４と、を含んでもよい。

オブジェクト決定モジュール１１０１は、ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得し、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である。

要求決定モジュール１１０２は、前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する。

軌跡取得モジュール１１０３は、前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得し、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである。

テキスト表示モジュール１１０４は、前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示する。

ここで、オブジェクト決定モジュール１１０１、要求決定モジュール１１０２、軌跡取得モジュール１１０３、テキスト表示モジュール１１０４の具体的な実行方式については、上記図４に対応する実施例におけるステップＳ１０１～ステップＳ１０４の説明を参照すればよいが、ここではこれ以上の説明を省略する。

本願の実施例では、ターゲットビデオに対するターゲットユーザのトリガ操作が取得されると、該ターゲットビデオにおける、該トリガ操作に対応するビデオフレームをキービデオフレームとすることができる。これにより、該キービデオフレームからターゲット画素点を決定し、該ターゲット画素点及び該ターゲット画素点が位置するターゲットオブジェクトに関連付けられたマルチメディア情報（例えば、該マルチメディア情報は、該ターゲットビデオにおけるユーザ文字、ピクチャ、表情などの弾幕データであってもよい）を取得することができる。さらに、ターゲット画素点の該キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する。さらに、該軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得することができる。これにより、該キービデオフレームの次のビデオフレームを再生する際に、該ターゲット軌跡情報に基づいて、該ターゲット画素点及び該ターゲット画素点が位置するターゲットオブジェクトに関連付けられた弾幕データを表示することができる。ここから分かるように、本願の実施例では、キービデオフレームが決定されると、さらに、該キービデオフレームにおける全ての画素点の軌跡情報の中から、ターゲット画素点の軌跡情報を選別し、選別したターゲット画素点の軌跡情報をターゲット軌跡情報とすることができる。これにより、取得されたターゲット軌跡情報に基づいて、弾幕データの展示効果を豊かにすることができる。例えば、異なるターゲットオブジェクトにおけるターゲット画素点について、取得されるターゲット軌跡情報が異なる可能性があり、その結果、弾幕データの展示効果が異なる。また、ターゲットオブジェクトと弾幕データとの関連関係に基づいて、該弾幕データの、該キービデオフレームの後の各ビデオフレームにおける位置情報を迅速に決定することができる。換言すれば、該弾幕データは、該ターゲットビデオにおいてずっと該ターゲットオブジェクトに従って変動し、さらに、ビデオにおけるユーザ文字の視覚的な展示効果を豊かにすることができ、弾幕データと、ターゲットオブジェクト、又はコメント対象のビデオにおけるオブジェクトとの関連性をより強くすることができる。

さらに、本願の実施例で提供されるコンピュータ機器の構成の模式図である図１２を参照されたい。図１２に示すように、コンピュータ機器１０００は、上記図１に対応する実施例におけるターゲットユーザ端末であってもよい。上記コンピュータ機器１０００は、プロセッサ１００１と、ネットワークインタフェース１００４と、メモリ１００５と、を含んでもよい。また、上記コンピュータ機器１０００は、ユーザインタフェース１００３と、少なくとも１つの通信バス１００２と、を含んでもよい。ここで、通信バス１００２は、これらのコンポーネント間の接続通信を実現するためのものである。ここで、ユーザインタフェース１００３は、ディスプレイ（Ｄｉｓｐｌａｙ）、キーボード（Ｋｅｙｂｏａｒｄ）を含んでもよい。任意選択的なユーザインタフェース１００３は、標準的な有線インタフェース、無線インタフェースを含んでもよい。ネットワークインタフェース１００４は、任意選択的に、標準的な有線インタフェース、無線インタフェース（例えば、Ｗｉ－Ｆｉインタフェース）を含んでもよい。メモリ１００５は、高速ＲＡＭであってもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリであってもよい。メモリ１００５は、任意選択的に、前述のプロセッサ１００１から離れた位置にある少なくとも１つの記憶装置であってもよい。図１２に示すように、コンピュータ記憶媒体であるメモリ１００５には、オペレーティングシステム、ネットワーク通信モジュール、ユーザインタフェースモジュール、及び機器制御アプリケーションが含まれてもよい。

図１２に示すコンピュータ機器１０００では、ネットワークインタフェース１００４は、ネットワーク通信機能を提供することができ、ユーザインタフェース１００３は、主にユーザに入力用のインタフェースを提供し、プロセッサ１００１は、メモリ１００５に記憶された機器制御アプリケーションを呼び出すことにより、
ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得するステップであって、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である、ステップと、
前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定するステップと、
前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得するステップであって、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである、ステップと、
前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示するステップと、
を実現するために用いることができる。

理解すべきものとして、本願の実施例で説明されたコンピュータ機器１０００は、上記図４に対応する実施例における上記ビデオデータ処理方法の説明に従って実行してもよく、上記図１１に対応する実施例における上記ビデオデータ処理装置１の説明に従って実行してもよいが、ここではこれ以上の説明を省略する。また、同様の方法を用いた場合の有益な効果の説明についても、これ以上の説明を省略する。

また、ここで指摘すべきものとして、本願の実施例では、コンピュータ記憶媒体がさらに提供されており、上記コンピュータ記憶媒体には、上記で言及されたビデオデータ処理装置１が実行するコンピュータプログラムが記憶され、上記コンピュータプログラムは、プログラム命令を含み、上記プロセッサは、上記プログラム命令を実行すると、上記図４に対応する実施例における上記ビデオデータ処理方法の説明に従って実行できるので、ここではこれ以上の説明を省略する。また、同様の方法を用いた場合の有益な効果の説明についても、これ以上の説明を省略する。本願に係るコンピュータ記憶媒体の実施例に披露されていない技術的詳細については、本願の方法の実施例の説明を参照されたい。

さらに、本願の実施例で提供される別のビデオデータ処理装置の構成の模式図である図１３を参照されたい。図１３に示すように、該ビデオデータ処理装置２は、上記図８に対応する実施例におけるアプリケーションサーバに適用でき、該アプリケーションサーバは、上記図１に対応する実施例におけるサービスサーバ２０００であってもよい。該ビデオデータ処理装置２は、要求応答モジュール１３０１と、軌跡選別モジュール１３０２と、を含んでもよい。

要求応答モジュール１３０１は、キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得し、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである。

軌跡選別モジュール１３０２は、前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信し、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである。

ここで、要求応答モジュール１３０１及び軌跡選別モジュール１３０２の具体的な実現方式については、上記図８に対応する実施例におけるステップＳ２０７及びステップＳ２０８の説明を参照すればよいが、ここではこれ以上の説明を省略する。

さらに、本願の実施例で提供される別のコンピュータ機器の構成の模式図である図１４を参照されたい。図１４に示すように、コンピュータ機器２０００は、上記図１に対応する実施例におけるサービスサーバ２０００であってもよい。上記コンピュータ機器２０００は、プロセッサ２００１と、ネットワークインタフェース２００４と、メモリ２００５と、を含んでもよい。さらに、上記コンピュータ機器２０００は、ユーザインタフェース２００３と、少なくとも１つの通信バス２００２と、を含んでもよい。ここで、通信バス２００２は、これらのコンポーネント間の接続通信を実現するためのものである。ここで、ユーザインタフェース２００３は、ディスプレイ（Ｄｉｓｐｌａｙ）、キーボード（Ｋｅｙｂｏａｒｄ）を含んでもよく、任意選択的なユーザインタフェース２００３は、標準的な有線インタフェース、無線インタフェースを含んでもよい。ネットワークインタフェース２００４は、任意選択的に、標準的な有線インタフェース、無線インタフェース（例えば、Ｗｉ－Ｆｉインタフェース）を含んでもよい。メモリ２００５は、高速ＲＡＭであってもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリであってもよい。メモリ２００５は、任意選択的に、前述のプロセッサ２００１から離れた位置にある少なくとも１つの記憶装置であってもよい。図１４に示すように、コンピュータ記憶媒体であるメモリ２００５には、オペレーティングシステム、ネットワーク通信モジュール、ユーザインタフェースモジュール、及び機器制御アプリケーションが含まれてもよい。

図１４に示すコンピュータ機器２０００では、ネットワークインタフェース２００４は、ネットワーク通信機能を提供することができ、ユーザインタフェース２００３は、主にユーザに入力用のインタフェースを提供し、プロセッサ２００１は、メモリ２００５に記憶された機器制御アプリケーションを呼び出すことにより、
キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得するステップであって、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである、ステップと、
前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信するステップであって、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである、ステップと、
を実現するために用いることができる。

理解すべきものとして、本願の実施例で説明されたコンピュータ機器２０００は、上記図８に対応する実施例における上記ビデオデータ処理方法の説明に従って実行してもよく、上記図１３に対応する実施例における上記ビデオデータ処理装置２の説明に従って実行してもよいが、ここではこれ以上の説明を省略する。また、同様の方法を用いた場合の有益な効果の説明についても、これ以上の説明を省略する。

また、ここで指摘すべきものとして、本願の実施例では、コンピュータ記憶媒体がさらに提供されており、上記コンピュータ記憶媒体には、上記で言及されたビデオデータ処理装置２が実行するコンピュータプログラムが記憶され、上記コンピュータプログラムは、プログラム命令を含み、上記プロセッサは、上記プログラム命令を実行すると、上記図８に対応する実施例における上記ビデオデータ処理方法の説明に従って実行できるので、ここではこれ以上の説明を省略する。また、同様の方法を用いた場合の有益な効果の説明についても、これ以上の説明を省略する。本願に係るコンピュータ記憶媒体の実施例に披露されていない技術的詳細については、本願の方法の実施例の説明を参照されたい。

さらに、本願の実施例で提供される別のビデオデータ処理装置の構成の模式図である図１５を参照されたい。図１５に示すように、該ビデオデータ処理装置３は、上記図１に対応する実施例におけるサービスサーバ２０００に適用してもよいし、上記図１に対応する実施例におけるターゲットユーザ端末に適用してもよい。該ビデオデータ処理装置３は、第１取得モジュール３１０と、行列取得モジュール４１０と、位置追跡モジュール５１０と、軌跡生成モジュール６１０とを含んでもよい。

第１取得モジュール３１０は、ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得する。

行列取得モジュール４１０は、前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する。

ここで、前記行列取得モジュール４１０は、第１決定ユニット４００１と、行列決定ユニット４００２と、画素点選別ユニット４００３と、行列修正ユニット４００４と、第２決定ユニット４００５とを含んでもよい。

第１決定ユニット４００１は、前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、前記第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、前記第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定する。

行列決定ユニット４００２は、前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得する。

ここで、行列決定ユニット４００２は、第１追跡サブユニット４０２１と、第２追跡サブユニット４０２２と、を含む。

第１追跡サブユニット４０２１は、前記第１ビデオフレームにおける画素点の第１位置情報と、前記オプティカルフロー追跡規則とに基づいて、前記第１ビデオフレームにおける画素点を前記第２ビデオフレームに順方向にマッピングし、前記第２ビデオフレームにおいて、マッピングされた第１マッピング点の第２位置情報を決定し、前記画素点の第１位置情報と、前記第１マッピング点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を決定する。

第２追跡サブユニット４０２２は、前記第２ビデオフレームにおける画素点の第２位置情報と、前記オプティカルフロー追跡規則とに基づいて、前記第２ビデオフレームにおける第１マッピング点を前記第１ビデオフレームに逆方向にマッピングし、前記第１ビデオフレームにおいて、マッピングされた第２マッピング点の第３位置情報を決定し、前記第１マッピング点の第２位置情報と、前記第２マッピング点の第３位置情報とに基づいて、前記第２ビデオフレームに対応する逆方向変位行列を決定する。

ここで、第１追跡サブユニット４０２１及び第２追跡サブユニット４０２２の具体的な実現方式については、上記図８に対応する実施例におけるクラウド前方後方オプティカルフロー法の説明を参照すればよいが、ここではこれ以上の説明を省略する。

画素点選別ユニット４００３は、記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定する。

ここで、前記画素点選別ユニット４００３は、第１位置決定サブユニット４０３１と、第２位置決定サブユニット４０３２と、第３位置決定サブユニット４０３３と、誤差決定サブユニット４０３４と、有効選別サブユニット４０３５と、を含む。

第１位置決定サブユニット４０３１は、前記第１ビデオフレームにおける画素点の中から第１画素点を取得し、前記第１ビデオフレームにおいて、前記第１画素点の第１位置情報を決定し、前記順方向変位行列から、前記第１画素点に対応する第１横方向変位及び第１縦方向変位を決定する。

第２位置決定サブユニット４０３２は、前記第１画素点の第１位置情報と、前記第１画素点に対応する第１横方向変位及び第１縦方向変位とに基づいて、前記第１画素点を前記第２ビデオフレームに順方向にマッピングし、前記第２ビデオフレームにおいて、マッピングされた第２画素点の第２位置情報を決定する。

第３位置決定サブユニット４０３３は、前記逆方向変位行列から、前記第２画素点に対応する第２横方向変位及び第２縦方向変位を決定し、前記第２画素点の第２位置情報と、前記第２画素点に対応する第２横方向変位及び第２縦方向変位とに基づいて、前記第２画素点を前記第１ビデオフレームに逆方向にマッピングし、前記第１ビデオフレームにおいて、マッピングされた第３画素点の第３位置情報を決定する。

誤差決定サブユニット４０３４は、前記第１画素点の第１位置情報と、前記第３画素点の第３位置情報とに基づいて、前記第１画素点と前記第３画素点との誤差距離を決定し、前記第１画素点の第１位置情報と、前記第２画素点の第２位置情報とに基づいて、第１画素点を含む画像ブロックと、前記第２画素点を含む画像ブロックとの相関係数を決定する。

有効選別サブユニット４０３５は、前記画素点のうち、誤差距離が誤差距離閾値未満であり、かつ前記相関係数が相関係数閾値以上である画素点を有効画素点として決定する。

ここで、第１位置決定サブユニット４０３１、第２位置決定サブユニット４０３２、第３位置決定サブユニット４０３３、誤差決定サブユニット４０３４、及び有効選別サブユニット４０３５の具体的な実現方式については、上記図８に対応する実施例における有効画素点を決定する具体的な過程の説明を参照すればよいが、ここではこれ以上の説明を省略する。

行列修正ユニット４００４は、前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得する。

ここで、前記行列修正ユニット４００４は、初期取得サブユニット４０４１と、数値切替サブユニット４０４２と、変位設定サブユニット４０４３とを含む。

初期取得サブユニット４０４１は、第１ビデオフレームに対応する初期状態行列を取得し、前記初期状態行列の各行列要素の状態値は、いずれも第１数値であり、１つの行列要素は、前記画素点のうちの１つに対応する。

数値切替サブユニット４０４２は、前記初期状態行列において、前記有効画素点に対応する行列要素の状態値を第１数値から第２数値に切り替え、第２数値を含む初期状態行列を、前記第１ビデオフレームに対応するターゲット状態行列として決定する。

変位設定サブユニット４０４３は、前記順方向変位行列において、残りの画素点に対応する行列要素の変位を前記第１数値に設定し、前記第１数値を含む順方向変位行列をターゲット変位行列として決定し、前記残りの画素点は、前記画素点のうち前記有効画素点以外の画素点である。

ここで、前記変位設定サブユニット４０４３は、具体的に、前記順方向変位行列に初期横方向変位行列及び初期縦方向変位行列が含まれる場合、前記初期横方向変位行列において、前記残りの画素点に対応する行列要素の第１横方向変位を前記第１数値に設定し、前記第１数値を含む初期横方向変位行列を、前記第１ビデオフレームに対応する横方向変位行列として決定する。

さらに、前記変位設定サブユニット４０４３は、具体的に、前記初期縦方向変位行列において、前記残りの画素点に対応する行列要素の第１縦方向変位を前記第１数値に設定し、前記第１数値を含む初期縦方向変位行列を、前記第１ビデオフレームに対応する縦方向変位行列として決定する。

さらに、前記変位設定サブユニット４０４３は、具体的に、前記第１ビデオフレームに対応する横方向変位行列と、前記第１ビデオフレームに対応する縦方向変位行列とをターゲット変位行列として決定する。

初期取得サブユニット４０４１、数値切替サブユニット４０４２、変位設定サブユニット４０４３の具体的な実現方式については、上記図８に対応する実施例における初期状態行列及び順方向変位行列を修正することについての説明を参照すればよいが、ここではこれ以上の説明を省略する。

第２決定ユニット４００５は、前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する。

ここで、前記第２決定ユニット４００５は、第１積分サブユニット４０５１と、第２積分サブユニット４０５２と、第３積分サブユニット４０５３と、差分演算サブユニット４０５４と、を含む。

第１積分サブユニット４０５１は、前記第１ビデオフレームにおいて、前記ターゲット状態行列に対して変位積分演算を行うことにより、前記第１ビデオフレームにおける画素点に対応する状態積分行列を取得する。

第２積分サブユニット４０５２は、前記第１ビデオフレームにおいて、前記ターゲット変位行列における横方向変位行列に対して変位積分演算を行うことにより、前記第１ビデオフレームにおける画素点に対応する横方向変位積分行列を取得する。

第３積分サブユニット４０５３は、前記第１ビデオフレームにおいて、前記ターゲット変位行列における縦方向変位行列に対して変位積分演算を行うことにより、前記第１ビデオフレームにおける画素点に対応する縦方向変位積分行列を取得する。

差分演算サブユニット４０５４は、前記第１ビデオフレームから、変位差分演算に対応する差分領域を決定し、前記差分領域のサイズ情報と、状態積分行列と、横方向変位積分行列と、縦方向変位積分行列とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する。

ここで、前記差分演算サブユニット４０５４は、第１差分サブユニット４０５５と、第２差分サブユニット４０５６と、第３差分サブユニット４０５７と、平均決定サブユニット４０５８と、を含む。

第１差分サブユニット４０５５は、前記差分領域に対応する長さ情報及び幅情報に基づいて、前記状態積分行列に対して変位差分演算を行うことにより、前記第１ビデオフレームに対応する状態差分行列を取得する。

第２差分サブユニット４０５６は、前記差分領域に対応する長さ情報及び幅情報に基づいて、前記横方向変位積分行列及び前記縦方向変位積分行列のそれぞれに対して変位差分演算を行うことにより、前記第１ビデオフレームに対応する横方向変位差分行列及び縦方向変位差分行列を取得する。

第３差分サブユニット４０５７は、前記横方向変位差分行列と前記状態差分行列との比を横方向平均変位行列として決定し、前記縦方向変位差分行列と前記状態差分行列との比を縦方向平均変位行列として決定する。

平均決定サブユニット４０５８は、前記横方向平均変位行列及び前記縦方向平均変位行列を、前記第１ビデオフレームに対応する平均変位行列として決定する。

ここで、第１積分サブユニット４０５１、第２積分サブユニット４０５２、第３積分サブユニット４０５３、差分演算サブユニット４０５４の具体的な実現方式については、上記図８に対応する実施例におけるクラウド変位積分方法及びクラウド変位差分方法の説明を参照すればよいが、ここではこれ以上の説明を省略する。

ここで、第１決定ユニット４００１、行列決定ユニット４００２、画素点選別ユニット４００３、行列修正ユニット４００４、第２決定ユニット４００５の具体的な実現方式については、上記図８に対応する実施例におけるステップＳ２０２の説明を参照すればよいが、ここではこれ以上の説明を省略する。

位置追跡モジュール５１０は、前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定する。

軌跡生成モジュール６１０は、前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成し、前記軌跡情報は、ターゲットビデオにおけるターゲット画素点に関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む。

ここで、第１取得モジュール３１０、行列取得モジュール４１０、位置追跡モジュール５１０、軌跡生成モジュール６１０の具体的な実現方式については、上記図８に対応する実施例におけるステップＳ２０１～ステップＳ２０４の説明を参照すればよいが、ここではこれ以上の説明を省略する。

さらに、本願の実施例で提供される別のコンピュータ機器の構成の模式図である図１６を参照されたい。図１６に示すように、上記コンピュータ機器３０００は、上記図１に対応する実施例におけるサービスサーバ２０００に適用できる。上記コンピュータ機器３０００は、プロセッサ３００１と、ネットワークインタフェース３００４と、メモリ３００５と、を含んでもよい。さらに、上記コンピュータ機器３０００は、ユーザインタフェース３００３と、及び少なくとも１つの通信バス３００２と、を含んでもよい。ここで、通信バス３００２は、これらのコンポーネント間の接続通信を実現するためのものである。ここで、ユーザインタフェース３００３は、ディスプレイ（Ｄｉｓｐｌａｙ）、キーボード（Ｋｅｙｂｏａｒｄ）を含んでもよく、任意選択的なユーザインタフェース３００３は、標準的な有線インタフェース、無線インタフェースを含んでもよい。ネットワークインタフェース３００４は、任意選択的に、標準的な有線インタフェース、無線インタフェース（例えば、Ｗｉ－Ｆｉインタフェース）を含んでもよい。メモリ３００５は、高速ＲＡＭであってもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリであってもよい。メモリ３００５は、任意選択的に、前述のプロセッサ３００１から離れた位置にある少なくとも１つの記憶装置であってもよい。図１６に示すように、コンピュータ記憶媒体であるメモリ３００５には、オペレーティングシステム、ネットワーク通信モジュール、ユーザインタフェースモジュール、及び機器制御アプリケーションが含まれてもよい。

図１６に示すコンピュータ機器３０００では、ネットワークインタフェース３００４は、ネットワーク通信機能を提供することができ、ユーザインタフェース３００３は、主にユーザに入力用のインタフェースを提供し、プロセッサ３００１は、メモリ３００５に記憶された機器制御アプリケーションを呼び出すことにより、
ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得するステップと、
前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定するステップと、
前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成するステップであって、前記軌跡情報は、ターゲットビデオにおけるターゲット画素点に関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む、ステップと、
を実現するために用いることができる。

理解すべきものとして、本願の実施例で説明されたコンピュータ機器３０００は、上記図８に対応する実施例における上記ビデオデータ処理方法の説明に従って実行してもよく、上記図１５に対応する実施例における上記ビデオデータ処理装置３の説明に従って実行してもよいが、ここではこれ以上の説明を省略する。また、同様の方法を用いた場合の有益な効果の説明についても、これ以上の説明を省略する。

また、ここで指摘すべきものとして、本願の実施例では、コンピュータ記憶媒体がさらに提供されており、上記コンピュータ記憶媒体には、上記で言及されたビデオデータ処理装置３が実行するコンピュータプログラムが記憶され、上記コンピュータプログラムは、プログラム命令を含み、上記プロセッサは、上記プログラム命令を実行すると、上記図８に対応する実施例における上記ビデオデータ処理方法の説明に従って実行できるので、ここではこれ以上の説明を省略する。また、同様の方法を用いた場合の有益な効果の説明についても、これ以上の説明を省略する。本願に係るコンピュータ記憶媒体の実施例に披露されていない技術的詳細については、本願の方法の実施例の説明を参照されたい。

当業者であれば理解できるように、上記の実施例における方法の手順の全部又は一部は、コンピュータプログラムを介して関連のハードウェアに指示することにより実行されてもよい。上記プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。このプログラムが実行されると、上記のような各方法の実施例の手順が実行される。ここで、上記した記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などであってもよい。

以上の掲示は本願の好ましい実施例にすぎず、もちろん、これによって本願の権利範囲を限定することを意図しないので、本願の特許請求の範囲に基づいた同等な変更は、依然として本願の保護範囲に属する。

２０００ サービスサーバ
３０００ａ，３０００ｂ，３０００ｃ，３０００ｎ ユーザ端末
１，２，３ ビデオデータ処理装置
３１０ 第１取得モジュール
４１０ 行列取得モジュール
５１０ 位置追跡モジュール
６１０ 軌跡生成モジュール
１０００，２０００，３０００ コンピュータ機器
１００１，２００１，３００１ プロセッサ
１００２，２００２，３００２ 通信バス
１００３，２００３，３００３ ユーザインタフェース
１００４，２００４，３００４ ネットワークインタフェース
１００５，２００５，３００５ メモリ
１１０１ オブジェクト決定モジュール
１１０２ 要求決定モジュール
１１０３ 軌跡取得モジュール
１１０４ テキスト表示モジュール
１３０１ 要求応答モジュール
１３０２ 軌跡選別モジュール
４００１ 第１決定ユニット
４００２ 行列決定ユニット
４００３ 画素点選別ユニット
４００４ 行列修正ユニット
４００５ 第２決定ユニット
４０２１ 第１追跡サブユニット
４０２２ 第２追跡サブユニット
４０３１ 第１位置決定サブユニット
４０３２ 第２位置決定サブユニット
４０３３ 第３位置決定サブユニット
４０３４ 誤差決定サブユニット
４０３５ 有効選別サブユニット
４０４１ 初期取得サブユニット
４０４２ 数値切替サブユニット
４０４３ 変位設定サブユニット
４０５１ 第１積分サブユニット
４０５２ 第２積分サブユニット
４０５３ 第３積分サブユニット
４０５４ 差分演算サブユニット
４０５５ 第１差分サブユニット
４０５６ 第２差分サブユニット
４０５７ 第３差分サブユニット
４０５８ 平均決定サブユニット

Claims (14)

1. コンピュータ機器が実行するビデオデータ処理方法であって、
   ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得するステップであって、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である、ステップと、
   前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定するステップと、
   前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得するステップであって、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである、ステップと、
   前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示するステップと、を含み、
   前記ターゲット軌跡情報は、隣接する第１ビデオフレーム及び第２ビデオフレームにおける画素点の位置情報に基づいて決定されたものであり、
   前記第２ビデオフレームにおける画素点の位置情報は、前記第１ビデオフレームに対応する平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡して決定されたものであり、
   前記平均変位行列は、ターゲットビデオに対応するオプティカルビデオフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて決定されたものであり、
   前記平均変位行列は、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、前記第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定し、
   前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得し、
   前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定し、
   前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得し、
   前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定することによって決定される、
   ことを特徴とする方法。
2. サービスサーバが実行するビデオデータ処理方法であって、
   キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得するステップであって、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである、ステップと、
   前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信するステップであって、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである、ステップと、を含み、
   前記ターゲットビデオに関連付けられた軌跡情報は、
   前記ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得するステップと、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
   前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点に位置情報を決定するステップと、
   前記第１ビデオフレームにおける画素点に位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成することによって生成され、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する前記ステップは、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、前記第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、前記第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定するステップと、
   前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得するステップと、
   前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定するステップと、
   前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得するステップと、
   前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
   を含むことを特徴とする方法。
3. コンピュータ機器が実行するビデオデータ処理方法であって、
   ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得するステップと、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
   前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定するステップと、
   前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成するステップであって、前記軌跡情報は、ターゲットビデオにおけるターゲット画素点に関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む、ステップと、
   を含み、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する前記ステップは、
   前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、前記第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、前記第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定するステップと、
   前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得するステップと、
   前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定するステップと、
   前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得するステップと、
   前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
   を含むことを特徴とする方法。
4. 前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得する前記ステップは、
   前記第１ビデオフレームにおける画素点の第１位置情報と、前記オプティカルフロー追跡規則とに基づいて、前記第１ビデオフレームにおける画素点を前記第２ビデオフレームに順方向にマッピングし、前記第２ビデオフレームにおいて、マッピングされた第１マッピング点の第２位置情報を決定し、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第１マッピング点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を決定するステップと、
   前記第２ビデオフレームにおける画素点の第２位置情報と、前記オプティカルフロー追跡規則とに基づいて、前記第２ビデオフレームにおける画素点を前記第１ビデオフレームに逆方向にマッピングし、前記第１ビデオフレームにおいて、マッピングされた第２マッピング点の第３位置情報を決定し、前記第１マッピング点の第２位置情報と、前記第２マッピング点の第３位置情報とに基づいて、前記第２ビデオフレームに対応する逆方向変位行列を決定するステップと、
   を含むことを特徴とする請求項３に記載の方法。
5. 前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定する前記ステップは、
   前記第１ビデオフレームにおける画素点の中から第１画素点を取得し、前記第１ビデオフレームにおいて、前記第１画素点の第１位置情報を決定し、前記順方向変位行列から、前記第１画素点に対応する第１横方向変位及び第１縦方向変位を決定するステップと、
   前記第１画素点の第１位置情報と、前記第１画素点に対応する第１横方向変位及び第１縦方向変位とに基づいて、前記第１画素点を前記第２ビデオフレームに順方向にマッピングし、前記第２ビデオフレームにおいて、マッピングされた第２画素点の第２位置情報を決定するステップと、
   前記逆方向変位行列から、前記第２画素点に対応する第２横方向変位及び第２縦方向変位を決定し、前記第２画素点の第２位置情報と、前記第２画素点に対応する第２横方向変位及び第２縦方向変位とに基づいて、前記第２画素点を前記第１ビデオフレームに逆方向にマッピングし、前記第１ビデオフレームにおいて、マッピングされた第３画素点の第３位置情報を決定するステップと、
   前記第１画素点の第１位置情報と、前記第３画素点の第３位置情報とに基づいて、前記第１画素点と前記第３画素点との誤差距離を決定し、前記第１画素点の第１位置情報と、前記第２画素点の第２位置情報とに基づいて、第１画素点を含む画像ブロックと、前記第２ 画素点を含む画像ブロックとの相関係数を決定するステップと、
   前記第１ビデオフレームにおける画素点のうち、誤差距離が誤差距離閾値未満であり、かつ前記相関係数が相関係数閾値以上である画素点を有効画素点として決定するステップと、
   を含むことを特徴とする請求項３に記載の方法。
6. 前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得する前記ステップは、
   前記第１ビデオフレームに対応する初期状態行列を取得するステップであって、前記初期状態行列の各行列要素の状態値は、いずれも第１数値であり、１つの行列要素は、前記第１ビデオフレームにおける画素点のうちの１つに対応する、ステップと、
   前記初期状態行列において、前記有効画素点に対応する行列要素の状態値を第１数値から第２数値に切り替え、第２数値を含む初期状態行列を、前記第１ビデオフレームに対応するターゲット状態行列として決定するステップと、
   前記順方向変位行列において、残りの画素点に対応する行列要素の変位を前記第１数値に設定し、前記第１数値を含む順方向変位行列をターゲット変位行列として決定するステップであって、前記残りの画素点は、前記第１ビデオフレームにおける画素点のうち前記有効画素点以外の画素点である、ステップと、
   を含むことを特徴とする請求項３に記載の方法。
7. 前記順方向変位行列において、残りの画素点に対応する行列要素の変位を前記第１数値に設定し、前記第１数値を含む順方向変位行列をターゲット変位行列として決定する前記ステップは、
   前記順方向変位行列に初期横方向変位行列及び初期縦方向変位行列が含まれる場合、前記初期横方向変位行列において、前記残りの画素点に対応する行列要素の第１横方向変位を前記第１数値に設定し、前記第１数値を含む初期横方向変位行列を、前記第１ビデオフレームに対応する横方向変位行列として決定するステップと、
   前記初期縦方向変位行列において、前記残りの画素点に対応する行列要素の第１縦方向変位を前記第１数値に設定し、前記第１数値を含む初期縦方向変位行列を、前記第１ビデオフレームに対応する縦方向変位行列として決定するステップと、
   前記第１ビデオフレームに対応する横方向変位行列と、前記第１ビデオフレームに対応する縦方向変位行列とをターゲット変位行列として決定するステップと、
   を含むことを特徴とする請求項６に記載の方法。
8. 前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する前記ステップは、
   前記第１ビデオフレームにおいて、前記ターゲット状態行列に対して変位積分演算を行うことにより、前記第１ビデオフレームにおける画素点に対応する状態積分行列を取得するステップと、
   前記第１ビデオフレームにおいて、前記ターゲット変位行列における横方向変位行列に対して変位積分演算を行うことにより、前記第１ビデオフレームにおける画素点に対応する横方向変位積分行列を取得するステップと、
   前記第１ビデオフレームにおいて、前記ターゲット変位行列における縦方向変位行列に対して変位積分演算を行うことにより、前記第１ビデオフレームにおける画素点に対応する縦方向変位積分行列を取得するステップと、
   前記第１ビデオフレームから、変位差分演算に対応する差分領域を決定し、前記差分領域のサイズ情報と、状態積分行列と、横方向変位積分行列と、縦方向変位積分行列とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定するステップと、
   を含むことを特徴とする請求項３に記載の方法。
9. 前記差分領域のサイズ情報と、状態積分行列と、横方向変位積分行列と、縦方向変位積分行列とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する前記ステップは、
   前記差分領域に対応する長さ情報及び幅情報に基づいて、前記状態積分行列に対して変位差分演算を行うことにより、前記第１ビデオフレームに対応する状態差分行列を取得するステップと、
   前記差分領域に対応する長さ情報及び幅情報に基づいて、前記横方向変位積分行列及び前記縦方向変位積分行列のそれぞれに対して変位差分演算を行うことにより、前記第１ビデオフレームに対応する横方向変位差分行列及び縦方向変位差分行列を取得するステップと、
   前記横方向変位差分行列と前記状態差分行列との比を横方向平均変位行列として決定し、前記縦方向変位差分行列と前記状態差分行列との比を縦方向平均変位行列として決定するステップと、
   前記横方向平均変位行列及び前記縦方向平均変位行列を、前記第１ビデオフレームに対応する平均変位行列として決定するステップと、
   を含むことを特徴とする請求項８に記載の方法。
10. コンピュータ機器に適用されるビデオデータ処理装置であって、
    ターゲットビデオに対するトリガ操作に応答して、前記ターゲットビデオのキービデオフレームからターゲット画素点を決定し、前記ターゲット画素点に関連付けられたマルチメディア情報を取得するオブジェクト決定モジュールであって、前記キービデオフレームは、前記トリガ操作が位置するビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける、前記トリガ操作に対応する画素点である、オブジェクト決定モジュールと、
    前記ターゲット画素点の前記キービデオフレームにおける位置情報に基づいて、前記ターゲット画素点に対応する軌跡取得要求を決定する要求決定モジュールと、
    前記軌跡取得要求に基づいて、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を取得する軌跡取得モジュールであって、前記ターゲット軌跡情報は、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報を含み、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報は、前記ターゲット画素点を追跡することにより取得されたものである、軌跡取得モジュールと、
    前記キービデオフレームの次のビデオフレームを再生する際に、前記ターゲット軌跡情報における、前記ターゲット画素点の、前記キービデオフレームの次のビデオフレームにおける位置情報に基づいて、前記マルチメディア情報を表示するテキスト表示モジュールと、を含み、
    前記ターゲット軌跡情報は、隣接する第１ビデオフレーム及び第２ビデオフレームにおける画素点の位置情報に基づいて決定されたものであり、
    前記第２ビデオフレームにおける画素点の位置情報は、前記第１ビデオフレームに対応する平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡して決定されたものであり、
    前記平均変位行列は、ターゲットビデオに対応するオプティカルビデオフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて決定されたものであり、
    前記平均変位行列は、
    前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、前記第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定し、
    前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得し、
    前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定し、
    前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得し、
    前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定することによって決定される、
    ことを特徴とするビデオデータ処理装置。
11. サービスサーバに適用されるビデオデータ処理装置であって、
    キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得する要求応答モジュールであって、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである、要求応答モジュールと、
    前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信する軌跡選別モジュールであって、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである、軌跡選別モジュールと、
    を含み、
    前記ターゲット軌跡情報は、
    前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定することと、
    前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得することと、
    前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定することと、
    前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得することと、
    前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する平均変位行列を決定することと、によって決定される
    ことを特徴とするビデオデータ処理装置。
12. ビデオデータ処理装置であって、
    ターゲットビデオから、隣接する第１ビデオフレーム及び第２ビデオフレームを取得する第１取得モジュールと、
    前記ターゲットビデオに対応するオプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点と、前記第２ビデオフレームにおける画素点とに基づいて、前記第１ビデオフレームに対応する平均変位行列を決定する行列取得モジュールと、
    前記平均変位行列に基づいて、前記第１ビデオフレームにおける画素点の位置情報を追跡し、前記第２ビデオフレームにおいて、追跡された画素点の位置情報を決定する位置追跡モジュールと、
    前記第１ビデオフレームにおける画素点の位置情報と、前記追跡された画素点の前記第２ビデオフレームにおける位置情報とに基づいて、前記ターゲットビデオに関連付けられた軌跡情報を生成する追跡生成モジュールであって、前記軌跡情報は、ターゲットビデオにおけるターゲット画素点に関連付けられたマルチメディア情報を追跡して表示するためのターゲット軌跡情報を含む、追跡生成モジュールと、
    キービデオフレームにおけるターゲット画素点に対する軌跡取得要求に応答して、ターゲットビデオに関連付けられた軌跡情報を取得する要求応答モジュールであって、前記キービデオフレームは、前記ターゲットビデオにおけるビデオフレームであり、前記ターゲット画素点は、前記キービデオフレームにおける画素点であり、前記軌跡情報は、前記ターゲットビデオの各ビデオフレームにおける画素点の位置情報によって決定されたものである、要求応答モジュールと、
    前記ターゲットビデオに関連付けられた軌跡情報の中から、前記ターゲット画素点の前記キービデオフレームにおける位置情報に関連付けられたターゲット軌跡情報を選別し、前記ターゲット軌跡情報を返信する軌跡選別モジュールであって、前記ターゲット軌跡情報は、ターゲット位置情報を含み、前記ターゲット位置情報は、前記キービデオフレームの次のビデオフレームにおいて、前記ターゲット画素点に関連付けられたマルチメディア情報を表示することをトリガするためのものである、軌跡選別モジュールと、
    を含み、
    前記ターゲット軌跡情報は、
    前記ターゲットビデオに対応するオプティカルフロー追跡規則を取得し、前記第１ビデオフレームにおける画素点の位置情報を第１位置情報として決定し、前記第２ビデオフレームにおける画素点の位置情報を第２位置情報として決定することと、
    前記オプティカルフロー追跡規則と、前記第１ビデオフレームにおける画素点の第１位置情報と、前記第２ビデオフレームにおける画素点の第２位置情報とに基づいて、前記第１ビデオフレームに対応する順方向変位行列を取得し、前記第２ビデオフレームに対応する逆方向変位行列を取得することと、
    前記第１ビデオフレームにおける画素点の第１位置情報と、前記順方向変位行列と、前記逆方向変位行列とに基づいて、前記第１ビデオフレームにおける画素点のうちターゲット選別条件を満たす画素点を有効画素点として決定することと、
    前記有効画素点に基づいて、前記第１ビデオフレームに対応する初期状態行列及び前記順方向変位行列を修正することにより、前記第１ビデオフレームに対応するターゲット状態行列及びターゲット変位行列を取得することと、
    前記ターゲット状態行列及び前記ターゲット変位行列に基づいて、前記第１ビデオフレームに対応する前記平均変位行列を決定することと、によって決定される
    ことを特徴とするビデオデータ処理装置。
13. コンピュータ機器であって、
    プロセッサと、メモリと、ネットワークインタフェースと、を備え、
    前記プロセッサは、前記メモリ及び前記ネットワークインタフェースに接続され、前記ネットワークインタフェースは、データ通信機能を提供し、前記メモリは、コンピュータプログラムを記憶し、前記プロセッサは、前記コンピュータプログラムを呼び出すことにより、請求項１、２、および３から９のいずれか一項に記載の方法を実行する、
    ことを特徴とするコンピュータ機器。
14. 請求項１、２、および３から９のいずれか一項に記載の方法をコンピュータ機器に実行させる、ことを特徴とするコンピュータプログラム。

Images