JP7000468B2 - 重複ビデオの判定方法及び装置 - Google Patents

Description

［関連出願の相互参照］
本開示は、出願番号２０１８１０２７３７０６.３である、出願日が２０１８年３月２9日である中国特許出願の優先権を主張し、その全体が参照により本明細書に組み込まれる。

［技術分野］
本開示は、ビデオ処理技術分野に関し、特に、重複ビデオの判定方法及び装置に関する。

現在のマルチメディア情報社会では、ユーザーは毎日大量のビデオをビデオプラットフォームにアップロードする。これらのビデオの大部分は通常の価値があるビデオであるが、次のような問題のあるビデオもある。問題のあるビデオは、プラットフォームビデオデータベース内の既存ビデオと重複するビデオ、著作権データベース内のビデオと重複するビデオ（例えば、著作権料が必要なビデオ）、及び不適切または禁止されているビデオである。そのため、ユーザーからアップロードされた大量のビデオを素早く比較したり、重複取り消す必要がある。

従来、ビデオの比較する、重複取り消す方法は速度が遅く、正確性が悪く、演算リソースと記憶リソースの消耗が大きいなどの問題がある。

本開示の目的は、新たな重複ビデオの判定方法及び装置を提供することにある。

本開示の目的は、以下の手段を用いて達成される。本開示に係る重複ビデオの判定方法によれば、以下のステップを含む：重複検査対象ビデオの複数のビデオ特徴を取得することと、前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれシーケンス比較を行い、シーケンス比較結果を取得することと、前記シーケンス比較結果に基づいて、前記複数の既存ビデオに対して第１のランキングを行い、前記第１のランキングの結果に基づいて、順位の高いｎ個（ｎは正の整数）の前記既存ビデオを取り出して第１の候補ビデオとすることと、及び前記第１の候補ビデオの前記シーケンス比較結果に基づいて、前記重複検査対象ビデオの重複状況を確定すること。

本開示は、以下の技術的手段を用いてさらに実施することができる。

上記の重複ビデオの判定方法において、前記した重複検査対象ビデオの複数の種類のビデオ特徴を取得することは、以下のステップを含む：前記重複検査対象ビデオに対してフレームを抽出し、前記重複検査対象ビデオの複数のフレーム画像を取得することと、前記フレーム画像の複数の種類の画像特徴を第１の画像特徴として抽出することと、前記重複検査対象ビデオの複数のフレーム画像の同種の前記第１の画像特徴に基づいて、前記重複検査対象ビデオのビデオ特徴を第１のビデオ特徴として確定することで、複数の第１のビデオ特徴を取得すること。

上記の重複ビデオの判定方法において、前記した前記フレーム画像の複数の種類の画像特徴を抽出することは、以下のステップを含む：前記フレーム画像毎に、１又は複数の検出ベクトルを取得し、各検出ベクトルのそれぞれを用いて、前記フレーム画像中の任意の画素を始点として、前記始点が前記検出ベクトルを介して指す終点を確定し、各前記始点と対応する前記終点との差分状況の全体的な状況に基づいて、前記フレーム画像の画像特徴を確定し、フェンス特徴とする。

上記の重複ビデオの判定方法において、前記した前記フレーム画像の複数の種類の画像特徴を抽出することは、以下のステップを含む：前記フレーム画像毎に、多タイプのプール化を段階的に行って、前記フレーム画像の画像特徴をプール化特徴として取得し、ここで、多タイプのプール化には、最大プール化、最小プール化、および平均プール化を含む。

前記の重複ビデオの判定方法において、前記した前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオのそれぞれに対してシーケンス比較を行い、シーケンス比較結果を取得ことは、以下のステップを含む：１つの前記既存ビデオの複数の種類のビデオ特徴を第２のビデオ特徴として取得し、前記第２のビデオ特徴が種ごとに複数の第２の画像特徴が含まれるようにすることと、同種の各前記第２の画像特徴と各前記第１の画像特徴との間の単体類似度をそれぞれに確定して、複数の種類の前記単体類似度を取得することと、前記複数の種類の単体類似度の平均値又は最小値を確定し、前記複数の種類の単体類似度の平均値又は最小値に基づいて前記既存ビデオの類似度行列を確定することと、前記類似度行列に基づいて、既存ビデオと重複検査対象ビデオとの類似度を表すためのシーケンス比較スコアを確定すること。

上記の重複ビデオの判定方法において、前記した前記類似度行列に基づいてシーケンス比較スコアを確定することは、前記類似度行列中の直線に基づいてシーケンス比較スコアを確定するステップを含む。

前記の重複ビデオの判定方法において、前記した前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオをそれぞれに対してシーケンス比較を行い、シーケンス比較結果を得ることは、前記類似度行列に基づいて、前記既存ビデオと前記重複検査対象ビデオとの重複ビデオセグメントを確定する。

前記の重複ビデオの判定方法において、前記した前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオをそれぞれにシーケンス比較を行い、シーケンス比較結果を取得することは、以下のステップを含む：少なくとも１種の前記第１のビデオ特徴のうちの個別の第１の画像特徴のそれぞれに基づいて、複数の既存ビデオを第２のランキングを行い、前記第２のランキングの結果に基づいて、順位の高いｋ個（但し、ｋは正の整数）の前記既存ビデオを第２の候補ビデオとして取り出し、前記第２の候補ビデオをそれぞれに対してシーケンス比較を行い、シーケンス比較結果を取得する。

上記の重複ビデオの判定方法において、前記した少なくとも１種の前記第１のビデオ特徴のうちの個別の第１の画像特徴のそれぞれに基づいて、複数の既存ビデオを第２のランキングを行うことは、以下のステップを含む：少なくとも１種の前記第１のビデオ特徴のうちの個別の第１の画像特徴のそれぞれをインデックス要求として、複数の既存ビデオに対して単語頻度-逆方向ファイル頻度ランキングを行う。

上記の重複ビデオの判定方法において、前記した前記重複検査対象ビデオの複数のフレーム画像の種毎の第１の画像特徴に基づいて、前記重複検査対象ビデオの複数の種類の前記ビデオ特徴を第１のビデオ特徴として確定することは、以下のステップを含む：前記第１の画像特徴に対して２値化処理を行うことと、前記複数のフレーム画像の２値化された前記第１の画像特徴に基づいて前記第１のビデオ特徴を確定すること。

本開示の目的はまた、以下の手段によって達成される。本開示に係る重複ビデオの判定装置は、重複検査対象ビデオの複数のタイプのビデオ特徴を取得するためのビデオ特徴取得モジュールと、前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれにシーケンス比較を行い、シーケンス比較結果を取得するためのシーケンス比較モジュールと、前記シーケンス比較結果に基づいて、前記複数の既存ビデオに対して第一ランキングを行い、前記第一ランキングの結果に基づいて、順位の高いｎ個（但し、ｎは正の整数である）の前記既存ビデオを第一候補ビデオとして取り出すための第一ランキングモジュールと、前記第１の候補ビデオの前記シーケンス比較結果に基づいて、前記重複検査対象ビデオの重複状況を確定するための重複検査モジュールと、を備える。

本開示の目的は、さらに、以下の技術的手段を用いて達成することもできる。

前記重複ビデオの判定装置は、前記いずれかの重複ビデオの判定方法のステップを実行するモジュールをさらに備える。

本開示の目的はまた、以下の技術的手段によって達成される。本開示に係る重複ビデオの判定ハードウェア装置は、非一時的コンピュータ読み取り可能な命令を記憶するためのメモリと、前記のいずれかの重複ビデオの判定方法を実行するように前記コンピュータ読み取り可能な命令を実行するプロセッサとを備える。

本開示の目的はまた、以下の技術的手段によって達成される。本開示に係るコンピュータ読み取り可能な記憶媒体は、コンピュータによって実行される非一時的なコンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能な記憶媒体であって、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行される場合、前記コンピュータに前記のいずれか一つの重複ビデオの判定方法を実行させる。

本開示の目的はまた、以下の技術的手段によって達成される。本開示に係る端末設備は、上記のいずれかの重複ビデオの判定装置を備える。

以上の説明は、本開示の技術の概要に過ぎず、本開示の技術的手段をより明確に理解できるようにするために、明細書の内容に従って実施することができ、本開示の上記及びその他の目的、特徴及び利点をより明確に理解できるようにするために、以下、好適な実施例を挙げ、添付図面を参照しながら詳細に説明する。

本開示の一実施例に係る重複ビデオの判定方法のフローブロック図である。 本開示の一実施例に係る重複検査対象ビデオのビデオ特徴を取得するフローブロック図である。 本開示の一実施例に係るフェンス特徴を抽出するフローブロック図である。 本開示の一実施例に係るプール化特徴を抽出するフローブロック図である。 本開示の一実施例に係るランダム投影法によって画像特徴を２値化処理するフローブロック図である。 本開示の一実施例に係るシーケンス比較のフローブロック図である。 本開示の一実施例に係る動的計画法を用いてシーケンス比較を行うフローブロック図である。 本開示の一実施例に係る等速ビデオ法を用いてシーケンス比較を行うフローブロック図である。 本開示の一実施例に係る第２のランキングのフローブロック図である。 本開示の一実施例に係る重複ビデオの判定装置の構成ブロック図である。 本開示の一実施例に係るビデオ特徴取得モジュールの構成ブロック図である。 本開示の一実施例に係るシーケンス比較モジュールの構成ブロック図である。 本開示の一実施例に係る重複ビデオの判定ハードウェア装置のハードウェアブロック図である。 本開示の一実施例に係るコンピュータ読み取り可能な記憶媒体の模式図である。 本開示の一実施例に係る端末設備の構成ブロック図である。

本開示が所定の発明の目的を達成するために講じた技術的手段及び効果を更に説明するために、以下に添付図面及び好適な実施例を参照して、本開示に係る重複ビデオの判定方法及び装置の具体的な実施の形態、構成、特徴とその効能について、以下のように詳細に説明する。

図１は、本開示の重複ビデオの判定方法の一実施例の模式的なフローブロック図である。図１を参照すると、本開示の例示的な重複ビデオの判定方法は、主に以下のステップＳ１１、Ｓ１２、Ｓ１３及びＳ１４を含む。

ステップＳ１１では、重複検査対象ビデオ（Qｕｅｒｙ Vｉｄｅｏ）の複数の種類のビデオ特徴を取得する。ここでいうビデオとは、ビデオ信号の一節であってもよいし、一つのビデオファイルであってもよい。重複検査対象ビデオのビデオ特徴を第１のビデオ特徴として定義してもよい。その後、処理はステップＳ１２に進む。

ステップＳ１２では、重複検査対象ビデオの複数の種類の該第１のビデオ特徴に基づいて、複数の既存ビデオのうち一つ毎にそれぞれシーケンス比較を行い、既存ビデオ毎のシーケンス比較結果を得る。いくつかの例では、該シーケンス比較結果は、該既存ビデオと重複検査対象ビデオとの類似度を示すためのシーケンス比較スコア、および／または、該既存ビデオと重複検査対象ビデオとの重複ビデオセグメントを含む。いくつかの実施例では、該既存ビデオは、ビデオデータベース内のビデオである。その後、処理はステップＳ１３に進む。

ステップＳ１３では、このシーケンス比較結果に基づいて、該複数の既存ビデオに対して第１ランキングを行い、この第１ランキング結果に基づいて、第１ランキング結果における順位の高いｎ個の既存ビデオを第１の候補ビデオとして取り出す。ただし、ｎは正の整数である。その後、処理はステップＳ１４に進む。

ステップＳ１４では、該第１の候補ビデオのシーケンス比較結果に基づいて、該重複検査対象ビデオの重複状況を確定する。例えば、該重複検査対象ビデオが重複ビデオであるか否かを確定しても良いし（人工比較により判定してもよいし、シーケンス比較スコアの閾値を予め設定しておき、第１の候補ビデオのシーケンス比較スコアが該閾値よりも高いか否かにより判定してもよい）、どれまたはどれらの既存ビデオと重複するかを確定しても良いし、具体的な重複ビデオセグメントを確定した上で重複ビデオをフィルタリングすることもできる。

本開示に係る重複ビデオ判定方法を利用してビデオの重複検査を行い、複数の種類のビデオ特徴を利用して重複検査を行うことにより、重複ビデオを判定する正確性と効率を大幅に向上させることができる。

以下、上記のステップをそれぞれ詳細に述べ、説明する。
一、ステップＳ１１について
図２は、本開示の一実施例に係る重複検査対象ビデオのビデオ特徴を取得する模式的なブロック図である。図２を参照すると、本開示の一実施例において、本開示に例示するステップＳ１１は、以下のステップＳ２１、Ｓ２２、及びＳ２３を含む

ステップＳ２１では、重複検査対象ビデオに対してサンプリングしてフレームを抽出し、重複検査対象ビデオの複数のフレーム画像を得る。実際には、該複数のフレーム画像は一つの画像シーケンスを構成している。抽出するフレーム画像の具体的な数は任意に設定することができる。例えば、１秒当たりのビデオから２枚のフレーム画像を抽出してもよいし、１秒当たりのビデオから１枚のフレーム画像を抽出してもよい。なお、フレーム抽出は均一に行うことができ、すなわち、隣接する２つのフレーム画像間の時間間隔を均一にするようにしてもよい。

ステップＳ２２では、フレーム画像毎に複数の種類の画像特徴を抽出するステップであり、重複検査対象ビデオの画像特徴を第１の画像特徴として定義してもよい。

ステップＳ２３では、重複検査対象ビデオの該複数のフレーム画像の同種の第１の画像特徴のそれぞれに基づいて、該重複検査対象ビデオの第１のビデオ特徴を確定することで、複数の種類の第１のビデオ特徴を得る。具体的には、該複数の第１の画像特徴を、対応する複数のフレーム画像のビデオにおける順番（すなわち、画像シーケンスにおける順番）に並べて、該第１のビデオ特徴を得るようにしてもよい。

ここで、ステップＳ２２における画像特徴の抽出方法および得られる第１の画像特徴の種類は限定されるものではなく、複数の種類の方法によって第１の画像特徴を抽出可能である。例えば、抽出されて得られた第１の画像特徴は、浮動数特徴であってもよいし、２値化特徴であってもよい。なお、ビデオデータベースには、既存ビデオのビデオ特徴が記録されている（既存ビデオのビデオ特徴を第２のビデオ特徴として定義し、この第２のビデオ特徴が複数の第２の画像特徴から構成してもよい）とともに、ビデオデータベースには、第１のビデオ特徴と同じ方法で抽出された同じ種類の第２のビデオ特徴が含まれていることにより、ビデオ特徴比較過程で同じ種類の第１のビデオ特徴と第２のビデオ特徴との比較を行えるようになる。

なお、既存ビデオのビデオ特徴は、上述した方法で取得することができる。区別しやすくするために、既存ビデオのビデオ特徴を第２のビデオ特徴として定義し、第２のビデオ特徴の画像特徴を第２の画像特徴として定義してもよい。

本開示のいくつかの実施形態では、ステップＳ２２で抽出されて得られた複数の種類の画像特徴の中には、フェンス特徴（Ｆｅｎｃｅ特徴またはＲｅｃａｌｌ特徴とも呼ばれる）が含まれている。フレーム画像のフェンス特徴を抽出する方法は、フレーム画像毎に、１つ以上の検出ベクトルを取得し、各検出ベクトルを用いて、１つのフレーム画像中の任意の画素を始点として、該検出ベクトルが指す終点を確定し、各ペアの始点と終点との差分を確定し、各ペアの始点と終点との差分の様子の全体的な様子に基づいてフレーム画像の画像特徴を確定し、この画像特徴をフェンス特徴として定義する。なお、任意の画素を始点とするとは、一般的には、フレーム画像中の全ての画素を始点とすることができる。あるいは、フレーム画像における１つ以上の予め設定された位置の画素を始点として定義してもよく、具体的な位置は任意であり、例えば、１つのフレーム画像におけるエッジに存在しない全ての点を始点としてもよい。

具体的に、図３は、本開示の一実施例に係るフェンス特徴を抽出する模式的なブロック図である。いずれのビデオについても図３に示す方法で画像特徴を取得することができるので、本実施例の説明では、重複検査対象ビデオであるか否かを区別しないとする。図３を参照すると、本開示の一実施例において、本開示に例示するステップＳ２２は、以下のステップＳ３１、Ｓ３２、及びＳ３３を含むことができる。

ステップＳ３１では、１つ以上の検出ベクトル（ｓｈｉｆｔ ｖｅｃｔｏｒｓ）を取得する。取得された検出ベクトルの数をＮ個とすると、Ｎは正の整数である。具体的には、該複数の検出ベクトルは、予め設定されていてもよいし、ランダムに生成されていてもよい。また、各検出ベクトルの長さ及び方向は任意である。また、各検出ベクトル間は独立であり、一切の関連がある必要はない。なお、フレーム抽出された複数のフレーム画像については、一般的には、同一群の検出ベクトルを用いて各フレーム画像の画像特徴を確定してもよいが、異なる複数群の検出ベクトルを用いて各フレーム画像の画像特徴をそれぞれ確定してもよい。その後、処理はステップＳ３２に進む。

ステップＳ３２では、１つの検出ベクトルに基づいて、フレーム画像内の各画素を始点として、その始点が該検出ベクトルを介して指し示す終点の画素を確定し、各始点画素と対応する終点画素との差分の様子の全体的な様子に基づいて、各検出ベクトルに基づく該フレーム画像の特徴ビット（ｂｉｔ）を確定する。その後、処理はステップＳ３３に進む。

ステップＳ３３は、各検出ベクトルに対応する特徴ビットをそれぞれ確定し、得られたＮ個の当該特徴ビットに基づいて、当該フレーム画像に対応する１つのフェンス特徴を確定する。

ある例では、始点画素と終点画素との差分様子には、始点画素の輝度情報と終点画素の輝度情報との差分が含まれる。具体的には、一例では、ステップＳ３２は、１つの検出ベクトルに１つのカウンタを割り当てることと、始点と終点のペアごとの輝度差をカウントし、カウンタの取り値を増減し、始点の輝度値が終点の輝度値よりも大きい場合にカウンタの値に１を足し、逆に始点の輝度値が終点の輝度値よりも小さい場合にカウンタの値から１を引くことと、カウンタの値が予め設定された設定値よりも大きいか否かを判断し（例えば、該設定値を予め０に設定してもよい）、カウンタの値が該設定値より大きければ１の値をとる特徴ビットを生成し、そうでなければ０の値をとる特徴ビットを生成することと、を備える。

なお、検出ベクトルの終点がフレーム画像の範囲を超えていれば、カウンタの値を変更しなくてもよく、あるいは、当該フレーム画像を周期的に伸ばして、当該フレーム画像の四方に当該フレーム画像と同様のフレーム画像を設けることで、検出ベクトルの終点に対応する画素が必ず１つ存在するようにしてもよい。

長さ、任意の方向の検出ベクトルに基づいてフレーム画像における始点画素と終点画素を確定し、始点画素と終点画素との差分様子を比較してフレーム画像の特徴を生成することで、ビデオ特徴抽出の正確性と抽出の効率を向上させることができ、得られたビデオ特徴の良好程度を向上させることができ、さらに、フェンス特徴に基づいて行ったビデオの重複検査を、より高い精度と効率を有するようにする。

本開示のいくつかの実施例では、ステップＳ２２で抽出されて得られた複数の種類の画像特徴の中にはプール化特徴（Ｐｏｏｌｉｎｇ特徴またはＲｅｒａｎｋｉｎｇ特徴とも呼ばれる）が含まれる。フレーム画像のプール化特徴を抽出する方法は、フレーム画像毎に多タイプのプール化（Ｐｏｏｌｉｎｇ）処理を段階的に行って、そのフレーム画像の画像特徴を得て、その画像特徴をプール化特徴として定義する。ここで、プール化（Ｐｏｏｌｉｎｇ）は畳み込みニューラルネットワークの分野でのダウンサイジング手法であり、多タイプのプール化とは、最大プール化、最小プール化、平均プール化を含める。具体的には、フレーム画像の複数の色チャンネルに基づいて段階的に複数の種類のプール化を行うことで、フレーム画像の複数の色チャンネルに応じて画像特徴を得ることができる。

具体的には、フレーム画像を段階的に多タイプのプール化することには、以下のことを含む：フレーム画像に基づいて１つの行列を確定し、多タイプのプール化を用いて、１つの点のみを含む行列（または、行列中の「点」を行列中の「要素」と呼ぶこともできる）に縮小されるまで、より小さな行列を段階的に生成する。一点のみを含む該行列に基づいて該フレーム画像のプール化特徴を確定する。図４は、本開示の一実施例に係るプール化特徴を抽出する模式的なブロック図である。いずれのビデオについても図４に示す方法で画像特徴を取得することができるので、本実施形態の説明では、重複検査対象ビデオであるか否かを区別していない。図４を参照すると、本開示の一実施例において、本開示の例におけるステップＳ２２は、以下のステップＳ４１、Ｓ４２、Ｓ４３、及びＳ４４を含むことができる。

ステップＳ４１では、１つのフレーム画像に基づいて、第１の行列次元および第２の行列次元（すなわち、長さ方向および幅方向）を有する１つの第１の行列を確定する。該フレーム画像の長さをｘ画素、幅をｙ画素としてもよく、ｘとｙは正の整数である。この第１行列中の一点（行列中の点を行列中の要素と呼ぶこともできるが、ベクトル中の要素と区別するため、以下では行列中の要素を「点」と呼ぶ）は、該フレーム画像中の一画素に対応するため、該第一の行列は第一の行列次元の長さをｘ、第二の行列次元の長さをｙとする１つの行列（即ちｘ*ｙ行列）である。ここでいう行列の第１の行列次元/第２の行列次元の長さとは、当該行列が第１の行列次元/第２の行列次元において含む点の数を表すものである。第１の行列における各点の値は、第１のベクトルとして定義される３次元のベクトルであって、該第１のベクトルが該フレーム画像における対応の画素の３つのカラーチャンネルの輝度を表すためのものである。なお、ビデオオブジェクトのカラーモードが赤緑青モード（ＲＧＢモード）である場合には、赤、緑、青の３つのカラーチャンネルを取ることができる。ただし、必ずしも赤、緑、青の３つのカラーチャンネルを取る必要はなく、例えば、ビデオオブジェクトが使用するカラーモードに基づいて選択することができる。選択するカラーチャンネルの数も必ずしも３つである必要はない。たとえば、赤、緑、青の３つのカラーチャンネルのうちの２つを選択することができる。その後、処理はステップＳ４２に進む。

ステップＳ４２では、第１の行列上に複数の第１のブロック（実際には各ブロックの各々が１つのプール化窓に相当するので、第１のブロックを第１のプール化窓と呼ぶこともできる）を設置し、ｘ_１＊ｙ_１個の第１のブロックを設置することができる。ここで、ｘ_１及びｙ_１は正の整数であり、各第１のブロックの各々は、複数の該第１の行列の点を含む（又は、複数の第１のベクトルを含む）。第１の行列次元における該複数の第１のブロックの数は、該第１の行列の第１の行列次元の長さよりも少ない（言い換えると、該第１の行列の第１の行列次元に含まれる点の数よりも少ない）。かつ、第２の行列次元における該複数の第１のブロックの数は、第１の行列の第２の行列次元の長さよりも少ない（言い換えると、第１の行列の第２の行列次元に含まれる点の数よりも少ない）。すなわち、ｘ_１の値がｘよりも小さく、ｙ_１の値はｙより小さい。第１のブロック毎に対して、第１のブロックに含まれる複数の第１のベクトルの各次元の最大値、最小値および平均値をそれぞれ算出して、当該第１のブロックに対応する9次元のベクトルを得て、当該9次元のベクトルを第２のベクトルとして定義する。なお、各第１のブロック同士は、部分的に重複していてもよいし、同じ点を含んでいてもよいし、重複しなくてもよい。その後、処理はステップＳ４３に進む。

具体的には、第１のブロックを設置する際に、第１の行列の第１の行列次元を同じ長さのｘ_１個のセグメントに均等に分割し、隣接するセグメント間に同じ点を含む（部分的に重なる）ようにし、同様に、第１の行列の第２の行列次元をｙ_１個のセグメントに分割し、さらに、該ｘ_１個のセグメントを該ｙ_１個のセグメントと組み合わせて、第１の行列のｘ_１*ｙ_１個の第１のブロックを得るようにしてもよい。

なお、設置された第１のブロックの各々が同じ大きさで、かつ、同じピッチである場合(隣接する２つの第１のブロックが重なり可能である)、前述の第１の行列上に複数の第１のブロックを設置し、且つ各第１のブロックの第２のベクトルを計算する過程は、事実上、１つのプール化窓を用いて一定のピッチで第１の行列全体を走査し（または走り）、且つ毎回の走査において、該プール化窓がカバーする領域の第２のベクトルを計算することに相当する。

ステップＳ４３では、この複数のｘ_１*ｙ_１個の第１のブロックと、各第１のブロックに対応する第２のベクトルとに基づいて、第２の行列を確定する。該第２の行列の１つの点は、１つの第１のブロックに対応する。ｘ_１*ｙ_１個の第１のブロックが設置されている場合、該第２の行列は、第１の行列次元の長さがｘ_１、第２の行列次元の長さがｙ_１の行列(即ち、ｘ_１*ｙ_１行列)である。第２の行列内の各点の値は、対応する第１のブロックの該第２のベクトルである。その後、処理はステップＳ４４に進む。

なお、第２の行列を確定する際には、第１のブロックと第２の行列における点との対応付けを一定の順序で行う必要がある。具体的には、例えば、第１の行列における各第１のブロックの位置順に、第２の行列における各点を並べることができる。

ステップＳ４４では、ステップＳ４２およびステップＳ４３を繰り返す、即ち、ｘ_１*ｙ_１個の点を含み且つ各点の取り得る値が9次元ベクトルである第２行列に基づいて、ｘ_２*ｙ_２個の点を含み且つ各点の値が２７次元ベクトルである第３の行列を得 (ｘ_２はｘ_１より小さい正の整数であり、ｙ_２はｙ_１より小さい正の整数である)、さらに、ｘ_２*ｙ_２個の点を含み且つ各点の値が２７次元ベクトルである第３の行列に基づいて、ｘ_３*ｙ_３個の点を含み且つ各点の値が８１次元ベクトルである第３の行列を得 (ｘ_３はｘ_２より小さい正の整数であり、ｙ_３はｙ_２より小さい正の整数である)、………第１の行列(または該フレーム画像)が１*１の第Ｎの行列に縮小されるまで(実際には、行列は１つの点に次元低減される)繰り返す。ここで、Ｎは正の整数で、第Ｎの行列には１つの点のみが含まれる。この点の値は３^Ｎ次元のベクトルである。当該３^Ｎ次元ベクトルは、該フレーム画像のプール化特徴として確定される。

なお、ステップＳ４４では、毎回のブロックの設置過程において、行列の第１の行列次元、第２の行列次元が段階的に小さくなるように、行列の大きさに応じてブロックを設置すべきである。

フレーム画像を段階的に複数の種類のプール化してフレーム画像の特徴を生成することにより、ビデオ特徴抽出の精度や抽出効率を向上させることができ、得られるビデオ特徴の良さやロバスト性を向上させることができる。さらに、プール化特徴に基づいたビデオの重複検査をより高い精度と効率で行うことができる。

さらに、本開示の実施例において、ステップＳ２２で確定された画像特徴が２進数で構成されるビット列でない場合(例えば、上述したプール化特徴が浮動数特徴である)、本開示は以下のステップをさらに含むことができる：ステップＳ２２で確定された画像特徴に対して２値化処理を行って、０／１からなるビット列である２値化された画像特徴を得る。そして、得られた２値化された画像特徴に基づいて、ビデオオブジェクトのビデオ特徴を確定する。
画像特徴を二値化し、ビデオ特徴圧縮して記憶することができ、ビデオ比較の類似度計算プロセスを加速することができる。

具体的には、ランダム投影法（ｒａｎｄｏｍ ｐｒｏｊｅｃｔｉｏｎ）を用いて、画像特徴を二値化形態の画像特徴に変換することができる。重複検査対象ビデオの第１の画像特徴は、既存ビデオの第２の画像特徴と同様の方法で２値化することができるため、この例では、第１の画像特徴と第２の画像特徴とを区別しない。図５は、本開示の一実施例に係るランダム投影法によって画像特徴を２値化する模式的なブロック図である。図５を参照して、本開示の重複ビデオの判定方法は、ランダム投影法を用いて画像特徴を２値化する以下のステップＳ５１、Ｓ５２、Ｓ５３、Ｓ５４、及びＳ５５をさらに含むことができる。

ステップＳ５１では、長さｈの２値化画像特徴を生成するために、１つの画像特徴に基づいて、該画像特徴のうちの複数の要素を含む２ｈ個のグループを生成する（すなわち、各グループには、画像特徴の複数の次元の数値が含まれる）。ここで、ｈは正の整数である。その後、処理はステップＳ５２に進む。

なお、１つのグループが具体的にどの要素を含むかは任意であり、２つの異なるグループはいくつかの同じ要素を含むことができる。しかし、ビデオの対比を容易にするために、各グループが具体的にどの要素を含むかを事前に設定してもよいし、複数のビデオに対して同じ方法で該グループを生成してもよい。

この例では、各グループに含まれる要素の数は同じである。なお、実際には、各グループに含まれる要素の数は異なっていてもよい。

ステップＳ５２では、各グループに含まれる複数の要素をそれぞれ合計して、各グループの加算値を求める。その後、処理はステップＳ５３に進む。

ステップＳ５３では、この２ｈ個のグループを２つずつペアにして、ｈ個のグループペアを得る。その後、処理はステップＳ５４に進む。

具体的には、予め２ｈ個のグループに番号を付けておき（又はグループをソートしておき）、隣接する２つのグループをペアにすることができる。

ステップＳ５４では、グループペア毎にそれぞれ比較を行い、グループペア毎の２つのグループの加算値の大きさを比較し、比較の結果に基づいて１つの２値化された画像特徴ビットを生成する。その後、処理はステップＳ５５に進む。

具体的には、グループ番号が予め付与されている例では、１ペアのグループにおいて、番号の小さいグループの加算値が番号の大きいグループの加算値よりも大きい場合には、値が１である２値化画像特徴ビットを生成し、逆に、値が０である２値化画像特徴ビットを生成する。なお、２値化画像特徴ビットを生成する方式は限定されず、例えば、番号の小さいグループの加算値が番号の大きいグループの加算値よりも小さい場合に、値が１である２値化画像特徴ビットを生成してもよい。

ステップＳ５５では、当該ｈ個のグループペアの当該ｈ個の２値化画像特徴ビットに基づいて、長さｈの２値化画像特徴を作成する。

二．ステップＳ１２及びステップＳ１３について。
図６は、本開示の一実施例に係るシーケンス比較の模式的なフローブロック図である。図６を参照して、本開示の例におけるステップＳ１２は、以下のステップＳ６１、Ｓ６２、Ｓ６３、及びＳ６４を含むことができる。

ステップＳ６１では、１つの既存ビデオの複数の種類のビデオ特徴を取得する。既存ビデオのビデオ特徴は、種ごとに複数の第２の画像特徴を含む第２のビデオ特徴として定義されてもよい。その後、処理はステップＳ６２に進む。

例えば、重複検査対象ビデオおよび既存ビデオの上述したフェンス特徴およびプール化特徴を同時に取得すること、および／または上述した浮動数特徴および２値化特徴を同時に取得することができる。

ステップＳ６２では、複数の種類の第２のビデオ特徴と複数の種類の第１のビデオ特徴とについて、種毎の第２のビデオ特徴における各第２の画像特徴と、同種の第１のビデオ特徴における各第１の画像特徴との単体類似度をそれぞれ確定することで、複数の単体類似度を得る。各単体類似度は、１つの第１の画像特徴と１つの第２の画像特徴との間の類似度を表すためのものであり、具体的には、単体類似度が大きいほど類似していることを表す。その後、処理はステップＳ６３に進む。

重複検査対象ビデオの第１のビデオ特徴の長さ、既存ビデオの第２のビデオ特徴の長さをそれぞれＭ_１とＭ_２とし、ここで、Ｍ_１とＭ_２は正の整数である。つまり、第１のビデオ特徴は、Ｍ_１個の第１の画像特徴を含み、第２のビデオ特徴は、Ｍ_２個の第２の画像特徴を含む。従って、同種の第１のビデオ特徴と第２のビデオ特徴との間にＭ_１*Ｍ_２個の単体類似度を得られる。

本開示の実施の形態では、画像特徴の種類に応じて、第１、第２の画像特徴の類似度を判定可能な距離またはメトリックを、該単体類似度として選択することができる。

具体的には、第１、第２の画像特徴が共に浮動数特徴である場合には、第１の画像特徴量と第２の画像との余弦距離（余弦類似度ともいう）に基づいて、該単体類似度を確定することができる。一般的に、この余弦距離を単体類似度として直接に確定することができる。一方、第１、第２の画像特徴が共に２値化特徴である場合には、第１の画像特徴と第２の画像特徴とのハミング距離（Ｈａｍｍｉｎｇ距離）に基づいて、該単体類似度を確定することができる。具体的には、第１、第２の画像特徴間のハミング距離を算出し、画像特徴の長さと該ハミング距離との差を算出し、さらに、その差と画像特徴の長さとの比を単体類似度として確定することで、２値化の第１、第２の画像特徴における同じビットの占める割合を表す。ここで、ハミング距離は情報論の分野でよく用いられるメトリックであり、２つの等長文字列間のハミング距離は２つの文字列の対応する位置の異なる文字の個数である。なお、同種の方法で抽出された画像特徴は、一般に同じ長さを有する。

なお、単体類似度を余弦距離やハミング距離で表すことに限定されるものではなく、２つの画像特徴の類似度を判定可能ないずれの距離やメトリックを利用することができる。

ステップＳ６３では、一例では、複数の種類の単体類似度の最小値を確定し、該複数の種類の単体類似度の平均値から該既存ビデオの類似度行列（Ｓｉｍｉｌａｒｉｔｙ Ｍａｔｒｉｘ）を確定する。あるいは、別の例では、複数の種類の単体類似度の最小値を確定し、該複数の種類の単体類似度の最小値に基づいて、該既存ビデオの類似度行列を確定する。

具体的には、該類似度行列の点の各々は、該類似度行列には既存ビデオの各第２の画像特徴と各第１の画像特徴との間の単体類似度が記録されるように、１つの単体類似度に対応する。そして、この類似度行列の各点は、方向に、重複検査対象ビデオの各第１の画像特徴の、第１のビデオ特徴における前後順に従って横並べられ、且つ、縦方向に、既存ビデオの各第２の画像特徴の、第２のビデオ特徴における前後順に従って並べられている。したがって、第ｉ行第ｊ列に位置する点は、重複検査対象ビデオの第ｉフレームと既存ビデオの第ｊフレームとの間の単体類似度を表し、さらにこの類似度行列はＭ_１×Ｍ_２行列である。その後、処理はステップＳ６４に進む。

なお、複数の種類の単体類似度の平均値や最小値をとる前に、各種の単体類似度が一致する取り得る値の範囲を有すること確保する必要があり、例えば、全ての種類の単体類似度の値範囲を０～１に設定しておくことができる。実際に、上述した余弦距離に基づいて確定される単体類似度の例、ハミング距離に基づいて確定される単体類似度の例は、いずれも、単体類似度の取り得る値の範囲を０～１としたものである。

なお、実際の操作中、必ずしもステップＳ６２での各単体類似度の算出を行ってからステップＳ６３での類似度行列の確定を行う必要はなく、直接に類似度行列を確定し、この類似度行列の各点を確定する過程で対応する単体類似度を算出してもよい。

ステップＳ６４では、該類似度行列に基づいて、該既存ビデオと重複検査対象ビデオとの類似状況を確定する。具体的には、類似状況を確定するとは、以下のことを含む：該類似度行列に基づいて、該既存ビデオと重複検査対象ビデオとの類似度を確定し、シーケンス比較スコアを用いて該類似度を表すことができる。本開示の実施例では、当該シーケンス比較スコアは、０～１のスコアとなることができ、数字が大きいほど、２つの節のビデオが類似していることを示す。さらに、上述した類似状況を確定することは、類似度行列に基づいて、該既存ビデオと重複検査対象ビデオとの重複するビデオセグメントの開始/終了時間を確定することをさらに含む。
本開示のいくつかの実施例では、ステップＳ６４は、類似度行列内の直線に基づいて、重複検査対象ビデオと既存ビデオとの類似状況を確定することを含む。

なお、ビデオ特徴は、一般的には、有限な複数の画像特徴を含むので、類似度行列は、有限な行列である。実際には、「直線」とは、類似度行列中の複数の点からなる、有限な長さの線分である。該直線は、直線が含む複数の点を結ぶ線の傾きである傾きを有する。また、この直線の始点と終点は、類似度行列中の任意の点であってよく、必ずしもエッジに位置する点である必要はない。

本開示でいう直線とは、類似度行列における対角線、及びこの対角線に平行な線分という、類似度行列における左上から右下までの傾きが１である直線を含み、さらに、傾きが１でない直線を含む。例えば、重複検査のロバスト性を向上させるために、傾きが１に近い直線とすることができる。速度調節されたビデオの重複検査を対処するために、２、３、．．．又は１／２、１／３、．．．等の傾きを有する直線とすることができる。さらに、逆再生処理されたビデオを対処するために、傾きが負の直線（類似度行列の左下から右上の直線）であってもよい。ここで、対角線は（１、１）、（２、２）、（３、３）．．．に位置する点からなる線分（実際には左上隅の点を始点とし傾きが１である直線）である。

実際には、類似度行列中の各直線は、いずれも順序に並べられた複数の単体類似度から構成されているため、各直線の各々は、複数の順序に並べられた画像特徴対の類似状況を表すことで、重複検査対象ビデオセグメントと既存ビデオセグメントとの類似度を表すことができる。各画像特徴ペアの各々は、１つの第１の画像特徴と１つの第２の画像特徴とを含む。つまり、各直線の各々は、複数の順序に並べられた第１の画像特徴と複数の順序に並べられた第２の画像特徴との類似度を表す。一方、直線の傾き、始点、終点は２つのビデオセグメントの長さ、位置を表している。例えば、（１、１）、（２、３）、（３、５）、（４、７）からなる直線は、序数が１である第１の画像特徴と序数が１である第２の画像特徴との間の類似状況、序数が２である第１の画像特徴と序数が３である第２の画像特徴との間の類似状況、．．を表しているため、この直線は、序数が１、２、３、４である第１の画像特徴に対応する重複検査対象ビデオの１つのセグメントと序数が１、３、５、７の第２の画像特徴に対応する既存ビデオの１つのセグメントと間の類似状況を表すことができる。

したがって、２つのビデオの類似度は、類似度行列内の直線に基づいて確定することができる。１つの直線に含まれる各単体の類似度の平均的な状況(または全体的な状況)を、その直線の直線類似度として定義することができる。この直線類似度は、対応する複数の第１の画像特徴と複数の第２の画像特徴との類似状況を示すことができる。類似度行列において、直線類似度の最も高い直線を確定し、マッチング直線と呼ぶことができる。マッチング直線の直線類似度を、重複検査対象ビデオと既存ビデオとの類似度として確定する、および／または、マッチング直線に対応する複数の第１の画像特徴および複数の第２の画像特徴に基づいて、重複検査対象ビデオと既存ビデオとの重複ビデオセグメントを確定する。

ここで、類似度行列内の直線（例えば、マッチング直線）に基づいて重複ビデオセグメントを確定する具体的な方法は、以下の方法である。直線の始点に対応する第１の画像特徴の序数（すなわち、類似度行列の横座標）に基づいて重複検査対象ビデオの重複ビデオセグメントの開始時間を確定し、該始点に対応する第２の画像特徴の序数（すなわち、類似度行列中の縦座標）に基づいて既存ビデオ中の重複ビデオセグメントの開始時間を確定する。同様に、直線の終点の横座標に基づいて、重複検査対象ビデオにおける重複ビデオセグメントの終了時間を確定し、終点の縦座標に基づいて、既存ビデオにおける重複検査対象ビデオセグメントの終了時間を確定する。

なお、マッチング直線を確定する過程で、予め設定された複数の直線の中から、直線の類似度が最も高い直線を確定してもよい。例えば、予め設定された複数の直線は、全ての傾きが予め設定された傾き設定値（例えば傾きが１）となる直線であってもよいし、単体類似度の大きさが上位となる複数の点を先に類似度行列から選択して、これらの点に基づいて直線を適合することで、直線の類似度が相対的に最も高くなる直線を生成する。

本開示の一つの具体的な実施例では、動的計画法を使用して、類似度行列から２つのビデオの類似性を確定することができる。図７は、本開示の一実施例に係る動的計画法を使用したビデオの重複検査の模式的なフローブロック図である。図７を参照すると、一実施例において、本開示のステップＳ６４は、以下の具体的なステップＳ６４-１ａ、Ｓ６４-１ｂ、及びＳ６４-１ｃを含む。

ステップＳ６４-１ａでは、類似度行列内の傾きが予め設定された傾き設定値となる複数の直線を候補直線として定義し、各候補直線の各々に含まれる各単体類似度に基づいて当該候補直線の直線類似度を確定する。具体的には、１つの直線の直線類似度を、当該直線に含まれる各単体類似度の平均値としてもよいし、当該直線に含まれる各単体類似度の総和値としてもよい。具体的な例では、傾き設定値は、１とすることができ、すなわち、上述の候補直線は、類似度行列内の対角線と、対角線に平行な直線とである。その後、処理はステップＳ６４-１ｂに進む。

なお、本開示の実施例において、ステップＳ６４-１ａは、さらに以下のことを含む。まず、予め設定された直線長さの設定値よりも少ない数の単体類似度を含む直線を、候補直線から除外し、その後、ステップＳ６４-１ｂに進む。換言すれば、本実施例では、候補直線は、含まれる単体類似度の数が予め設定された直線長さ設定値に達することを満たす必要もある。単体類似度が少なすぎる直線を排除することにより、直線に含まれる単体類似度が少なすぎて最終的に得られるシーケンス比較結果の正確性を影響するという問題を排除することができる。

ステップＳ６４-１ｂでは、該複数の候補直線の中から、該直線の類似度が最大となる候補直線を確定し、第１のマッチング直線として定義する。その後、処理はステップＳ６４-１ｃに進む。

ステップＳ６４-１ｃでは、この第１のマッチング直線の直線類似度を、重複検査対象ビデオと既存ビデオとの類似度を表すためのシーケンス比較スコアとして確定する。２つのビデオにおける重複セグメントの開始時間および終了時間は、第１のマッチング直線の始点および終点に基づいて確定される。

なお、本開示のいくつかの実施例において、ステップＳ６４-１ａにおける予め設定された傾き設定値は、複数であってもよい。即ち、候補直線は、傾きが複数の傾き設定値のいずれかと等しい直線であってもよい。例えば、候補直線は、傾きが１、-１、２、１/２等の直線であってもよく、ステップＳ６４-１ｂでは、傾きが複数の傾き設定値のいずれかである複数の候補直線の中から１つの第１のマッチング直線を確定する。

本開示に係る重複ビデオの判定方法は、動的計画法を用いて、シーケンス比較スコアを確定し、及び/又は、重複するビデオセグメントを確定することにより、重複検査の精度及び重複検査の速度を向上させることができる。

本開示の別の具体的な実施例では、等速ビデオ法を使用して、類似度行列に基づいて２つのビデオの類似性を確定することもできる。図８は、本開示の一実施例に係る等速ビデオ法を使用したビデオの重複検査の模式的なフローブロック図である。図８を参照すると、一実施例において、本開示のステップＳ６４は、以下の具体的なステップＳ６４-２ａ、Ｓ６４-２ｂ、及びＳ６４-２ｃを含む。

ステップＳ６４-２ａでは、類似度行列において、単体類似度が最大となる複数の点を選択し、類似度極値点として定義する。取得される類似度極値点の具体的なの数は、予め設定されていてもよい。その後、処理はステップＳ６４-２ｂに進む。

ステップＳ６４-２ｂでは、該複数の類似度極値点に基づいて、類似度行列において第２のマッチング直線として、直線を適合する。いくつかの具体例では、該複数の類似度極値点に基づいて、予め設定された傾き設定値またはそれに近い傾き設定値を有する直線を適合し、第２のマッチング直線とする。例えば、傾きが１に近い直線を適合する。具体的には、この類似度行列において傾きが傾き設定値に近い直線をランダムサンプリング一致法（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ法、略してＲＡＮＳＡＣ法と呼ぶ）を用いて適合することができる。ここで、ＲＡＮＳＡＣ法は、異常データを含む一組のサンプルデータ集合に基づいて、データの数学モデルパラメータを計算して、有効なサンプルデータを得るよく使われる方法である。その後、処理はステップＳ６４-２ｃに進む。

ステップＳ６４-２ｃでは、該第２のマッチング直線に含まれる複数の単体類似度に基づいて、重複検査対象ビデオと既存ビデオとの類似度を表すためのシーケンス比較スコアを確定する。具体的には、第２のマッチング直線上の各単体類似度の平均値を、該シーケンス比較スコアとして確定することができる。また、２つのビデオにおける重複セグメントの開始時間および終了時間は、該第２のマッチング直線の始点および終点に基づいて確定されることができる。

本開示に係る重複ビデオの判定方法は、等速ビデオ法を用いて、シーケンス比較スコアを確定し、及び/又は、重複するビデオセグメントを確定することにより、重複検査の精度及び重複検査の速度を向上させることができる。

本開示のいくつかの実施例（例えば、前述の図７および図８に示す実施例）において、ステップＳ６４は、さらに、以下のステップを含む：得られた第１のマッチング直線または第２のマッチング直線の先頭部分および末尾部分を検出し、この第１のマッチング直線／第２のマッチング直線の先頭部分と後尾部分の点（単体類似度）が予め設定された単体類似度設定値に達したか否かを判断し、第１のマッチング直線/第２のマッチング直線における先頭と末尾にあるこの単体類似度設定値に達していない（すなわち単体類似度が高くない）部分を取り除き、中間の一節の直線を残して第３のマッチング直線と定義する；該第３のマッチング直線の直線類似度に基づいて、重複検査対象ビデオと既存ビデオとの類似度を確定し、及び/又は、該第３のマッチング直線の始点及び終点に基づいて、重複検査対象ビデオと既存ビデオとの重複ビデオセグメントの開始時間と終了時間を確定する。マッチング直線の先頭と末尾の類似度の高くない部分を取り除き、中間の類似度の高い直線を残してから、重複検査対象ビデオと既存ビデオとの類似状況を確定することにより、重複検査の正確性を向上させることができ、重複ビデオセグメントの開始終了時間をより正確に得ることができる。

ここで、マッチング直線における先頭/末尾の当該単体類似度設定値に達していない部分を取り除く具体的な方法は以下の方法であってもい。マッチング直線の始点/終点から中間に向かって順次にチェックし、当該単体類似度設定値に達しているか否かを判定し、単体類似度設定値に到達する最初の点を見つけた後、その点から始点／終点までの間の複数の点を取り除く。

本開示の重複ビデオの判定方法は、複数の種類のビデオ特徴類似度の平均値又は最小値をとってビデオ重複検査を行うことにより、単一種類のビデオ特徴を用いて類似度(例えば、前述の類似度行列、直線類似度など）を取得して比較する時に誤マッチングがある状況を低減又は排除することができ、ひいては重複検査の正確性が向上する。

さらに、ビデオデータベース内のすべてのビデオに対してシーケンス比較を行い、第１のランキングを行うと、重複検査の効率に影響を及ぼす可能性がある。したがって、シーケンス比較の前に、複数の既存ビデオに対して、少なくとも１種の第１のビデオ特徴内の個別の第１の画像特徴の各々に基づいて第２のランキングすることで、ビデオデータベースから第２の候補ビデオを選択することができ、さらに第２の候補ビデオに対してシーケンス比較を行う。具体的には、少なくとも１種の第１のビデオ特徴内の個別の第１の画像特徴の各々をインデックス要求とし、複数の既存ビデオに対して単語頻度-逆ファイル頻度の方式のランキング（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ-ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ ｒａｎｋｉｎｇ、単にＴＦ-ＩＤＦランキングとも呼ばれる）を行うことができる。

本開示のいくつかの実施例では、第２のビデオ特徴をインデックスして、複数の既存ビデオの特徴インデックスを予め得てから、該特徴インデックスを第１の画像特徴とマッチングして、複数の既存ビデオに対してＴＦ－ＩＤＦランキングを行う。

具体的には、前記の既存ビデオの特徴インデックスを予め得ることはさらに以下のことを含む：既存ビデオのビデオ特徴の順引き特徴インデックス（ｆｏｒｗａｒｄ ｉｎｄｅｘ）と逆引き特徴インデックス（ｉｎｖｅｒｔｅｄ ｉｎｄｅｘ）とを予め取得することで、ビデオに対して重複を調査しやすいようにする。該順引き特徴インデックスおよび逆引き特徴インデックスは、ビデオデータベースに予め記憶されていてもよい。ここで、順引き特徴インデックスは各既存ビデオのビデオ特徴を記録するためのものであり、即ち各既存ビデオのビデオ特徴が具体的にどの画像特徴を含むか及びこれらの画像特徴の順序を記録している。逆引き特徴インデックスは、各画像特徴がどの又はどれらの既存ビデオのビデオ特徴に現れるかを記録するためのものである。具体的には、キー値ペア（ｋｅｙ-ｖａｌｕｅペア）の形式で、順引き特徴インデックスと逆引き特徴インデックスとを格納することができる。順引き特徴インデックスでは、１つのキーで１つのビデオの番号（あるいは、ビデオＩＤと呼ばれる）を表す。このキーに対応する値（ｖａｌｕｅ）は、このビデオがどの画像特徴を含むか、およびこれらの画像特徴の順序を記録する。順引き特徴インデックス内のキー、値をそれぞれ順引きキー、順引き値と呼ぶことができる。逆引き特徴インデックスでは、１つの画像特徴を１つのキー（ｋｅｙ）で表す。そのキーに対応する値（ｖａｌｕｅ）にその画像特徴を含むビデオの番号を記録している。逆引き特徴インデックスのキー、値をそれぞれ逆引きキー、逆引き値と呼ぶことができる。

ここで、ＴＦ-ＩＤＦランキングは、情報に対して単語頻度と逆ファイル頻度の重み付けを行うことで、情報の重要度を判断してランキングを行う技術である。ここでの単語頻度とは、ある単語（または情報）がある文章（またはあるファイル）に出現する頻度を指す。単語の頻度が高いほど、その単語が該文章にとって重要であることを示す。ここでのファイル頻度とは、ある単語が文章ライブラリ内のどのぐらいの文章に出現するかを示す。逆ファイル頻度とは、ファイル頻度の逆数（実際に計算する時に、逆ファイル頻度の対数をとることもでき、あるいは逆ファイル頻度がファイル頻度の逆数の対数であると定義することができる）である。逆ファイル頻度が高いほどその単語の区別易さが良いことを示している。そのため、ＴＦ-ＩＤＦランキングは、単語頻度と逆ファイル頻度との積の大きさを利用してランキングする。実際には、１つのビデオのビデオ特徴を１つの文章とし、画像特徴の各々を１つの単語とすることで、既存ビデオに対してＴＦ-ＩＤＦ方式でランキングすることができる。

また、ビデオデータベース内の既存ビデオのすべてに対して第２のランキングを行うと、第２のランキングの効率に影響を与える可能性があるため、第２のランキングの前に、ビデオデータベース内の既存ビデオに対して絶対マッチング(ｅｘａｃｔｍａｔｃｈ)を行うことができる。ここでの絶対マッチングは、予め設定された数以上又は割合以上の第１の画像特徴を含めている既存ビデオを選択して、第２のランキングに供するためのものである。

図9は、本開示の一実施例に係る絶対マッチングステップを含む第２のランキングの模式的なフローブロック図である。図9を参照して、本開示の一実施形態では、ステップＳ１２を行う前に、以下のステップＳ７１、Ｓ７２、Ｓ７３、Ｓ７４、及びＳ７５を行う。

ステップＳ７１では、逆引き特徴インデックスに基づいて、各第１の画像特徴がどれらの既存ビデオの第２のビデオ特徴に出現するかを統計し、ビデオデータベースから、予め設定された数以上の第１の画像特徴を含む既存ビデオを第３の候補ビデオ集合としてマッチングする。その後、処理はステップＳ７２に進む。

ステップＳ７２では、順引き特徴インデックスに基づいて、一つの第３の候補ビデオの第２のビデオ特徴における一つの第１のビデオ特徴の単語頻度を確定する。この単語頻度は、１つの第１の画像特徴が、１つの第２のビデオ特徴に含まれる全ての画像特徴の中に占める割合である。その後、処理はステップＳ７３に進む。

ステップＳ７３では、逆引き特徴インデックスに基づいて、第１の画像特徴のファイル頻度を確定する。このファイルの頻度は、複数の既存ビデオのうち（例えば、ビデオデータベース内のすべての既存ビデオであってもよい）、第２のビデオ特徴に該第１の画像特徴が含まれている既存ビデオの数が、既存ビデオの総数に占める割合である。その後、処理はステップＳ７４に進む。

ステップＳ７４では、一つの第３の候補ビデオの第２のビデオ特徴における各第１の画像特徴の単語頻度と、各第１の画像特徴のファイル頻度とに基づいて、当該第３の候補ビデオの単語頻度-逆方向ファイル頻度スコアを確定する。その後、処理はステップＳ７５に進む。

ステップＳ７５では、得られた各第３候補ビデオの単語頻度-逆方向ファイル頻度スコアに基づいて第３候補ビデオ集合に対してランキングを行い、第２のランキングの結果を得る。この第２のランキング結果から、順位の高いｋ個の第３の候補ビデオを第２の候補ビデオ集合として取り出し、同時に、各第２の候補ビデオの第２のビデオ特徴（順引き特徴インデックス）を返して、後続のステップＳ１２において該第２のビデオ特徴に基づいて第２の候補ビデオ集合をさらに処理することに供することもできる。

本実施形態では、インデックスサーバを利用して、重複検査対象ビデオの第１の画像特徴の集合をインデックス要求として、上述した順引き特徴インデックスと逆引き特徴インデックスに基づいて、絶対マッチングとＴＦ-ＩＤＦランキングを行うことで、第２の候補ビデオ集合を呼び出しながら、得られたそれぞれの第２の候補ビデオの順引き特徴インデックスを返す。具体的には、オープンソースのＥｌａｓｔｉｃｓｅａｒｃｈサーチエンジンを用いて上記の各ステップを行うことで、快速に検索を行うという効果を得ることができる。

なお、絶対マッチングと第２のランキングは、各個別の第１の画像特徴がどれらの既存ビデオに現れるかに重点的に注目しているが、第１のビデオ特徴における各第１の画像特徴の順序が重複検査に与える影響を考慮していない。言い換えると、ビデオ特徴の全体のマッチングまたは連続的な複数の画像特徴のマッチングは考慮されていない。

これに対応して、前記例におけるステップＳ１２、ステップＳ１３は、以下のように変更される。当該複数の第２の候補ビデオに対して、それぞれ前述したシーケンス比較を行い、シーケンス比較結果を得、当該複数の第２の候補ビデオに対して、前述した第１のランキングを行って、その第１のランキングに応じて複数の第２の候補ビデオの中から第１の候補ビデオを選択する。

本発明の提出する重複ビデオの判定方法は、第２のランキングを行うことにより、重複ビデオの判定の正確性と効率を大幅に向上させることができる。

なお、ステップＳ７１を行う前に、前述した実施例における画像特徴を２値化する処理を行うことで、第２のランキングを容易にしてもよい。

図１０は、本開示の一実施例に係る重複ビデオの判定装置の模式的な構成ブロック図である。図１０を参照して、本発明の一実施例に係る重複ビデオの判定装置１００は、主に、
重複検査対象ビデオの複数の種類のビデオ特徴を取得するためのビデオ特徴取得モジュール１１０と、
複数の既存ビデオのそれぞれに対して、重複検査対象ビデオの複数の種類のビデオ特徴に基づいてシーケンス比較を行って、シーケンス比較結果を得るためのシーケンス比較モジュール１２０と、
該シーケンス比較結果に基づいて、該複数の既存ビデオに対して第１のランキングを行い、該第１のランキングの結果に基づいて、第１のランキングの結果における順位の高いｎ（ただし、ｎは正の整数）個の既存ビデオを第１の候補ビデオとして取り出すための第１のランキングモジュール１３０と、
第１の候補ビデオのシーケンス比較結果に基づいて、該重複検査対象ビデオの重複状況を確定するための重複検査モジュール１４０と、
を備える。

図１１は、本開示の一実施例に係るビデオ特徴取得モジュール１１０の模式的なブロック図である。図１１を参照すると、本開示の一例としてのビデオ特徴取得モジュール１１０は、主に、サンプリングユニット１１１、第１の画像特徴抽出ユニット１１２、第１のビデオ特徴確定ユニット１１３を備える。

サンプリング手段１１１は、重複検査対象ビデオに対してサンプリングしてフレーム抽出して、当該重複検査対象ビデオの複数のフレーム画像を得るためのものである。

第１の画像特徴抽出ユニット１１２は、フレーム画像毎の複数の種類の画像特徴を抽出するためのものである。重複検査対象ビデオの画像特徴を第１の画像特徴として定義してもよい。

第１のビデオ特徴確定ユニット１１３は、重複検査対象ビデオの該複数のフレーム画像の同じ種類の各第１の画像特徴に基づいて、該重複検査対象ビデオの第１のビデオ特徴を確定することで、複数の種類の第１のビデオ特徴を得るためのものである。

具体的には、該第１の画像特徴抽出ユニット１１２は、上述した方法の実施例における手順に従ってフェンス特徴を抽出する複数のサブユニット（図示せず）、および／または、前述の方法の実施例におけるステップに従ってプール化特徴を抽出する複数のサブユニット（図示せず）を備えていてもよい。

さらに、本開示に例示する重複ビデオの判定装置は、ランダム投影法を用いて画像特徴を２値化するための２値化モジュール（図示せず）をさらに備えていてもよい。

図１２は、本開示の一実施例に係るシーケンス比較モジュール１２０の模式的なブロック図である。図１２を参照すると、本開示に例示するシーケンス比較モジュール１２０は、主に、第２のビデオ特徴取得ユニット１２１、単体類似度確定ユニット１２２、類似度行列確定ユニット１２３、及びシーケンス比較ユニット１２４を含む。

第２のビデオ特徴取得ユニット１２１は、既存ビデオの複数の種類のビデオ特徴を取得するためのものである。既存ビデオのビデオ特徴を第２のビデオ特徴として定義し、第２のビデオ特徴が種毎に複数の第２の画像特徴を含んでもよい。

単体類似度確定ユニット１２２は、各種の第２のビデオ特徴における第２の画像特徴の各々と、同じ種類の第１のビデオ特徴における第１の画像特徴の各々との単体類似度をそれぞれに確定することで、複数の単体類似度を取得するためのものである。

類似度行列確定ユニット１２３は、複数の種類の単体類似度の平均値に基づいて、該既存ビデオの類似度行列を確定し、あるいは、複数の単体類似度の最小値に基づいて、該既存ビデオの類似度行列を確定するためのものである。

シーケンス比較ユニット１２４は、該類似度行列に基づいて、該既存ビデオと重複検査対象ビデオとの類似状況を確定するためのものである。具体的には、該シーケンス比較ユニット１２４は、類似度行列内の直線に基づいて、重複検査対象ビデオと既存ビデオとの類似状況を確定する。

具体的には、該シーケンス比較ユニット１２４は、上述した方法の実施例における等速ビデオ法を用いてシーケンス比較スコアを確定し、ビデオ重複セグメントを確定する複数のサブユニット（図示せず）を含んでいてもよい。或いは、該シーケンス比較ユニット１２４は、動的計画法を用いて該シーケンス比較スコアを確定し、ビデオ重複セグメントを確定する複数のサブユニット（図示せず）を含んでもよい。

さらに、ビデオデータベース内のすべてのビデオに対してシーケンス比較および第１のランキングを行うと、重複検査の効率に影響を及ぼす可能性がある。したがって、シーケンス比較モジュール１２０の前に、少なくとも１種の第１のビデオ特徴内の個別の第１の画像特徴の各々に基づいて複数の既存ビデオの第２のランキングを行うことで、ビデオデータベースから第２の候補ビデオを選択するための第２のランキングモジュール（図示せず）を設けてもよい。さらに、シーケンス比較モジュール１２０は、該第２の候補ビデオに対してシーケンス比較を行うためのものである。具体的には、該第２のランキングモジュールは、少なくとも１種の第１のビデオ特徴内の個別の第１の画像特徴の各々をインデックス要求として、複数の既存ビデオに対して、単語頻度-逆方向ファイル頻度ＴＦ-ＩＤＦ方式のランキングを行うためのものである。

なお、上述した２値化モジュールを該第２のランキングモジュールの前に設けることで、第２のランキングモジュールにおける第２のランキングを容易にすることができる。

図１３は、本発明の実施例に係る重複ビデオの判定ハードウェア装置を示すハードウェアブロック図である。図１３に示すように、本開示の実施例に係る重複ビデオの判定ハードウェア装置３００は、メモリ３０１と、プロセッサ３０２とを備える。重複ビデオの判定ハードウェア装置３００内の各コンポーネントは、バスシステムおよび／または他の形式の接続機構（図示せず）によって相互接続される。

当該メモリ３０１は、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられる。具体的には、メモリ３０１は、１つ又は複数のコンピュータプログラム製品を含めてもよい。当該コンピュータプログラム製品は、各種の形式のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリ及び/又は不揮発性メモリを含めてもよい。当該揮発性メモリは、例えばランダムアクセスメモリ（ＲＡＭ）及び/又はキャッシュ（ｃａｃｈｅ）等を含めてもよい。当該不揮発性メモリは、例えば読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリ等を含めてもよい。

当該プロセッサ３０２は、中央処理ユニット（ＣＰＵ）又はデータ処理能力及び/又は命令実行能力を有する別の形式の処理ユニットであってもよく、そして重複ビデオの判定ハードウェア装置３００におけるその他の構成要素を制御して所望の機能を実行することができる。本開示の一実施例においては、当該プロセッサ３０２は、当該重複ビデオの判定ハードウェア装置３００が前述した本開示の各実施例に係る重複ビデオの判定方法の全て又は一部のステップを実行するように、当該メモリ３０１に記憶された当該コンピュータ読み取り可能な命令を実行するために用いられる。

図１４は、本開示の実施例に係るコンピュータ読み取り可能な記憶媒体を図示する模式図である。図１４に示すように、本開示の実施例に係るコンピュータ読み取り可能な記憶媒体４００には、非一時的なコンピュータ読み取り可能な命令４０１が記憶されている。当該非一時的なコンピュータ読み取り可能な命令４０１がプロセッサによって実行される場合、前述した本開示の各実施例に係る重複ビデオの判定方法の全て又は一部のステップを実行する。

図１５は、本開示の実施例に係る端末装置を図示するハードウェア構成模式図である。端末装置は、各種の形式で実施されることができる。本開示にかかる端末装置は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルディジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（携帯型マルチメディアプレイヤー）、ナビゲーション装置、車載端末装置、車載表示端末、車載電子ミラー等の携帯端末装置、並びに例えばデジタルＴＶ、デスクトップコンピュータ等の固定端末装置を含むが、それに限らない。

図１５に示すように、端末装置１１００は、無線通信ユニット１１１０、Ａ/Ｖ（オーディオ/ビデオ）入力ユニット１１２０、ユーザ入力ユニット１１３０、センシングユニット１１４０、出力ユニット１１５０、メモリ１１６０、インターフェースユニット１１７０、コントローラー１１８０及び電源ユニット１１９０等を含めてもよい。図１５は、各種のアセンブリを有する端末装置を示しているが、示された全てのアセンブリを実施することが要求されず、それに代わってより多い又はより少ないアセンブリを実施してもよいことが理解されるべきである。

ここで、無線通信ユニット１１１０により、端末装置１１００と無線通信システム又はネットとの間の無線通信が可能となる。Ａ/Ｖ入力ユニット１１２０は、オーディオ又はビデオ信号を受信するために用いられる。ユーザ入力ユニット１１３０は、ユーザの入力した命令によってキー入力データを生成して端末装置の各種の動作を制御することができる。センシングユニット１１４０は、端末装置１１００の現在の状態、端末装置１１００の位置、ユーザの端末装置１１００に対するタッチ入力の有無、端末装置１１００の配向、端末装置１１００の加速又は減速の移動及び方向等を検出するとともに、端末装置１１００の動作を制御するための命令又は信号を生成する。インターフェースユニット１１７０は、少なくとも１つの外部装置と端末装置１１００との接続を可能にするインターフェースとして用いられる。出力ユニット１１５０は、視覚、オーディオ及び/又は触覚の方式で出力信号を提供するように構成される。メモリ１１６０は、コントローラー１１８０によって実行される処理及び動作を制御するソフトウェアプログラム等を記憶することができ、若しくは、既に出力された又は出力されるデータを一時的に記憶することができる。メモリ１１６０は、少なくとも一つのタイプの記憶媒体を含むことができる。そして、端末装置１１００は、ネットワーク接続によってメモリ１１６０の記憶機能を実行するネット記憶装置と協働することができる。コントローラー１１８０は、通常、端末装置の全体的な動作を制御する。なお、コントローラー１１８０は、マルチメディアデータを再現、再生するためのマルチメディアモジュールを含めてもよい。コントローラー１１８０は、タッチスクリーンで実行された手書き入力又は画像描画入力を文字又は画像として識別するために、モード識別処理を実行することができる。電源ユニット１１９０は、コントローラー１１８０の制御によって、外部電力又は内部電力を受けるとともに、各素子及びアセンブリを動作させることに必要な適当な電力を提供する。

本開示に係る重複ビデオの判定方法の各実施形態は、例えばコンピュータソフトウェア、ハードウェア又はそれらのいかなる組み合わせを使用するコンピュータ可読媒体によって実施されることができる。ハードウェア実施に関しては、本開示に係る重複ビデオの判定方法の各種の実施形態は、特定用途集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラー、マイクロコントローラー、マイクロプロセッサ、ここで説明した機能を実行するように設計される電子ユニットのうち少なくとも１つを使用することで実施されることができる。ある場合においては、本開示に係る重複ビデオの判定方法の各種の実施形態は、コントローラー１１８０において実施可能である。ソフトウェア実施に関しては、本開示に係る重複ビデオの判定方法の各種の実施形態は、少なくとも一種類の機能又は動作を実行できる個別のソフトウェアモジュールによって実施されることができる。ソフトウェアコードは、いかなる適当なプログラミング言語で書かれたソフトウェアアプリケーション（又は、プログラム）によって実施され、メモリ１１６０に記憶されるとともに、コントローラー１１８０によって実行されることができる。

以上では、本開示の実施例に係る重複ビデオの判定方法、装置、ハードウェア装置、コンピュータ読み取り可能な記憶媒体及び端末装置は、複数の種類のビデオ特徴を用いてビデオ重複検査を行うことで、重複ビデオの判断の効率、正確性、ロバスト性を大幅に向上させることができる。

以上、具体的な実施例を参照しながら本開示の基本的なメカニズムを説明しており、しかし、本開示で言及された利点、優勢、効果などは制限ではなく、単なる例であり、これらの利点、優勢、効果などは本開示の各実施例に必要であると考えてはいけないことに留意すべきである。また、上記に開示の具体的な詳細は制限ではなく、例示および理解のためのものであり、上記詳細は、本開示が上記具体的な詳細によって実現しなければならないことを制限しない。

本開示で言及されたデバイス、装置、設備、システムのブロック図は、例示的な例に過ぎず、且つブロック図に示された方法に従って接続、レイアウト、配置しなければならないことを意図するものではない。当業者が理解されるように、任意の方法でこれらのデバイス、装置、設備、システムを接続、レイアウト、配置してもよい。「備える」、「含む」、「有する」などの用語は、オープン言葉であり、「を含むが、これらに制限されない」を意味し、且つ互いに交換可能に使用することができる。本明細書で使用された言葉「又は」と「及び」とは、言葉「及び／又は」を意味しており、且つ文脈からそうでないことが明確に示されていない限り、互いに交換可能に使用することができる。本明細書で使用された言葉「例えば」とは、フレーズ「例えば、であるが、これらに制限されない」を意味しており、且つ互いに交換可能に使用することができる。

また、ここで使用されたように、「少なくとも１つ」から始まる項目リスト内で使用される「又は」は、離接的リストを表しており、例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」のリストは、Ａ又はＢ又はＣ、又はＡＢ又はＡＣ又はＢＣ、又はＡＢＣ（即ち、Ａ及びＢ及びＣ）を意味する。さらに、「例示的な」という用語は、説明される例が好ましい又は他の例よりも好ましいことを意味しない。

なお、本開示のシステム及び方法において、各部材又は各ステップが分解及び／又は再結合され得る。これらの分解及び／又は再結合は本開示の均等技術と見なされるべきである。

ここで記載の技術への様々な変化、置換、及び変更を、添付の特許請求の範囲によって規定される教示の技術から逸脱せずに行うことができる。さらに、本開示のクレームの範囲は、上述した処理、機器、製造、イベントの構成、手段、方法、及び動作の特定の態様に限定されない。ここで記載の対応する態様とほぼ同じ機能を実行するか、又はほぼ同じ結果を達成する、現在に存在するか、又は後に開発される処理、機器、製造、イベントの構成、手段、方法又は動作を利用することができる。従って、添付のクレームは、その範囲内でのそのような処理、機器、製造、イベントの構成、手段、方法又は動作を含む。

いかなる当業者は本開示を成し得る又は使用することができるように、公開する態様の以上の説明を提供した。これらの態様に対する各種の修正は、当業者にとって明らかであって、そして、ここで定義した一般的な原理は、本開示の範囲を逸脱することなく、その他の態様に適用されることができる。そこで、本開示は、ここに示す態様に限られることを意図しなく、ここで開示した原理と新規的特徴とが一致となる最も広い範囲に準じる。

例示と説明のために、以上のように述べた。また、この説明は、本開示の実施例をここで開示された形式に限ることを意図しない。以上では複数の例示的な態様と実施例を説明したものの、当業者は、そのある変形、修正、変更、添加及び下位組み合わせを認識する。

１００ 重複ビデオの判定装置
１１０ ビデオ特徴取得モジュール
１２０ シーケンス比較モジュール
１３０ 第１のランキングモジュール
１４０ 重複検査モジュール

Claims (12)

1. 重複ビデオの判定装置により実施される重複ビデオの判定方法であって、
   重複検査対象ビデオの複数のビデオ特徴を取得することと、
   前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれシーケンス比較を行い、シーケンス比較結果を取得することと、
   前記シーケンス比較結果に基づいて、前記複数の既存ビデオに対して第１のランキングを行い、前記第１のランキングの結果に基づいて、順位の高いｎ個（ｎは正の整数）の前記既存ビデオを取り出して第１の候補ビデオとすることと、及び
   前記第１の候補ビデオの前記シーケンス比較結果に基づいて、前記重複検査対象ビデオの重複状況を確定することと、
   を備え、
   前記した重複検査対象ビデオの複数の種類のビデオ特徴を取得することは、
   前記重複検査対象ビデオに対してフレームを抽出し、前記重複検査対象ビデオの複数のフレーム画像を取得することと、前記フレーム画像の複数の種類の画像特徴を第１の画像特徴として抽出することと、前記重複検査対象ビデオの複数のフレーム画像の同種の前記第１の画像特徴に基づいて、前記重複検査対象ビデオのビデオ特徴を第１のビデオ特徴として確定することで、複数の第１のビデオ特徴を取得することと、
   を備え、
   前記した前記フレーム画像の複数の種類の画像特徴を抽出することは、
   前記フレーム画像毎に、多タイプのプール化を段階的に行って、前記フレーム画像の画像特徴をプール化特徴として取得し、ここで、多タイプのプール化には、最大プール化、最小プール化、および平均プール化を含むこと
   を備える
   重複ビデオの判定方法。
2. 前記した前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれシーケンス比較を行い、シーケンス比較結果を取得することは、
   １つの前記既存ビデオの複数の種類のビデオ特徴を第２のビデオ特徴として取得し、前記第２のビデオ特徴が種ごとに複数の第２の画像特徴が含まれるようにすることと、
   同種の各前記第２の画像特徴と各前記第１の画像特徴との間の単体類似度をそれぞれに確定して、複数の種類の前記単体類似度を取得することと、
   前記複数の種類の単体類似度の平均値又は最小値を確定し、前記複数の種類の単体類似度の平均値又は最小値に基づいて前記既存ビデオの類似度行列を確定することと、
   前記類似度行列に基づいて、既存ビデオと重複検査対象ビデオとの類似度を表すためのシーケンス比較スコアを確定すること、
   を備える、請求項１に記載の重複ビデオの判定方法。
3. 前記した前記類似度行列に基づいてシーケンス比較スコアを確定することは、前記類似度行列内の直線に基づいて、シーケンス比較スコアを確定することを含む、
   請求項２に記載の重複ビデオの判定方法。
4. 前記した前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれシーケンス比較を行い、シーケンス比較結果を取得することは、
   前記類似度行列に基づいて、前記既存ビデオと前記重複検査対象ビデオとの重複ビデオセグメントを確定することを、更に備える、
   請求項２に記載の重複ビデオの判定方法。
5. 前記した前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれにシーケンス比較を行い、シーケンス比較結果を取得することは、
   少なくとも１種の前記第１のビデオ特徴のうちの個別の第１の画像特徴のそれぞれに基づいて、複数の既存ビデオを単一の第２のランキングを行い、前記第２のランキングの結果に基づいて、順位の高いｋ個（但し、ｋは正の整数）の前記既存ビデオを第２の候補ビデオとして取り出し、前記第２の候補ビデオをそれぞれに対してシーケンス比較を行い、シーケンス比較結果を取得することを備える、
   請求項１に記載の重複ビデオの判定方法。
6. 前記した少なくとも１種の前記第１のビデオ特徴のうちの個別の第１の画像特徴のそれぞれに基づいて、複数の既存ビデオを第２のランキングを行うことは、
   少なくとも１種の前記第１のビデオ特徴のうちの個別の第１の画像特徴のそれぞれをインデックス要求として、複数の既存ビデオに対して単語頻度-逆方向ファイル頻度ランキングを行うこと
   を備える請求項５に記載の重複ビデオの判定方法。
7. 前記した前記重複検査対象ビデオの複数のフレーム画像の種毎の第１の画像特徴に基づいて、前記重複検査対象ビデオの複数の種類の前記ビデオ特徴を第１のビデオ特徴として確定することは、
   前記第１の画像特徴に対して２値化処理を行うことと、
   前記複数のフレーム画像の２値化された前記第１の画像特徴に基づいて前記第１のビデオ特徴を確定すること、
   を備える請求項５に記載の重複ビデオの判定方法。
8. 重複ビデオの判定装置であって、
   重複検査対象ビデオの複数のタイプのビデオ特徴を取得するためのビデオ特徴取得モジュールと、
   前記重複検査対象ビデオの複数の種類のビデオ特徴に基づいて、複数の既存ビデオに対してそれぞれにシーケンス比較を行い、シーケンス比較結果を取得するためのシーケンス比較モジュールと、
   前記シーケンス比較結果に基づいて、前記複数の既存ビデオに対して第一ランキングを行い、前記第一ランキングの結果に基づいて、順位の高いｎ個（但し、ｎは正の整数である）の前記既存ビデオを第１の候補ビデオとして取り出すための第一ランキングモジュールと、
   前記第１の候補ビデオの前記シーケンス比較結果に基づいて、前記重複検査対象ビデオの重複状況を確定するための重複検査モジュールと、
   を備え、
   前記ビデオ特徴取得モジュールは、前記重複検査対象ビデオに対してフレームを抽出し、前記重複検査対象ビデオの複数のフレーム画像を取得し、前記フレーム画像の複数の種類の画像特徴を第１の画像特徴として抽出し、前記重複検査対象ビデオの複数のフレーム画像の同種の前記第１の画像特徴に基づいて、前記重複検査対象ビデオのビデオ特徴を第１のビデオ特徴として確定することで、複数の第１のビデオ特徴を取得し、
   前記ビデオ特徴取得モジュールは、
   前記フレーム画像毎に、多タイプのプール化を段階的に行って、前記フレーム画像の画像特徴をプール化特徴として取得し、ここで、多タイプのプール化には、最大プール化、最小プール化、および平均プール化を含む
   重複ビデオの判定装置。
9. 請求項２から７のいずれか１項に記載のステップを実行するモジュールをさらに備える、請求項８に記載の重複ビデオの判定装置。
10. 重複ビデオの判定ハードウェア装置であって、
    非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
    請求項１から７のいずれか１項に記載の重複ビデオの判定方法を実行するように前記コンピュータ読み取り可能な命令を実行するプロセッサと、
    を備える重複ビデオの判定ハードウェア装置。
11. 非一時的なコンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能な記憶媒体であって、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行される場合、前記コンピュータに、請求項１～７のいずれか１項に記載の重複ビデオの判定方法を実行させるコンピュータ読み取り可能な記憶媒体。
12. 請求項８または９に記載の重複ビデオの判定装置を備える端末設備。

Images