JP6991255B2 - メディア検索方法及び装置 - Google Patents

Description

関連出願の取り込み
本出願は、出願号が２０１８１０２７２７９５.Ｘで、出願日が２０１８年３月２９日の中国特許出願の優先権を請求している。そして、当該文献の全内容は、参照によって本文に組み込まれている。

本開示は、メディア処理技術分野に関し、特にメディア検索方法及び装置に関する。

ビデオ特徴、オーディオ特徴等のメディア特徴（又は、メディア指紋という）及びその特徴に基づくメディア検索は、現在の「マルチメディア情報社会」においては、広く適用されている。メディア検索は最初に、歌を聞いて曲を識別することに応用され、つまり、一節のオーディオを入力し、該節のオーディオの指紋特徴を抽出、検索することで、それに対応した歌を識別できるようにする。なお、メディア検索は、内容監視、例えばメディアの重複取り消し、検索に基づく音声広告監視、メディア著作権等にも適用されうる。

現有のメディア検索方法は、正確性が悪く、速度が遅い問題があり、これは、演算リソース及び記憶リソースのいずれに対しても、巨大な消耗が生じている。

本開示は、新たなメディア検索方法及び装置を提供することを目的とする。

本開示の目的は、以下の技術を採用して実現されるものである。本開示により提出されたメディア検索方法は、検索対象メディアのメディア特徴を、複数の第１のメディア特徴単体を含む第１のメディア特徴として取得するステップと、個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して第１のランキングを行い、前記第１のランキングの結果に基づいて、最初からｋ個（ｋは正の整数）の前記既知メディアを第１の候補メディア集合として抽出するステップと、複数の順次に並べた前記第１のメディア特徴単体に基づいて、前記第１の候補メディア集合に対して第２のランキングを行い、前記第２のランキングの結果に基づいて、最初からｎ個（ｎは正の整数）の前記第１の候補メディアを検索結果として抽出するステップとを含む。

本開示の目的は、さらに以下の技術措置を採用してさらに実現されるものである。

前述したメディア検索方法では、予め前記既知メディアのメディア特徴を、複数の第２のメディア特徴単体を含む第２のメディア特徴として取得することと、前記第２のメディア特徴にインデックスを付すことで、予め前記既知メディアの特徴インデックスを得ることとをさらに含む。

前述したメディア検索方法では、上述した個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して第１のランキングを行うことは、個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して単語頻度-逆ファイル頻度ＴＦ-ＩＤＦランキングを行うことを含む。

前述したメディア検索方法では、上述した個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して単語頻度-逆ファイル頻度ＴＦ-ＩＤＦランキングを行うことは、前記既知メディアの特徴インデックスを前記第１のメディア特徴単体とマッチングして、前記既知メディアに対して前記ＴＦ-ＩＤＦランキングを行うことを含む。

前述したメディア検索方法では、上述した予め前記既知メディアの特徴インデックスを得ることは、予め前記既知メディアの順引き特徴インデックス及び/又は逆引き特徴インデックスを得ることを含む。

前述したメディア検索方法では、上述した前記既知メディアの特徴インデックスを前記第１のメディア特徴単体とマッチングすることは、前記メディアの特徴インデックスを前記第１のメディア特徴単体と絶対マッチングすることを含む。

前述したメディア検索方法では、上述した複数の順次に並べた前記第１のメディア特徴単体に基づいて前記第１の候補メディア集合におけるメディアに対して第２のランキングを行うことは、前記既知メディアの特徴インデックスと前記第１のメディア特徴とに基づいて前記第１の候補メディア集合におけるメディアの類似度行列を得ること、並びに前記類似度行列内の直線に基づいて前記第１の候補メディア集合におけるメディアに対してランキングを行うことを含む。
前述したメディア検索方法では、上述した検索対象メディアのメディア特徴を第１のメディア特徴として取得することは、前記検索対象メディアの多種のタイプの第１のメディア特徴を取得することを含み、前述した予め前記既知メディアのメディア特徴を第２のメディア特徴として取得することは、前記既知メディアの多種のタイプの第２のメディア特徴を取得することを含み、上述した前記既知メディアの特徴インデックスと前記第１のメディア特徴とに基づいて前記第１の候補メディア集合におけるメディアの類似度行列を得ることは、前記多種のタイプの第２のメディア特徴及び前記多種のタイプの第１のメディア特徴に基づいて前記類似度行列を特定することを含む。

前述したメディア検索方法では、タイプ毎の前記第１のメディア特徴が複数の第１のメディア特徴単体を含み、タイプ毎の前記第２のメディア特徴が複数の第２のメディア特徴単体を含み、上述した前記多種のタイプの第２のメディア特徴及び前記多種のタイプの第１のメディア特徴に基づいて前記類似度行列を特定することは、同じタイプの前記第２のメディア特徴単体と前記第１のメディア特徴単体との間の単体類似度をそれぞれ特定して、多種の前記単体類似度を得ることを含み、前記多種の単体類似度の平均値又は最小値を特定し、前記多種の単体類似度の平均値又は最小値によって前記類似度行列を特定する。

前述したメディア検索方法では、予め検索対象メディアと既知メディアとを予め設定された時間長によってスライスし、複数の検索対象サブメディアと複数の既知サブメディアを取得し、前記複数の検索対象サブメディアと前記複数の既知サブメディアのそれぞれからメディア特徴を抽出して、長さが同様である複数の第１のサブメディア特徴と複数の第２のサブメディア特徴とを得ることをさらに含む。

前記第１のランキングを行う前に、取得した検索対象メディアの前記第１のメディア特徴と既知メディアの前記第２のメディア特徴を予め設定された長さによってスライスして、長さが同様である複数の第１のサブメディア特徴と複数の第２のサブメディア特徴とを得ることをさらに含む。

前述したメディア検索方法では、前記複数の第１のメディア特徴単体が前記第１のメディア特徴において時系列順に並べ、前記複数の第２のメディア特徴単体が前記第２のメディア特徴において時系列順次に並べた。

前述したメディア検索方法では、前述したメディア検索方法では、前記類似度行列内の直線によって前記検索対象メディアと前記検索結果内のメディアとの重複セグメントを特定することをさらに含む。

本開示の目的は、さらに以下の技術を採用して実現される。本開示により提出されたメディア検索装置は、検索対象メディアのメディア特徴を、複数の第１のメディア特徴単体を含む第１のメディア特徴として取得するためのメディア特徴取得モジュールと、個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して第１のランキングを行い、前記第１のランキングの結果に基づいて、最初からｋ個（ｋは正の整数）の前記既知メディアを第１の候補メディア集合として抽出するための第１のランキングモジュールと、複数の順次に並べた前記第１のメディア特徴単体に基づいて前記第１の候補メディア集合に対して第２のランキングを行い、前記第２のランキングの結果に基づいて、最初からｎ個（ｎは正の整数）の前記第１の候補メディアを検索結果として抽出するための第２のランキングモジュールとを備える。

本開示の目的も、以下の技術措置を採用してさらに実現されることができる。

前記メディア検索装置は、前述したいずれかのメディア検索方法ステップを実行するモジュールをさらに含む。

本開示の目的は、さらに以下の技術を採用して実現されることができる。本開示により提出されたメディア検索ハードウェア装置は、非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、前記コンピュータ読み取り可能な命令を実行することで、プロセッサの実行時に前述したいずれかのメディア検索方法を実現するためのプロセッサとを備える。

本開示の目的は、さらに以下の技術を採用して実現される。本開示により提出されたコンピュータ読み取り可能な記憶媒体は、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行される場合、前記コンピュータに前述したいずれかのメディア検索方法を実行させる。

本開示の目的は、さらに以下の技術を採用して実現される。本開示により提出された端末装置は、前述したいずれかのメディア検索装置を備える。

上述の説明は、単に本開示の技術の概述に過ぎず、本開示に係る技術的手段をさらに明らかにするために、明細書の内容に従って実施することができ、そして、本開示の上述した及びその他の目的、特徴、利点をさらに明らかに且つ理解しやすくするために、以下では、特に好ましい実施例を挙げ、図面を参照して以下のように説明する。

本開示の一実施例に係るメディア検索方法の模式フロー図である。 本開示の一実施例に係るメディア検索方法のブロックフロー図である。 本開示の一実施例に係る第１のランキングのブロックフロー図である。 本開示の一実施例に係る第２のランキングのブロックフロー図である。 本開示の一実施例に係る動的計画法によってシーケンス類似度スコアを特定するブロックフロー図である。 本開示の一実施例に係る等速メディア法によってシーケンス類似度スコアを特定するブロックフロー図である。 本開示の一実施例に係る多種のタイプの第１のメディア特徴、第２のメディア特徴に基づいて類似度行列を特定するブロックフロー図である。 本開示の一実施例に係るメディア検索装置の構成ブロック図である。 本開示の一実施例に係る第１のランキングモジュールの構成ブロック図である。 本開示の一実施例に係る第２のランキングモジュールの構成ブロック図である。 本開示の一実施例に係る多種のタイプの第１のメディア特徴、第２のメディア特徴に基づいて類似度行列を特定するメディア検索装置の構成ブロック図である。 本開示の一実施例に係るメディア検索ハードウェア装置のハードウェアブロック図である。 本開示の一実施例に係るコンピュータ読み取り可能な記憶媒体の模式図である。 本開示の一実施例に係る端末装置の構成ブロック図である。

本開示が所定の発明目的を達成するために採用した技術的手段及びその効果をさらに述べるために、以下では、図面及び好ましい実施例を参照して、本開示により提出されたメディア検索方法及び装置の具体的な実施形態、構成、特徴及びその役割を、次のように詳細に説明する。

図１は、本開示に係るメディア検索方法の一実施例の模式フローチャートであり、図２は、本開示に係るメディア検索方法の一実施例の模式ブロックフロー図である。図１と図２を参照して、本開示に示すメディア検索方法は、主として以下のステップを含む：
ステップＳ１０：検索対象メディア（Ｑｕｅｒｙ ｍｅｄｉａ）のメディア特徴を取得する。

具体的には、取得された当該メディア特徴は、１つ又は複数のメディア特徴単体を含む特徴シーケンスであり、各メディア特徴単体は、メディア特徴において先後の順に並べている。説明と理解の便宜上、検索対象メディアのメディア特徴を第１のメディア特徴と呼び、第１のメディア特徴に含まれたメディア特徴単体を第１のメディア特徴単体と呼んでもよい。その後、処理がステップＳ２０に進む。

なお、本開示の各実施例に言及されたメディアは、オーディオ、ビデオ、連写された複数枚の写真等の各タイプのメディアであってよい。ここで、メディア特徴は、オーディオ特徴、ビデオ特徴又は画像特徴等であってよく、実際には、本開示に係る方法により、ビデオ対象のオーディオ特徴を取得することでビデオ対象の検索を行うことができる。

ステップＳ２０：当該第１のメディア特徴に基づいて、複数の既知メディアに対して第１のランキングを行い、当該第１のランキングの結果に基づいて、最初からｋ個の既知メディアを第１の候補メディア集合として抽出する。ここで、ｋは正の整数であり、その具体的な値は設定されうる。具体的には、当該第１のランキングは、個別の第１のメディア特徴単体のそれぞれと既知メディアとのマッチング状況に基づいて行われるランキングである。さらに、当該第１のランキングは、各第１のメディア特徴単体によって既知メディアに対して行われた単語頻度-逆ファイル頻度ランキング（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ-ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ ｒａｎｋｉｎｇ、単にＴＦ-ＩＤＦランキングという）であってよい。その後、処理がステップＳ３０に進む。

ステップＳ３０：当該第１のメディア特徴に基づいて、当該第１の候補メディア集合に対して第２のランキングを行い、当該第２のランキングの結果に基づいて、第１の候補メディア集合における最初からｎ個の第１の候補メディアを検索結果として抽出する。ここで、ｎは正の整数であるが、その具体的な値は設定されうる。具体的には、当該第２のランキングは、複数の順次に並べた第１のメディア特徴単体に基づいて、当該第１の候補メディア集合内のメディアに対して行われたランキングである。例えば、当該複数の順次に並べた第１のメディア特徴単体は、第１のメディア特徴における連続した一部を含み、当該第１のメディア特徴全体、及び/又は当該複数の順次に並べた第１のメディア特徴単体は、第１のメディア特徴における同様の間隔の番号を有する複数の第１のメディア特徴単体、例えば番号が１、３、５、７、...の複数の第１のメディア特徴単体を含む。

本開示の提出したメディア検索方法は、第１のランキングと第２のランキングとを行って検索結果を得ることで、メディア検索の正確度と効率を大幅に向上することができる。

以下、上述の各ステップについて、それぞれ詳細に説明する。

一、ステップＳ１０について
ところで、メディア特徴の抽出方法及びメディア特徴のタイプは、限定されるものではない。本開示の一例においては、検索対象メディアの２値数メディア特徴を抽出し、又は予め得ておいたメディア特徴（具体的なタイプに限らない）を２値化することで、２値数メディア特徴を得ることができる。ここで、２値数メディア特徴におけるメディア特徴単体のそれぞれは、１つの０/１からなるビット列であり、これにより、当該２値数メディア特徴は、複数のビット列によって順次に並べたビット列シーケンスとなる。そして、別の例においては、検索対象メディアの浮動数メディア特徴を抽出することができ、浮動数メディア特徴内のメディア特徴単体のそれぞれは１つの浮動数であり、これにより、当該浮動数メディア特徴は、複数の浮動数によって順次に並べたシーケンスとなる。

ある実施例においては、ここでいう「順次に並べた」とは、メディア特徴において複数のメディア特徴単体が時系列順に並べている。例えば、予めメディア特徴を抽出する過程中において、まずメディア対象に対してフレーム抽出を行い、さらに１フレーム毎に１つのメディア特徴単体を生成して、各メディア特徴単体とメディア対象の各フレームとを対応させ、そして、各メディア特徴単体を各フレームのメディア対象における時系列順に並べてメディア特徴を得る。そのため、前述のメディア特徴単体をフレーム特徴と呼んでもよい。

二、ステップＳ２０について
前述の既知メディアは、１つのメディアデータベース内のメディアであってもよい。当該メディアデータベースには、大量な既知メディアのメディア特徴が記憶されているとともに、記憶された既知メディアのメディア特徴には、第１のメディア特徴と同様の抽出方法によって得られた、第１のメディア特徴と同様のタイプのメディア特徴が含まれている。

本開示のある実施例においては、本開示に係るメディア検索方法は、以下のことを含む：予め複数の既知メディアのメディア特徴を取得する（説明と理解の便宜上、既知メディアのメディア特徴を第２のメディア特徴と呼び、第２のメディア特徴に含まれたメディア特徴単体を第２のメディア特徴単体と呼んでもよい）；当該第２のメディア特徴に対してインデックスを付して、既知メディアの特徴インデックスを得ておく；当該特徴インデックスと第１のメディア特徴単体とをマッチングして、複数の既知メディアに対してＴＦ-ＩＤＦランキングを行う。

具体的には、前述した既知メディアの特徴インデックスを得ておくことは、既知メディアのメディア特徴の順引き特徴インデックス（ｆｏｒｗａｒｄ ｉｎｄｅｘ）と逆引き特徴インデックス（ｉｎｖｅｒｔｅｄ ｉｎｄｅｘ）とを得ておくことで、メディア特徴に対する照合と検索を容易にすることをさらに含む。当該順引き特徴インデックスと逆引き特徴インデックスは、予めメディアデータベースに記憶することができる。ここで、順引き特徴インデックスは、各既知メディアのメディア特徴の記録のために用いられ、つまり、各既知メディアのメディア特徴が具体的にどのメディア特徴単体を含むか、及びこれらメディア特徴単体の順序を記録している。逆引き特徴インデックスは、各メディア特徴単体がどの既知メディアのメディア特徴に現れるかを記録するために用いられる。具体的には、キー値ペア（ｋｅｙ-ｖａｌｕｅ ｐａｉｒ）の形式によって当該順引き特徴インデックスと逆引き特徴インデックスを記憶する：順引き特徴インデックスにおいては、１つのキー（ｋｅｙ）で１つのメディアの番号（又は、メディアＩＤという）を示すが、当該キーと対応した値（ｖａｌｕｅ）は、当該メディアがどのメディア特徴単体を含むか、及びこれらメディア特徴単体の順序を記録する。順引き特徴インデックスにおけるキー、値をそれぞれ順引きキー、順引き値と呼んでもよい。逆引き特徴インデックスにおいては、１つのキー（ｋｅｙ）で１つのメディア特徴単体を示すが、当該キーと対応した値（ｖａｌｕｅ）は、当該メディア特徴単体を含むメディアの番号を記録する。逆引き特徴インデックスにおけるキー、値をそれぞれ逆引きキー、逆引き値と呼んでもよい。

ここでは、ＴＦ-ＩＤＦランキングは、情報に対して単語頻度及び逆ファイル頻度加重を行うことで、情報の重要さを判断してランキングを行う技術である。ここで、単語頻度とは、１つの単語（言い換えれば、１つの情報）がある文章（言い換えれば、あるファイル）に現れる頻度をいう。単語頻度が高いほど、当該単語が当該文章に対して重要度が高いことを反映している。ここで、ファイル頻度とは、１つの単語が文章ベースにおけるどれぐらいの文章に現れるかをいう。そして、逆ファイル頻度は、ファイル頻度の逆数（実際に算出する時に、逆ファイル頻度に対数を取り、又は逆ファイル頻度をファイル頻度の逆数の対数と定義してもよい）であり、逆ファイル頻度が高いほど、当該単語の区別度がよりよい。そのため、ＴＦ-ＩＤＦランキングは、単語頻度と逆ファイル頻度との積の大きさによってランキングを行う。実際には、１つのメディアのメディア特徴を１つの文章とし、メディア特徴単体のそれぞれを１つの単語とすることで、ＴＦ-ＩＤＦ方式によって既知メディアに対してランキングを行うことができる。

なお、メディアデータベース内の全ての既知メディアに対して第１のランキングを行えば、検索効率に影響可能であるため、第１のランキングの前に、まずメディアデータベース内の既知メディアに対して絶対マッチング（ｅｘａｃｔ ｍａｔｃｈ）を行うことができる。ここで、絶対マッチングは、含んだ第１のメディア特徴単体の数量が予め設定された数量又は予め設定された割合以上である既知メディアを第２の候補メディア集合として選出するために用いられる。そして、さらに当該第２の候補メディア集合に対して第１のランキングを行って第１の候補メディア集合を選出する。

図３は本開示の一実施例に係る第１のランキングの模式的ブロックフロー図である。図３を参照して、本開示の一実施例においては、第１のランキングは、具体的には以下のステップを含む：
ステップＳ２１：逆引き特徴インデックスによって、各第１のメディア特徴単体がどの既知メディアの第２のメディア特徴に現れるかを統計することで、メディアデータベースから予め設定された数以上の第１のメディア特徴単体を含む既知メディアを第２の候補メディア集合としてマッチングして選出する。その後、処理がステップＳ２２に進む。

なお、「予め設定された数以上の第１のメディア特徴単体」における「数量」は、第１のメディア特徴単体の種類をいう。具体的には、当該予め設定された数量は、１つであってもよく、これにより、マッチングして選出した第２の候補メディア集合は、第２のメディア特徴に少なくともいずれか１つの第１のメディア特徴単体が現れた既知メディアである。当該予め設定された数量は、複数であってもよく、例えば、ｐ個（ｐは正の整数）であってもよい。これにより、マッチングして選出した第２の候補メディア集合は、第２のメディア特徴に少なくともｐ種類の第１のメディア特徴単体が現れた既知メディアである。

ステップＳ２２：順引き特徴インデックスに基づいて、１つの第１のメディア特徴単体の、１つの第２の候補メディアの第２のメディア特徴における単語頻度を特定する。当該単語頻度は、１つの第１のメディア特徴単体の、１つの第２のメディア特徴が含む全てのメディア特徴単体において占める割合である。その後、処理がステップＳ２３に進む。

ステップＳ２３：逆引き特徴インデックスに基づいて、１つの第１のメディア特徴単体のファイル頻度を特定する。当該ファイル頻度は、複数の既知メディア（例えば、メディアデータベース内の全ての既知メディアであってもよい）において、第２のメディア特徴に当該第１のメディア特徴単体を含む既知メディアの数量が既知メディア総数に占める割合である。なお、各メディア特徴単体のファイル頻度を予め算出して記憶し、検索時に直接に当該予め算出されたファイル頻度データを読み取ることができる。その後、処理がステップＳ２４に進む。

ステップＳ２４：各第１のメディア特徴単体の、１つの第２の候補メディアの第２のメディア特徴における単語頻度及び各第１のメディア特徴単体のファイル頻度に基づいて、当該第２の候補メディアの単語頻度-逆ファイル頻度スコアを特定する。その後、処理がステップＳ２５に進む。

ステップＳ２５：得られた各第２の候補メディアの単語頻度-逆ファイル頻度スコアによって第２の候補メディア集合に対してランキングを行い、第１のランキングの結果を取得し、当該第１のランキングの結果から最初からｋ個の第２の候補メディアを第１の候補メディア集合として抽出する。同時に、各第１の候補メディアの第２のメディア特徴（順引き特徴インデックス）をリターンし、後のステップＳ３０において当該第２のメディア特徴に基づいて第１の候補メディア集合に対してさらなる処理を行うことに備えてもよい。

本実施例においては、インデックスサーバによって検索対象メディアの第１のメディア特徴単体の集合をインデックス要求とし、前述した順引き特徴インデックスと逆引き特徴インデックスとによって、絶対マッチングとＴＦ-ＩＤＦランキングを行うことで、第１の候補メディア集合をリコールするとともに、得られた各第１の候補メディアの順引き特徴インデックスをリターンすることができる。具体的には、オープンソースの弾性サーチ（Ｅｌａｓｔｉｃｓｅａｒｃｈ）検索エンジンによって上述の各ステップを行って高速検索の効果に達する。なお、インデックスサーバのインデックスリーコルの便利のために、予め第１のメディア特徴と第２のメディア特徴とを２値化処理することができる。

特に、絶対マッチングと第１のランキングは、各第１のメディア特徴単体がどの既知メディアに現れるか、及び第１のメディア特徴単体自身の検索状況に主眼があり、各第１のメディア特徴単体の第１のメディア特徴における順序による検索への影響を考えていない。言い換えれば、メディア特徴の全体、又は連続した複数のメディア特徴単体の検索状況を考えていない。

本開示の提出したメディア検索方法は、絶対マッチングと第１のランキングとを行うことで、メディア検索の正確度と効率を大幅に向上させることができる。

三、ステップＳ３０について
本開示のある実施例においては、当該第２のランキングは、複数の順次に並べた第１のメディア特徴単体からなる先後があるシーケンスの、第１の候補メディアのメディア特徴に現れる状況に基づいて、当該第１の候補メディア集合内のメディアに対して行われるランキングである。具体的には、当該第２のランキングは、既知メディアの特徴インデックスと第１のメディア特徴とに基づいて当該第１の候補メディア集合内のメディアの類似度行列を得ることと、当該類似度行列に基づいて当該第１の候補メディア集合内のメディアに対してランキングを行うこととを含む。

図４は、本開示の一実施例に係る第２のランキングの模式的ブロックフロー図である。図４を参照して、本開示の一実施例においては、第２のランキングは、具体的には以下のステップを含む：
ステップＳ３１：第１の候補メディア集合内の１つの第１の候補メディア（実際には、第１の候補メディアのそれぞれは既知メディアである）の第２のメディア特徴を取得する。具体的には、既知メディアの特徴インデックス（例えば、順引き特徴インデックス）に基づいて当該第２のメディア特徴を取得することができる。検索対象メディアの第１のメディア特徴が、Ｍ_１個の第１のメディア特徴単体を含み、当該第１の候補メディアの第２のメディア特徴が、Ｍ_２個の第２のメディア特徴単体を含むと想定されてもよく、ここで、Ｍ_１とＭ_２は正の整数である。なお、当該第１のメディア特徴と当該第２のメディア特徴とは、同じ種類のメディア特徴抽出方法によって得られた同じ種類のタイプのメディア特徴である。その後、処理がステップＳ３２に進む。

ステップＳ３２：当該第１の候補メディアの第２のメディア特徴が含む各第２のメディア特徴単体と各第１のメディア特徴単体との間の単体類似度を特定し、Ｍ_１×Ｍ_２個の単体類似度を得る。単体類似度のそれぞれは、１つの第１のメディア特徴単体と１つの第２のメディア特徴単体との間の類似程度を示している。具体的には、単体類似度が大きいほど、より類似することを示している。その後、処理がステップＳ３３に進む。

本開示の実施例においては、メディア特徴のタイプによって、二つのメディア特徴単体の類似程度を判断可能な距離又はメトリックを当該単体類似度として選択することができる。

具体的には、第１のメディア特徴単体と、第２のメディア特徴単体とは同様に浮動数特徴である場合、第１のメディア特徴単体と第２のメディア特徴単体との間の余弦距離（余弦類似度）によって当該単体類似度を特定することができる。一般的に、当該余弦距離を直接に単体類似度として特定することができる。

そして、第１のメディア特徴単体と、第２のメディア特徴単体とは、同様に２値化特徴である場合、第１のメディア特徴単体と第２のメディア特徴単体との間のハミング距離（Ｈａｍｍｉｎｇ ｄｉｓｔａｎｃｅ）によって当該単体類似度を特定することができる。具体的には、まず第１のメディア特徴単体と第２のメディア特徴単体との間のハミング距離を算出し、そして、メディア特徴単体の長さ（ビット数）と当該ハミング距離との差を算出し、当該差と当該メディア特徴単体の長さとの比の値を単体類似度として特定して、２つの２値化特徴における同じビットの占める割合を表すために用いる。ここで、ハミング距離は、情報論分野で常用されるメトリックであり、２つの等長文字列の間の的ハミング距離とは、２つの文字列の対応した位置の異なる文字の個数である。実際にハミング距離を算出する場合、２つの文字列に対して排他的論理和演算を行い、結果が１となる個数を統計し、そして、この個数がハミング距離となる。なお、同じ方法によって抽出して得られたメディア特徴単体は、同様の長さを持っている。

特に、余弦距離又はハミング距離によって当該単体類似度を表すことに限らず、２つのメディア特徴単体の類似程度を判断可能ないかなる距離或メトリックを利用することができる。

なお、各メディア特徴単体とメディア対象の各フレームとが対応していると、単体類似度をフレーム間類似度を呼んでもよい。

ステップＳ３３：各単体類似度に基づいて当該第１の候補メディアと検索対象メディアとの間の類似度行列（ｓｉｍｉｌａｒｉｔｙ ｍａｔｒｉｘ）を特定する。

具体的には、当該類似度行列に１つの第１の候補メディアの各第２のメディア特徴単体と各第１のメディア特徴単体との間の単体類似度が記録されているように、当該類似度行列における点のそれぞれを１つの単体類似度と対応させる。そして、当該類似度行列の各点は、横方向では、検索対象メディアの各第１のメディア特徴単体の、第１のメディア特徴における先後の順に並べているとともに、縦方向では第１の候補メディアの各第２のメディア特徴単体の、第２のメディア特徴における先後の順に並べている。これにより、第ｉ行第ｊ列に位置する点は、検索対象メディアの第ｉ個の第１のメディア特徴単体と第１の候補メディアの第ｊ個の第２のメディア特徴単体との間の単体類似度を表し、さらに、当該類似度行列は、Ｍ_１×Ｍ_２マトリックスとなる。その後、処理がステップＳ３４に進む。

なお、実際の作業中、必ずしもステップＳ３２の各単体類似度を算出してから、ステップＳ３３の類似度行列の特定を行うことではなく、直接に類似度行列を特定し、かつ当該類似度行列の各点を特定する過程中において対応の単体類似度を算出することができる。

ステップＳ３４：第１の候補メディアの類似度行列のそれぞれによって、当該第１の候補メディアのシーケンス類似度スコアを特定する。当該シーケンス類似度スコアは、当該第１の候補メディアと検索対象メディアとの間の類似程度を表すために用いられる。当該シーケンス類似度スコアは、０～１の間の点数であってもよく、その数字が大きいほど、２つのメディアがより類似していることを表す。その後、処理がステップＳ３５に進む。

具体的には、類似度行列内の直線によって当該シーケンス類似度スコアを特定する。

特に、メディア特徴が一般的に有限な複数のメディア特徴単体を含むことで、類似度行列は有限なマトリックスである。そのため、実際には、いわゆる「直線」とは、類似度行列における複数の点からなる有限な長さを有する線分である。当該直線は傾きを有し、当該傾きは直線が含む複数の点を結ぶ線の傾きである。なお、当該直線の始点と終点は、類似度行列におけるいずれかの点であってもよく、必ずしも縁部に位置する点であることに限らない。

本開示でいう直線は、類似度行列における対角線と、当該対角線に平行な各線分である類似度行列において左上から右下までの傾きが１の直線を含み、さらに傾きが１でない直線を含む。例えば、メディア検索のロバスト性を高めるために、傾きが１に近似した直線であってもよく、変速を経たメディア対象の検索を対処するために、傾きが２、３、...又は１/２、１/３、...等の直線であってもよく、ひいては、逆再生処理を経たメディア対象の検索を対処するために、傾きが負の直線（類似度行列中で左下から右上までの直線）であってもよい。ここで、対角線は、（１,１）、（２,２）、（３,３）...に位置する点からなる線分（実際には、左上の点を始点とする傾きが１である直線）である。

実際には、類似度行列内の直線のそれぞれは、いずれも順次に並べた複数の単体類似度からなる。そのため、直線のそれぞれが複数の順次に並べたメディア特徴単体ペアの状況を同様に示すことで、検索対象メディア内の１つのメディアフラグメントと既知メディアにおける１つのメディアフラグメントとの類似程度を表すことができる。ここで、メディア特徴単体ペアのそれぞれは、１つの第１のメディア特徴単体と１つの第２のメディア特徴単体を含む（つまり、直線のそれぞれは、複数の順次に並べた第１のメディア特徴単体と複数の順次に並べた第２のメディア特徴単体との間の類似程度を表す）。そして、直線の傾き、始点、及び終点は、２つのメディアフラグメントの長さ、位置を表す。例えば、(１,１)、(２,３)、(３,５)、(４,７)からなる直線が、序数が１である第１のメディア特徴単体と序数が１である第２のメディア特徴単体との間の類似状況、序数が２である第１のメディア特徴単体と序数が３である第２のメディア特徴単体との間の類似状況、...を表していることで、当該直線は、序数が１、２、３、４である第１のメディア特徴単体の対応した１つの検索対象メディアフラグメントと序数が１、３、５、７である第２のメディア特徴単体の対応した１つの既知メディアフラグメントとの間の類似状況を反映することができる。

そのため、類似度行列内の直線によって１つの第１の候補メディアと検索対象メディアとの間の類似状況を特定することができる：１つの直線が含む各単体類似度の平均状況（又は総体状況）を当該直線の直線類似度として定義してもよい。当該直線類似度は、対応した複数の第１のメディア特徴単体と複数の第２のメディア特徴単体との間の類似状況を表すことができる；類似度行列においては、１つの直線類似度が最も高い直線を特定し、例えば、マッチング直線と呼ぶ；マッチング直線の直線類似度を第１の候補メディアのシーケンス類似度スコアとして特定する。

特にマッチング直線を特定する過程中、予め設定された複数の直線から１つの直線類似度が最も高い直線を特定してもよく、例えば、当該予め設定された複数の直線は、全ての傾きが予め設定された傾き設定値（例えば、傾きは１）である直線、又は、まず類似度行列から単体類似度の大きさのランクが前にある複数の点を選択してもよい。そして、これら点によって、１つの直線に適合して、直線類似度が相対に最も高くなる１つの直線を生成する。

ステップＳ３５：各第１の候補メディアの当該シーケンス類似度スコアによって、第１の候補メディア集合に対してランキングを行い、第２のランキングの結果を取得し、当該第２のランキングの結果から最初からｎ個の第１の候補メディアを検索結果として抽出する。

本開示に係るメディア検索方法は、第２のランキングを行うことで、メディア検索の正確度と効率を大幅に向上させることができる。

本開示の一具体例においては、動的計画法を利用して類似度行列によってシーケンス類似度スコアを特定することができる。図５は、本開示の一実施例に係る動的計画法によってメディア検索を行う模式的ブロックフロー図。図５を参照して、一実施例においては、ステップＳ３４は以下の具体的なステップを含む：
ステップＳ３４-１ａ：類似度行列における傾きが予め設定された傾き設定値となる複数の直線を候補直線として定義し、候補直線のそれぞれが含む各単体類似度に基づいて当該候補直線の直線類似度を特定する。具体的には、１つの直線の直線類似度は、当該直線が含む各単体類似度の平均値に設定されてもよく、若しくは当該直線が含む各単体類似度の合計値にされてもよい。一具体例においては、傾き設定値を１として取ることができ、即ち、前述した候補直線は、類似度行列における対角線及び当該対角線に平行な直線である。その後、処理がステップＳ３４-１ｂに進む。

特に、本開示の一実施例においては、ステップＳ３４-１ａは以下のことをさらに含む：まず候補直線からその含む単体類似度の数が予め設定された直線長さ設定値よりも少ない直線を排除し、そしてステップＳ３４-１ｂに進む。言い換えれば、本実施例においては、候補直線は、その含む単体類似度の数が予め設定された直線長さ設定値に達したことを満たす必要がある。単体類似度が少なすぎる直線を排除することで、直線が含む単体類似度が少なく過ぎて最終に得られたシーケンス類似度スコアの正確度を影響するという問題を排除可能となる。

ステップＳ３４-１ｂ：当該複数の候補直線から、当該直線類似度が最も大きくなる１つの候補直線を特定し、それを第１のマッチング直線として定義する。その後、処理がステップＳ３４-１ｃに進む。

ステップＳ３４-１ｃ：当該第１のマッチング直線の直線類似度をシーケンス類似度スコアとして特定する。

特に、本開示のある実施例においては、ステップＳ３４-１ａにおける予め設定された傾き設定値が複数であってもよい。即ち、候補直線は、傾きが複数の傾き設定値のいずれか１つと等しい直線である。例えば、候補直線は、傾きが１、-１、２、１/２等の直線であってよく、そして、ステップＳ３４-１ｂにおいては、傾きが複数の傾き設定値のいずれか１つである複数の候補直線から１つの第１のマッチング直線を特定する。

本開示に係るメディア検索方法は、動的計画法を利用してシーケンス類似度スコアを特定することで、メディア検索の正確度及び効率を向上させることができる。

本開示の別の具体例においては、等速メディア法を利用して類似度行列に基づいてシーケンス類似度スコアを特定することができる。図６は、本開示の一実施例に係る等速メディア法によってメディア検索を行う模式的ブロックフロー図である。図６を参照して、一実施例においては、ステップＳ３４は、以下の具体的なステップを含む：
ステップＳ３４-２ａ：類似度行列から単体類似度が最も大きな複数の点を類似度極限値点として選択する。取られた類似度極限値点の具体的な数は、予め設定されることができる。その後、処理がステップＳ３４-２ｂに進む。

ステップＳ３４-２ｂ：当該複数の類似度極限値点に基づいて、当該類似度行列において１つの直線を第２のマッチング直線として適合する。いくつかの具体例においては、当該複数の類似度極限値点に基づいて、予め設定された傾き設定値を有する、又は予め設定された傾き設定値に近い１つの直線を第２のマッチング直線として適合する。例えば、傾きが１に近い１つの直線に適合する。具体的には、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法によって、当該類似度行列において傾きが傾き設定値に近い１つの直線に適合することができる。ここで、ＲＡＮＳＡＣ法は、１組の異常データを含むサンプルデータセットによって、データの数理モデルパラメータを算出することで、有効サンプルデータを得る、常用の方法である。その後、処理がステップＳ３４-２ｃに進む。

ステップＳ３４-２ｃ：当該第２のマッチング直線が含む複数の単体類似度に基づいてシーケンス類似度スコアを特定する。具体的には、当該第２のマッチング直線内の各単体類似度の平均値を当該シーケンス類似度スコアとして特定することができる。

本開示に係るメディア検索方法は、等速メディア法によってシーケンス類似度スコアを特定することで、メディア検索の正確度と効率を向上させることができる。

さらに、ここで類似度行列は、多種のメディア類似度から合わせて考えて得られるものであってよい。具体的には、本開示に係るメディア検索方法は、さらに以下のことを含む：検索対象メディアの多種のタイプの第１のメディア特徴を取得する；第１の候補メディア集合内のメディアの多種のタイプの第２のメディア特徴を取得する；多種のタイプの第２のメディア特徴及び多種のタイプの第１のメディア特徴に基づいて類似度行列を特定する。そして、多種のタイプメディア特徴に基づいた類似度行列によって第２のランキングを行う。

図７は、本開示の一実施例に係る多種のタイプの第１のメディア特徴と第２のメディア特徴とに基づいて類似度行列を特定してメディア検索を行う模式的ブロックフロー図である。図７を参照して、本開示の一実施例においては、本開示に係るメディア検索方法は、具体的には以下を含む：
ステップＳ４１：検索対象メディアの多種のタイプの第１のメディア特徴を取得し、タイプ毎の第１のメディア特徴が複数の第１のメディア特徴単体を含む。その後、処理がステップＳ４２に進む。

例えば、検索対象メディアの前述した浮動数特徴と２値化特徴とを同時に取得する。

ステップＳ４２：１つの既知メディア（具体的には、前述した第１の候補メディア集合内のメディアであってよい）の多種のタイプの第２のメディア特徴を取得し、タイプ毎の第２のメディア特徴が複数の第２のメディア特徴単体を含む。多種のタイプの第２のメディア特徴にインデックスを付すことで、多種のメディア特徴に基づいた特徴インデックスを得る。その後、処理がステップＳ４３に進む。

例えば、既知メディアの前述した浮動数特徴と２値化特徴とを同時に取得する。

ステップＳ４３：同じタイプの当該第２のメディア特徴単体と当該第１のメディア特徴単体との間の単体類似度をそれぞれ特定する。これにより、多種のタイプのメディア特徴と対応して、多種の単体類似度を得ることができる。ここで、第２のメディア特徴単体は、特徴インデックスに基づいて得ることができる。その後、処理がステップＳ４４に進む。

ステップＳ４４：多種の単体類似度の平均値又は最小値を特定し、多種の単体類似度の当該平均値又は当該最小値に基づいて当該既知メディアの類似度行列を特定する。

その後、処理が前に例示するステップＳ３４に進み、ステップＳ３４においては、当該多種の単体類似度の平均値又は最小値に基づいた類似度行列によって、シーケンス類似度スコア及び第２のランキングの結果等を特定する。

多種の類似度の平均値又は最小値によって類似度行列を特定して得られる効果は、以下のことにある：一種類のメディア特徴による類似度を利用してメディア検索を行う時に誤マッチングする可能性があるが、多種のメディア特徴の類似度の平均値又は最小値を取ることで、当該誤マッチングの問題を減少又は排除することができる。これにより、メディア検索の正確度を向上させる。

なお、多種の単体類似度の平均値又は最小値を取る前に、各種の単体類似度が一致した取り得る値の範囲を有することを確保する必要がある。例えば、予め全てのタイプの単体類似度の取り得る値の範囲を、いずれも０～１に設定することができる。実際には、前述した余弦距離によって特定された単体類似度の例、及びハミング距離によって特定された単体類似度の例はいずれも、単体類似度の取り得る値の範囲を既に０～１に設定している。

本開示のある実施例においては、取得された検索対象メディアの第１のメディア特徴には、第１のメディア特徴単体の信頼できる程度を表すための第１の信頼度フィールドがさらに含まれている、及び/又は取得された既知メディアの第２のメディア特徴には、第２のメディア特徴単体の信頼できる程度を表すための第２の信頼度フィールドがさらに含まれている；さらに、当該メディア検索方法は、以下のことを備えても良い：単体類似度又はシーケンス類似度スコアを特定する場合、当該第１の信頼度フィールド及び/又は当該第２の信頼度フィールドによって加重を行い、信頼度の高い方に高い重みを与え、信頼度の低い方に低い重みを与え、そして、加重後に得られたシーケンス類似度スコアによって第２のランキングを行う。なお、当該信頼度フィールドは、メディア特徴に記録されてよく、若しくは、メディア特徴に含まれずに個別に記憶され、単にメディア特徴と信頼度フィールドとの対応関係を配置しておけばよい。

本開示のある実施例においては、当該メディア検索方法は、さらに以下のことを含む：第１のランキングを行う前に、得られた検索対象メディアの第１のメディア特徴及び既知メディアの第２のメディア特徴を予め設定された一定の長さによってスライスし、複数の長さが同様の（同じ数のメディア特徴単体を含む）第１のサブメディア特徴と第２のサブメディア特徴（例えば、第２のメディア特徴にインデックスを付すステップを含む実施例では、インデックスを付す前にスライスするのである）とを得る；及び/又は、メディア特徴を取得する前に、予め検索対象メディア及び既知メディアを予め設定された一定の時間長によってスライスし、複数の時間長が同様である検索対象メディアフラグメントと既知メディアフラグメントとを取得し、そして、各検索対象メディアフラグメントと既知メディアフラグメントのメディア特徴とをそれぞれ取得し、各検索対象メディアフラグメントの第１のサブメディア特徴と各既知メディアフラグメントの第２のサブメディア特徴とを得る。その後、第１のサブメディア特徴、第２のサブメディア特徴のそれぞれに基づいて、前述した第１のランキングと第２のランキングのステップを行い、各サブメディア特徴の検索結果を取得し、そして各サブメディア特徴の検索結果によって、元の検索対象メディアの検索結果を得る。

メディア又はメディア特徴を一定の長さによってスライスして得られる効果は、以下のことにある：１、ＴＦ-ＩＤＦランキングがより公平になる；２、求められた単体類似度、シーケンス類似度スコアがより正確になる；３、長さを統一することでメディア特徴及び特徴インデックスの記憶に寄与している。

本開示のある実施例においては、第１のメディア特徴内の複数の第１のメディア特徴単体及び第２のメディア特徴内の複数の第２のメディア特徴単体は、配列が時間的である。例えば、時間の先後の順に並べている。このとき、本開示に係るメディア検索方法は、以下のことをさらに含む：前述の類似度行列に基づいて検索対象メディアと既知メディア（具体的には、前述した検索結果内のメディアであってよい）との重複したセグメントを特定する。具体的には、類似度行列内の直線の始点と終点によって、両メディアにおける重複セグメントの開始・停止時間を得る。例えば、前述した第１のマッチング直線又は第２のマッチング直線の始点と終点によって、検索対象メディアと既知メディアにおける重複セグメントの開始・停止時間を得ることができる。

ここで、類似度行列内の直線（例えば、マッチング直線）に基づいて重複セグメントを特定する具体的な方法は、以下のことであってもよい：直線の始点に対応した第１のメディア特徴単体の序数（言い換えれば、類似度行列における横座標）によって検索対象メディアにおける重複セグメントの開始時間を特定する一方、当該始点に対応した第２のメディア特徴単体の序数（言い換えれば、類似度行列における縦座標）によって第１の候補メディアにおける重複セグメントの開始時間を特定する；同様に、直線の終点の横座標によって検索対象メディアにおける重複セグメントの終了時間を特定する一方、当該終点の縦座標によって第１の候補メディアにおける重複セグメントの終了時間を特定する。

本開示のある実施例（例えば前述した図５と図６に示す実施例）においては、ステップＳ３４は、以下のことをさらに含む：得られた第１のマッチング直線又は第２のマッチング直線の最初の部分と最後の部分を検出し、当該第１のマッチング直線/第２のマッチング直線の最初の部分と最後の部分の点（単体類似度）が予め設定された単体類似度設定値に達しているかを判断し、第１のマッチング直線/第２のマッチング直線の最初の部分と最後の部分における当該単体類似度設定値に達していない（即ち、単体類似度が高くない）部分を除去し、その間の直線を保留して第３のマッチング直線として定義する；当該第３のマッチング直線の直線類似度に基づいてシーケンス類似度スコアを特定する、及び/又は当該第３のマッチング直線の始点と終点に基づいて既知メディアと検索対象メディアとの重複セグメントの開始・停止時間を特定する。マッチング直線の最初の部分と最後の部分における類似度の高くない部分を除去し、その間にある類似度の高い直線を保留した後に、さらに既知メディアと検索対象メディアとの類似状況を特定することで、メディア検索の正確度を向上させることができ、より正確な重複セグメントを得ることができる。

ここで、マッチング直線の最初/最後の部分における当該単体類似度設定値に達していない部分を除去する具体的な方法は、以下のことであってもよい：マッチング直線の始点/終点から中央に向かって順にチェックし、当該単体類似度設定値に達しているかを判断し、当該単体類似度設定値に達した第１個の点を見つけた後、当該点と始点/終点との間にある複数の点を除去する。

特に、当該単体類似度設定値は、単体類似度の具体的な数値であってもよく、チャックする際にある点が当該数値に達したかを判断する。当該単体類似度設定値は、割合であってもよく、チェックする際にある点と第１のマッチング直線/第２のマッチング直線が含む全ての点の平均値又は最大値とを比較して、当該割合に達したかを判断する。

図８は、本開示的メディア検索装置１００の一実施例の模式的構成図である。図８を参照して、本開示に示すメディア検索装置１００は、主として以下のモジュールを含む：
検索対象メディア（Ｑｕｅｒｙ ｍｅｄｉａ）のメディア特徴を第１のメディア特徴として取得するためのメディア特徴取得モジュール１１０。当該第１のメディア特徴は、複数の第１のメディア特徴単体を含む。

当該第１のメディア特徴によって、複数の既知メディアに対して第１のランキングを行い、当該第１のランキングの結果に基づいて、最初からｋ個の既知メディアを第１の候補メディア集合として抽出するための第１のランキングモジュール１２０。ここで、ｋは正の整数であるが、ｋの具体的な取り得る値は設定可能である。具体的には、当該第１のランキングモジュール１２０は、個別の第１のメディア特徴単体と既知メディアとのそれぞれのマッチング状況に基づいてランキングを行うことに用いられる。さらに、当該第１のランキングモジュール１２０は、各第１のメディア特徴単体に基づいて既知メディアに対して単語頻度-逆ファイル頻度ＴＦ-ＩＤＦランキングを行うことに用いられることができる。

当該第１のメディア特徴によって、当該第１の候補メディア集合に対して第２のランキングを行い、当該第２のランキングの結果に基づいて、第１の候補メディア集合における最初からｎ個の第１の候補メディアを検索結果として抽出するための第２のランキングモジュール１３０。ここで、ｎは正の整数であるが、ｎの具体的な取り得る値は設定可能である。具体的には、当該第２のランキングモジュール１３０は、複数の順次に並べた第１のメディア特徴単体に基づいて第１の候補メディア集合におけるメディアに対してランキングを行うことに用いられる。

前述した既知メディアは、１つのメディアデータベース内のメディアであってもよい。当該メディアデータベースには、大量な既知メディアのメディア特徴が記憶されているとともに、記憶された既知メディアのメディア特徴には、第１のメディア特徴と同様の抽出方法によって得られた、第１のメディア特徴と同様のタイプの特徴を有するメディア特徴が含まれている。

本開示のある実施例においては、本開示に係るメディア検索装置１００は、複数の既知メディアのメディア特徴を第２のメディア特徴として取得するための特徴インデックス取得モジュール（図示せず）をさらに含む。当該第２のメディア特徴は、複数の第２のメディア特徴単体を含み、当該第２のメディア特徴にインデックスを付すことで、既知メディアの特徴インデックスを得る。そして、第１のランキングモジュール１２０は具体的には、当該特徴インデックスを第１のメディア特徴単体とマッチングを行うことで複数の既知メディアに対してＴＦ-ＩＤＦランキングを行うことに用いられる。

さらに、当該特徴インデックス取得モジュールは、既知メディアの順引き特徴インデックス（ｆｏｒｗａｒｄ ｉｎｄｅｘ）と逆引き特徴インデックス（ｉｎｖｅｒｔｅｄ ｉｎｄｅｘ）を得るために用いられる。

なお、メディアデータベース内のすべての既知メディアに対して第１のランキングを行うと、検索効率を影響する可能性があるため、本開示に係る第１のランキングモジュール１２０は、第１のランキングの前に、複数の既知メディアに対して絶対マッチング（ｅｘａｃｔ ｍａｔｃｈ）を行っておくための絶対マッチングサブモジュール１２１を含めてもよい。ここで、絶対マッチングは、含んだ第１のメディア特徴単体の数が予め設定された数又は予め設定された割合以上である既知メディアを第２の候補メディア集合として選択するために用いられる。そして、当該第２の候補メディア集合に対して第１のランキングを行うことで、第１の候補メディア集合を選択する。

図９は、本開示の一実施例に係る第１のランキングモジュール１２０の模式的構成図である。図９を参照して、本開示の一実施例においては、当該第１のランキングモジュール１２０は、具体的には以下のモジュールを含む：
逆引き特徴インデックスに基づいて、各第１のメディア特徴単体がどの既知メディアの第２のメディア特徴に現れるかを統計して、メディアデータベースから予め設定された数以上の第１のメディア特徴単体を含む既知メディアを第２の候補メディア集合として選択するための絶対マッチングサブモジュール１２１。

順引き特徴インデックスに基づいて、１つの第１のメディア特徴単体の、１つの第２の候補メディアの第２のメディア特徴における単語頻度を特定するための単語頻度特定サブモジュール１２２。

逆引き特徴インデックスに基づいて、１つの第１のメディア特徴単体のファイル頻度を特定するためのファイル頻度特定サブモジュール１２３。

各第１のメディア特徴単体の、１つの第２の候補メディアの第２のメディア特徴における単語頻度及び各第１のメディア特徴単体のファイル頻度に基づいて、当該第２の候補メディアの単語頻度-逆ファイル頻度スコアを特定するための単語頻度-逆ファイル頻度スコアサブモジュール１２４。

得られた各第２の候補メディアの単語頻度-逆ファイル頻度スコアによって第２の候補メディア集合に対してランキングを行い、第１のランキングの結果を取得し、当該第１のランキング結果から、最初からｋ個の第２の候補メディアを第１の候補メディア集合として抽出するための第１のランキングサブモジュール１２５；当該第１のランキングサブモジュール１２５はさらに、各第１の候補メディアの第２のメディア特徴（順引き特徴インデックス）を第２のランキングモジュール１３０にリターンさせて、後続のさらなる処理に備えるために用いられる。

本開示のある実施例においては、当該第２のランキングは、複数の順次に並べた第１のメディア特徴単体からなる先後の順を有するシーケンスの、第１の候補メディアのメディア特徴に現れる状況に基づいて、当該第１の候補メディア集合内のメディアに対して行われるランキングである。具体的には、当該第２のランキングモジュール１３０は、既知メディアの特徴インデックスと第１のメディア特徴とに基づいて当該第１の候補メディア集合内のメディアの類似度行列を取得し、当該類似度行列に基づいて当該第１の候補メディア集合内のメディアに対してランキングを行うために用いられる。

図１０は、本開示の一実施例に係る第２のランキングモジュール１３０の模式的構成図である。図１０を参照して、本開示の一実施例においては、当該第２のランキングモジュール１３０は、具体的には以下のモジュールを含む：
第１の候補メディア集合内の１つの第１の候補メディア（実際には第１の候補メディアのそれぞれが既知メディアである）の第２のメディア特徴を取得するための第２のメディア特徴取得サブモジュール１３１。具体的には、既知メディアの特徴インデックス（例えば、順引き特徴インデックス）に基づいて当該第２のメディア特徴を取得することができる。

当該第１の候補メディアの第２のメディア特徴が含む各第２のメディア特徴単体と各第１のメディア特徴単体との間の単体類似度を特定するための単体類似度第一特定サブモジュール１３２。

各単体類似度に基づいて、当該第１の候補メディアと検索対象メディアとの間の類似度行列を特定するための類似度行列第一特定サブモジュール１３３。

第１の候補メディア毎の類似度行列に基づいて、当該第１の候補メディアのシーケンス類似度スコアを特定するためのシーケンス類似度スコア特定サブモジュール１３４。具体的には、シーケンス類似度スコア特定サブモジュール１３４は、類似度行列内の直線に基づいて当該シーケンス類似度スコアを特定するために用いられる。

各第１の候補メディアの当該シーケンス類似度スコアに基づいて第１の候補メディア集合に対してランキングを行い、第２のランキングの結果を取得し、当該第２のランキングの結果から、最初からｎ個の第１の候補メディアを検索結果として抽出するための第２のランキングサブモジュール１３５。

本開示の一実施例においては、当該シーケンス類似度スコア特定サブモジュール１３４は具体的には、前述した動的計画法のそれぞれの具体的なステップによって当該シーケンス類似度スコアを特定するために用いられる。

本開示の一実施例においては、当該シーケンス類似度スコア特定サブモジュール１３４は具体的には、前述した等速メディア法のそれぞれの具体的なステップによって当該シーケンス類似度スコアを特定するために用いられる。

さらに、ここで、類似度行列は、多種のメディア的類似度から合わせて考えて得られたものである。図１１は、本開示の一実施例に係る多種のタイプの第１のメディア特徴と第２のメディア特徴に基づいて類似度行列を特定するメディア検索装置１００の模式的構成図である。図１１を参照して、本開示の一実施例においては、本開示に係るメディア検索装置１００は、以下のモジュールをさらに含む：
検索対象メディアの多種のタイプの第１のメディア特徴を取得するために用いられ、タイプ毎の第１のメディア特徴が複数の第１のメディア特徴単体を含む多タイプ第一メディア特徴取得モジュール１４０。

１つの既知メディア（具体的には、前述した第１の候補メディア集合内のメディアであってもよい）の多種のタイプの第２のメディア特徴を取得するために用いられ、タイプ毎の第２のメディア特徴が複数の第２のメディア特徴単体を含む多タイプ第二メディア特徴取得モジュール１５０。いくつかの例においては、多種のタイプの第２のメディア特徴にインデックスを付すことで、多種のメディア特徴に基づいた特徴インデックスを得るために用いられる特徴インデックス取得モジュール（図示せず）を含めてもよい。

同じタイプの当該第２のメディア特徴単体と当該第１のメディア特徴単体との間の単体類似度をそれぞれ特定することで、多種の単体類似度を得るための単体類似度第二特定サブモジュール１６０。ここで、第２のメディア特徴単体は、特徴インデックスに基づいて得ることができる。

多種の単体類似度の平均値又は最小値を特定し、多種の単体類似度の当該平均値又は当該最小値に基づいて当該既知メディアの類似度行列を特定するための類似度行列第二特定サブモジュール１７０。

さらに、前述したシーケンス類似度スコア特定サブモジュール１３４は、当該多種の単体類似度の平均値又は最小値に基づいた類似度行列によってシーケンス類似度スコアを特定するために用いられる。

本開示のある実施例においては、得られた検索対象メディアの第１のメディア特徴には、第１のメディア特徴単体の信頼できる程度を表すための第１の信頼度フィールドがさらに含まれている、及び/又は、得られた既知メディアの第２のメディア特徴には、第２のメディア特徴単体の信頼できる程度を表すための第２の信頼度フィールドがさらに含まれている；当該第２のランキングモジュール１３０は、さらに、単体類似度又はシーケンス類似度スコアを特定する場合、当該第１の信頼度フィールド及び/又は当該第２の信頼度フィールドによって加重を行い、信頼度の高い方に高い重みを与え、信頼度の低い方に低い重みを与え、そして、加重後に得られたシーケンス類似度スコアに基づいて第２のランキングを行うために用いられる。

本開示のある実施例においては、当該メディア検索装置１００は、さらにメディアスライシングモジュール（図示せず）を含む。当該メディアスライシングモジュールは、第１のランキングを行う前に、得られた検索対象メディアの第１のメディア特徴及び既知メディアの第２のメディア特徴を予め設定された一定の長さによってスライスし、複数の長さが同様の（同じ数のメディア特徴単体を含む）第１のサブメディア特徴と第２のサブメディア特徴を得るために用いられる、及び/又は、当該メディアスライシングモジュールは、メディア特徴を取得する前に、予め検索対象メディア及び既知メディアを予め設定された一定の時間長によってスライスし、複数の時間長が同様の検索対象メディアフラグメントと既知メディアフラグメントを取得するために用いられる。そして、各検索対象メディアフラグメントと既知メディアフラグメントのメディア特徴とをそれぞれ取得し、各検索対象メディアフラグメントの第１のサブメディア特徴、各既知メディアフラグメントの第２のサブメディア特徴を得るために用いられる。そして、前述した第１のランキングモジュール１２０と第２のランキングモジュール１３０とは、第１のサブメディア特徴及び第２のサブメディア特徴のそれぞれに基づいて前述した第１のランキングと第２のランキングのステップを行って、各サブメディア特徴の検索結果を取得し、そして、各サブメディア特徴の検索結果に基づいて元の検索対象メディアの検索結果を特定する。

本開示のある実施例においては、第１のメディア特徴内の第１のメディア特徴単体及び第２のメディア特徴内の第２のメディア特徴単体は、配列が時間的である。このとき、本開示に係るメディア検索装置１００は、前述した類似度行列に基づいて検索対象メディアと既知メディアとの重複セグメントを特定するための重複メディアフラグメント特定モジュール（図示せず）をさらに含む。具体的には、当該重複メディアフラグメント特定モジュールは具体的に、類似度行列内の直線の始点と終点に基づいて両メディアにおける重複セグメントの開始・停止時間を得るために用いられる。

図１２は、本開示の実施例に係るメディア検索ハードウェア装置を図示するハードウェアブロック図である。図１２に示すように、本開示の実施例に係るメディア検索ハードウェア装置２００は、メモリ２０１とプロセッサ２０２とを含む。メディア検索ハードウェア装置２００内の各構成要素は、バスシステム及び/又はその他の形式の接続機構（図示せず）によって相互に接続されている。

当該メモリ２０１は、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられる。具体的には、メモリ２０１は、１つ又は複数のコンピュータプログラム製品を含めてもよい。当該コンピュータプログラム製品は、各種の形式のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリ及び/又は不揮発性メモリを含めてもよい。当該揮発性メモリは、例えばランダムアクセスメモリ（ＲＡＭ）及び/又はキャッシュ（ｃａｃｈｅ）等を含めてもよい。当該不揮発性メモリは、例えば読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリ等を含めてもよい。

当該プロセッサ２０２は、中央処理ユニット（ＣＰＵ）又はデータ処理能力及び/又は命令実行能力を有する別の形式の処理ユニットであってもよく、そしてメディア検索ハードウェア装置２００におけるその他の構成要素を制御して所望の機能を実行することができる。本開示の一実施例においては、当該プロセッサ２０２は、当該メディア検索ハードウェア装置２００が前述した本開示の各実施例に係るメディア検索方法の全て又は一部のステップを実行するように、当該メモリ２０１に記憶された当該コンピュータ読み取り可能な命令を実行するために用いられる。

図１３は、本開示の実施例に係るコンピュータ読み取り可能な記憶媒体を図示する模式図である。図１３に示すように、本開示の実施例に係るコンピュータ読み取り可能な記憶媒体３００には、非一時的なコンピュータ読み取り可能な命令３０１が記憶されている。当該非一時的なコンピュータ読み取り可能な命令３０１がプロセッサによって実行される場合、前述した本開示の各実施例に係るメディア検索方法の全て又は一部のステップを実行する。

図１４は、本開示の実施例に係る端末装置を図示するハードウェア構成模式図である。端末装置は、各種の形式で実施されることができる。本開示にかかる端末装置は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルディジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（携帯型マルチメディアプレイヤー）、ナビゲーション装置、車載端末装置、車載表示端末、車載電子ミラー等の携帯端末装置、並びに例えばデジタルＴＶ、デスクトップコンピュータ等の固定端末装置を含むが、それに限らない。

図１４に示すように、端末装置１１００は、無線通信ユニット１１１０、Ａ/Ｖ（オーディオ/ビデオ）入力ユニット１１２０、ユーザ入力ユニット１１３０、センシングユニット１１４０、出力ユニット１１５０、メモリ１１６０、インターフェースユニット１１７０、コントローラー１１８０及び電源ユニット１１９０等を含めてもよい。図１４は、各種のアセンブリを有する端末装置を示しているが、示された全てのアセンブリを実施することが要求されず、それに代わってより多い又はより少ないアセンブリを実施してもよいことが理解されるべきである。

ここで、無線通信ユニット１１１０により、端末装置１１００と無線通信システム又はネットとの間の無線通信が可能となる。Ａ/Ｖ入力ユニット１１２０は、オーディオ又はビデオ信号を受信するために用いられる。ユーザ入力ユニット１１３０は、ユーザの入力した命令によってキー入力データを生成して端末装置の各種の動作を制御することができる。センシングユニット１１４０は、端末装置１１００の現在の状態、端末装置１１００の位置、ユーザの端末装置１１００に対するタッチ入力の有無、端末装置１１００の配向、端末装置１１００の加速又は減速の移動及び方向等を検出するとともに、端末装置１１００の動作を制御するための命令又は信号を生成する。インターフェースユニット１１７０は、少なくとも１つの外部装置と端末装置１１００との接続を可能にするインターフェースとして用いられる。出力ユニット１１５０は、視覚、オーディオ及び/又は触覚の方式で出力信号を提供するように構成される。メモリ１１６０は、コントローラー１１８０によって実行される処理及び動作を制御するソフトウェアプログラム等を記憶することができ、若しくは、既に出力された又は出力されるデータを一時的に記憶することができる。メモリ１１６０は、少なくとも一つのタイプの記憶媒体を含むことができる。そして、端末装置１１００は、ネットワーク接続によってメモリ１１６０の記憶機能を実行するネット記憶装置と協働することができる。コントローラー１１８０は、通常、端末装置の全体的な動作を制御する。なお、コントローラー１１８０は、マルチメディアデータを再現、再生するためのマルチメディアモジュールを含めてもよい。コントローラー１１８０は、タッチスクリーンで実行された手書き入力又は画像描画入力を文字又は画像として識別するために、モード識別処理を実行することができる。電源ユニット１１９０は、コントローラー１１８０の制御によって、外部電力又は内部電力を受けるとともに、各素子及びアセンブリを動作させることに必要な適当な電力を提供する。

本開示に係るメディア検索方法の各実施形態は、例えばコンピュータソフトウェア、ハードウェア又はそれらのいかなる組み合わせを使用するコンピュータ可読媒体によって実施されることができる。ハードウェア実施に関しては、本開示に係るメディア検索方法の各種の実施形態は、特定用途集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラー、マイクロコントローラー、マイクロプロセッサ、ここで説明した機能を実行するように設計される電子ユニットのうち少なくとも１つを使用することで実施されることができる。ある場合においては、本開示に係るメディア検索方法の各種の実施形態は、コントローラー１１８０において実施可能である。ソフトウェア実施に関しては、本開示に係るメディア検索方法の各種の実施形態は、少なくとも一種類の機能又は動作を実行できる個別のソフトウェアモジュールによって実施されることができる。ソフトウェアコードは、いかなる適当なプログラミング言語で書かれたソフトウェアアプリケーション（又は、プログラム）によって実施され、メモリ１１６０に記憶されるとともに、コントローラー１１８０によって実行されることができる。

以上では、本開示の実施例に係るメディア検索方法、装置、ハードウェア装置、コンピュータ読み取り可能な記憶媒体及び端末装置は、検索対象メディアのメディア特徴における個別のメディア特徴単体それぞれに基づいた第１のランキング、及び検索対象メディアのメディア特徴における複数の順次に並べたメディア特徴単体に基づいた第２のランキングを行って検索結果を得ることで、メディア検索の正確度と効率を大幅に向上させることができる。
以上、具体的な実施例を参照しながら本開示の基本的なメカニズムを説明しており、しかし、本開示で言及された利点、優勢、効果などは制限ではなく、単なる例であり、これらの利点、優勢、効果などは本開示の各実施例に必要であると考えてはいけないことに留意すべきである。また、上記に開示の具体的な詳細は制限ではなく、例示および理解のためのものであり、上記詳細は、本開示が上記具体的な詳細によって実現しなければならないことを制限しない。

本開示で言及されたデバイス、装置、設備、システムのブロック図は、例示的な例に過ぎず、且つブロック図に示された方法に従って接続、レイアウト、配置しなければならないことを意図するものではない。当業者が理解されるように、任意の方法でこれらのデバイス、装置、設備、システムを接続、レイアウト、配置してもよい。「備える」、「含む」、「有する」などの用語は、オープン言葉であり、「を含むが、これらに制限されない」を意味し、且つ互いに交換可能に使用することができる。本明細書で使用された言葉「又は」と「及び」とは、言葉「及び／又は」を意味しており、且つ文脈からそうでないことが明確に示されていない限り、互いに交換可能に使用することができる。本明細書で使用された言葉「例えば」とは、フレーズ「例えば、であるが、これらに制限されない」を意味しており、且つ互いに交換可能に使用することができる。

また、ここで使用されたように、「少なくとも１つ」から始まる項目リスト内で使用される「又は」は、離接的リストを表しており、例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」のリストは、Ａ又はＢ又はＣ、又はＡＢ又はＡＣ又はＢＣ、又はＡＢＣ（即ち、Ａ及びＢ及びＣ）を意味する。さらに、「例示的な」という用語は、説明される例が好ましい又は他の例よりも好ましいことを意味しない。

なお、本開示のシステム及び方法において、各部材又は各ステップが分解及び／又は再結合され得る。これらの分解及び／又は再結合は本開示の均等技術と見なされるべきである。

ここで記載の技術への様々な変化、置換、及び変更を、添付の特許請求の範囲によって規定される教示の技術から逸脱せずに行うことができる。さらに、本開示のクレームの範囲は、上述した処理、機器、製造、イベントの構成、手段、方法、及び動作の特定の態様に限定されない。ここで記載の対応する態様とほぼ同じ機能を実行するか、又はほぼ同じ結果を達成する、現在に存在するか、又は後に開発される処理、機器、製造、イベントの構成、手段、方法又は動作を利用することができる。従って、添付のクレームは、その範囲内でのそのような処理、機器、製造、イベントの構成、手段、方法又は動作を含む。

いかなる当業者は本開示を成し得る又は使用することができるように、公開する態様の以上の説明を提供した。これらの態様に対する各種の修正は、当業者にとって明らかであって、そして、ここで定義した一般的な原理は、本開示の範囲を逸脱することなく、その他の態様に適用されることができる。そこで、本開示は、ここに示す態様に限られることを意図しなく、ここで開示した原理と新規的特徴とが一致となる最も広い範囲に準じる。

例示と説明のために、以上のように述べた。また、この説明は、本開示の実施例をここで開示された形式に限ることを意図しない。以上では複数の例示的な態様と実施例を説明したものの、当業者は、そのある変形、修正、変更、添加及び下位組み合わせを認識する。

１００ メディア検索装置
１１０ メディア特徴取得モジュール
１２０ 第１のランキングモジュール
１２１ 絶対マッチングサブモジュール
１２２ 単語頻度特定サブモジュール
１２３ ファイル頻度特定サブモジュール
１２４ 単語頻度－逆ファイル頻度スコアサブモジュール
１２５ 第１のランキングサブモジュール
１３０ 第２のランキングモジュール
１３１ 第２のメディア特徴取得サブモジュール
１３２ 単体類似度第一特定サブモジュール
１３３ 類似度行列第一特定サブモジュール
１３４ シーケンス類似度スコア特定サブモジュール
１３５ 第２のランキングサブモジュール
１４０ 多タイプ第一メディア特徴取得モジュール
１５０ 多タイプ第二メディア特徴取得モジュール
１６０ 単体類似度第二特定サブモジュール
１７０ 類似度行列第二特定サブモジュール
２００ メディア検索ハードウェア装置
２０１ メモリ
２０２ プロセッサ
３００ 記憶媒体
３０１ 命令
１１００ 端末装置
１１１０ 無線通信ユニット
１１２０ Ａ／Ｖ入力ユニット
１１３０ ユーザ入力ユニット
１１４０ センシングユニット
１１５０ 出力ユニット
１１６０ メモリ
１１７０ インターフェースユニット
１１８０ コントローラー
１１９０ 電源ユニット

Claims (16)

1. メディア検索装置が実行する方法であって、
   検索対象メディアのメディア特徴を、複数の第１のメディア特徴単体を含む第１のメディア特徴として取得することと、
   個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して第１のランキングを行い、前記第１のランキングの結果に基づいて最初から正の整数であるｋ個の前記既知メディアを第１の候補メディア集合として抽出することと、
   複数の順次に並べた前記第１のメディア特徴単体に基づいて前記第１の候補メディア集合に対して第２のランキングを行い、前記第２のランキングの結果に基づいて最初から正の整数であるｎ個の前記第１の候補メディアを検索結果として抽出することと
   を含み、
   予め前記既知メディアのメディア特徴を、複数の第２のメディア特徴単体を含む第２のメディア特徴として取得することと、
   前記第２のメディア特徴にインデックスを付すことで、前記既知メディアの特徴インデックスを得ておくことと
   をさらに含み、
   前述した複数の順次に並べた前記第１のメディア特徴単体に基づいて前記第１の候補メディア集合におけるメディアに対して第２のランキングを行うことは、前記既知メディアの特徴インデックスと前記第１のメディア特徴とに基づいて前記第１の候補メディア集合におけるメディアの類似度行列を取得し、所定の直線特定方法に従い前記類似度行列内から選択された複数類似度によって特定される直線類似度がもっとも大きくなる1つの直線をマッチング直線として特定し、該マッチング直線の直線類似度を前記第１の候補メディアのシーケンス類似度スコアとして特定し、各第１の候補メディアの前記シーケンス類似度スコアに基づいて前記第１の候補メディア集合におけるメディアに対してランキングを行うことを含むメディア検索方法。
2. 前述した個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して第１のランキングを行うことは、個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して単語頻度-逆ファイル頻度ＴＦ-ＩＤＦランキングを行うことを含む
   請求項１に記載のメディア検索方法。
3. 前述した個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して単語頻度-逆ファイル頻度ＴＦ-ＩＤＦランキングを行うことは、前記既知メディアの特徴インデックスと前記第１のメディア特徴単体とをマッチングすることで、前記既知メディアに対して前記ＴＦ-ＩＤＦランキングを行うことを含む
   請求項２に記載のメディア検索方法。
4. 前述した前記既知メディアの特徴インデックスを得ておくことは、前記既知メディアの順引き特徴インデックス及び/又は逆引き特徴インデックスを得ておくことを含む
   請求項３に記載のメディア検索方法。
5. 前述した前記既知メディアの特徴インデックスと前記第１のメディア特徴単体とをマッチングすることは、前記メディアの特徴インデックスと前記第１のメディア特徴単体とを絶対マッチングすることを含む
   請求項３に記載のメディア検索方法。
6. 前述した検索対象メディアのメディア特徴を第１のメディア特徴として取得することは、前記検索対象メディアの多種のタイプの第１のメディア特徴を取得することを含み、
   前述した前記既知メディアのメディア特徴を第２のメディア特徴として取得しておくことは、前記既知メディアの多種のタイプの第２のメディア特徴を取得することを含み、
   前述した前記既知メディアの特徴インデックスと前記第１のメディア特徴とに基づいて前記第１の候補メディア集合におけるメディアの類似度行列を得ることは、前記多種のタイプの第２のメディア特徴及び前記多種のタイプの第１のメディア特徴に基づいて前記類似度行列を特定することを含む
   請求項１に記載のメディア検索方法。
7. タイプ毎の前記第１のメディア特徴は、複数の第１のメディア特徴単体を含み、タイプ毎の前記第２のメディア特徴は、複数の第２のメディア特徴単体を含み、
   前述した前記多種のタイプの第２のメディア特徴及び前記多種のタイプの第１のメディア特徴に基づいて前記類似度行列を特定することは、
   同じタイプの前記第２のメディア特徴単体と前記第１のメディア特徴単体との間の単体類似度をそれぞれ特定して多種の前記単体類似度を取得することと、
   前記多種の単体類似度の平均値又は最小値を特定し、前記多種の単体類似度の平均値又は最小値によって前記類似度行列を特定することと
   を含む請求項６に記載のメディア検索方法。
8. 予め検索対象メディアと既知メディアとを予め設定された時間長によってスライスし、複数の検索対象サブメディアと複数の既知サブメディアとを取得し、前記複数の検索対象サブメディアと前記複数の既知サブメディアとからそれぞれメディア特徴を抽出することで、長さが同様である複数の第１のサブメディア特徴と複数の第２のサブメディア特徴とを得ること
   をさらに含む請求項１に記載のメディア検索方法。
9. 前記第１のランキングを行う前に、得られた検索対象メディアの前記第１のメディア特徴と既知メディアの前記第２のメディア特徴とを予め設定された長さによってスライスすることで、長さが同様である複数の第１のサブメディア特徴と複数の第２のサブメディア特徴とを得ること
   をさらに含む請求項１に記載のメディア検索方法。
10. 前記複数の第１のメディア特徴単体が前記第１のメディア特徴において時系列順に並べており、前記複数の第２のメディア特徴単体が前記第２のメディア特徴において時系列順に並べている
    請求項１に記載のメディア検索方法。
11. 前記類似度行列内の前記マッチング直線によって前記検索対象メディアと前記検索結果内のメディアとの重複セグメントを特定するステップ
    をさらに含む請求項１０に記載のメディア検索方法。
12. 検索対象メディアのメディア特徴を、複数の第１のメディア特徴単体を含む第１のメディア特徴として取得するためのメディア特徴取得モジュールと、
    個別の前記第１のメディア特徴単体のそれぞれに基づいて複数の既知メディアに対して第１のランキングを行い、前記第１のランキングの結果に基づいて最初から正の整数であるｋ個の前記既知メディアを第１の候補メディア集合として抽出するための第１のランキングモジュールと、
    複数の順次に並べた前記第１のメディア特徴単体に基づいて前記第１の候補メディア集合に対して第２のランキングを行い、前記第２のランキングの結果に基づいて最初から正の整数であるｎ個の前記第１の候補メディアを検索結果として抽出するための第２のランキングモジュールと
    を備え、
    前記メディア特徴取得モジュールは、予め前記既知メディアのメディア特徴を、複数の第２のメディア特徴単体を含む第２のメディア特徴として取得し、
    さらに、前記第２のメディア特徴にインデックスを付すことで、前記既知メディアの特徴インデックスを得ておく特徴インデックスモジュールを含み、
    さらに、前記既知メディアの特徴インデックスと前記第１のメディア特徴とに基づいて前記第１の候補メディア集合におけるメディアの類似度行列を取得する類似度行列特定モジュールを含み、
    さらに、所定の直線特定方法に従い前記類似度行列内から選択された複数類似度によって特定される直線類似度がもっとも大きくなる１つの直線をマッチング直線として特定し、該マッチング直線の直線類似度を前記第１の候補メディアのシーケンス類似度スコアとして特定するシーケンス類似度スコア特定モジュールを含み、
    前記第２のランキングモジュールは、各第１の候補メディアの前記シーケンス類似度スコアに基づいて前記第１の候補メディア集合におけるメディアに対してランキングを行うメディア検索装置。
13. 請求項２～１１のいずれか１つに記載のステップを実行するモジュール
    をさらに備える請求項１２に記載のメディア検索装置。
14. 非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
    前記コンピュータ読み取り可能な命令がプロセッサによって実行される時に請求項１～１１のいずれか１つに記載のメディア検索方法を実現するように、前記コンピュータ読み取り可能な命令を実行するためのプロセッサと
    を備えるメディア検索ハードウェア装置。
15. 非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行される場合、前記コンピュータに請求項１～１１のいずれか１つに記載のメディア検索方法を実行させる
    コンピュータ読み取り可能な記憶媒体。
16. 請求項１２又は１３に記載のメディア検索装置を備える端末装置。

Images