JP5257071B2 - 類似度計算装置及び情報検索装置 - Google Patents

類似度計算装置及び情報検索装置 Download PDF

Info

Publication number
JP5257071B2
JP5257071B2 JP2008527785A JP2008527785A JP5257071B2 JP 5257071 B2 JP5257071 B2 JP 5257071B2 JP 2008527785 A JP2008527785 A JP 2008527785A JP 2008527785 A JP2008527785 A JP 2008527785A JP 5257071 B2 JP5257071 B2 JP 5257071B2
Authority
JP
Japan
Prior art keywords
similarity
media data
query
metatext
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008527785A
Other languages
English (en)
Other versions
JPWO2008016102A1 (ja
Inventor
真 寺尾
孝文 越仲
真一 安藤
祥史 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008527785A priority Critical patent/JP5257071B2/ja
Publication of JPWO2008016102A1 publication Critical patent/JPWO2008016102A1/ja
Application granted granted Critical
Publication of JP5257071B2 publication Critical patent/JP5257071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、類似度計算装置及び情報検索装置に関し、特に、メディアデータとクエリとの類似度を前記メディアデータとは異なる他のメディアデータを用いて計算することを特徴とする、類似度計算装置及び情報検索装置に関する。
近年、様々な媒体を通じて、映像・音声・画像・テキストなどの多種多様なメディアデータが大量に流通するようになり、それらを効率的に探し出すための検索技術の重要性が増している。一般にメディアデータを検索する際には、検索クエリとメディアデータとを直接比較するか、あるいは検索クエリとメディアデータの内容を表すメタデータとを比較して、検索クエリとメディアデータとの類似度を計算し、検索クエリに類似するメディアデータを検索結果とする。
検索クエリとメディアデータとを直接比較することで、メディアデータを検索する例としては、テキストクエリによる文書検索や、画像クエリによる類似画像検索などが挙げられる。一方、検索クエリとメディアデータとを直接比較することが難しい場合は、メディアデータに付与されたメタデータが活用される。メタデータとはメディアデータの内容を表すデータのことで、人手によって作成しても良いが、大量のデータを検索対象とするためには、メディアデータから自動で生成することが望ましい。例えば、音声認識により映像・音声データ中の発話内容をテキスト化したり、画像認識や文字認識により映像・画像データ中の画像や文字情報をテキスト化したりすることで、これら映像・音声・画像データにテキストメタデータを付与することができる。こうすることで、映像・音声・画像データもテキストクエリによって検索することが可能となる。
しかしながら、以上で述べた検索においては、メディアデータそのものやメタデータに誤りが存在すると、検索精度が劣化するという問題がある。例えば、文書中の打ち間違いや画像データに含まれるノイズなどは、メディアデータそのものの誤りと考えられるが、これらによって、検索クエリと文書や画像データとの類似度を正しく計算できなくなり、文書検索や類似画像検索の精度が低下する。また、音声認識や画像認識によってメタデータを生成すると、メタデータにはどうしても誤りが含まれるため、検索クエリとメタデータとの類似度を正しく計算できなくなり、検索精度が低下してしまう。
ここでは、メタデータの誤りに対処する関連する技術の一例として、特許文献１に記載の情報検索装置について説明する。この関連する情報検索装置は、音声認識によって映像・音声データからメタデータを生成した場合に、誤認識に起因するメタデータの誤りによる検索精度の劣化を軽減するための装置である。図１５に示すように、この関連する情報検索装置６００は、入力手段６０１と、音声認識手段６０２と、拡張キー抽出手段６０３と、拡張単語抽出手段６０４と、関連情報検索手段６０５と、外部データベース６０６と、音声ドキュメント記述生成手段６０７と、出力手段６０８と、から構成されている。
前記関連する情報検索装置６００は次のように動作する。すなわち、入力手段６０１から入力された音声データは、音声認識手段６０２により発話内容がテキスト化される。拡張キー抽出手段６０３は、認識結果テキストの中からあらかじめ定められた品詞や信頼度の条件を満たす単語を拡張キーとして抽出する。関連情報検索手段６０５は、抽出された拡張キーを用いて、外部データベース６０６に格納された関連文書を検索する。拡張単語抽出手段６０４は、検索された関連文書の中から重要語を拡張単語として抽出する。音声ドキュメント記述生成手段６０７は、抽出された拡張単語を認識結果テキストに埋め込み、これを出力手段６０８が出力する。
この動作の流れを、例を用いて説明する。
入力手段６０１から入力された実際の音声が
「昨夜からの寒波の訪れで、北海道は大雪となり、新千歳空港発の便など交通機関が大幅に乱れました」であるとき、
音声認識手段６０２による認識結果が
「咲く世からの寒波の訪れで北海道は大雪となら新地都政空港発の便など交通機関が大ハブに乱れまして」となった場合を考える。
このとき、拡張キー抽出手段６０３は、認識結果の中から品詞が名詞や動詞で、かつ信頼度の高い単語として例えば「寒波、訪れ、北海道、交通機関、乱れ」を拡張キーとして抽出する。関連情報検索手段６０５は、これら拡張キーを用いて外部データベース６０６を検索する。拡張単語抽出手段６０４は、検索された関連文書の中から重要語として「新千歳空港、欠航便、北海道、寒波、交通機関」を拡張単語として抽出したものとする。音声ドキュメント記述生成手段６０７は、これらの拡張単語を認識結果テキストに埋め込み、出力手段６０８は、拡張単語が埋め込まれた認識結果テキストを入力音声データのメタテキストとして出力する。これにより、例えば、誤認識により認識結果から欠落していた「新千歳空港」というテキストクエリで検索した場合でも、「新千歳空港」がメタテキストに補われているため、テキストクエリとメタテキストの類似度が高まり、この音声データを正しく検索できるようになる。
特開２００４−２４６８２４号広報
この関連する情報検索装置の問題点は、ある音声データとは無関係なクエリによってその音声データが検索されてしまうことがある、ということである。
その理由は、音声認識誤りの結果として、ある音声データのメタテキスト中にその音声データとは無関係なテキストが存在するため、その音声データと無関係なクエリでもメタテキストとの類似度が大きくなることがあるためである。
上述した例においては、音声認識誤りの結果として、「都政」や「ハブ」などの誤ったテキストがメタテキスト中に存在する。従って、音声データとは無関係な「都政」や「ハブ」などのクエリによって検索した場合でも、クエリとメタテキストとの類似度が大きくなり、この音声データは、これらのクエリとは無関係であるにも関わらず検索されてしまう。
本発明の目的は、あるメディアデータとクエリとの類似度を求める際に、そのメディアデータあるいはそのメタデータに何らかの誤りが含まれていても、そのメディアデータとクエリとが無関係であれば、そのメディアデータとクエリとの類似度を小さくするような類似度計算装置等を提供することにある。
前記目的を達成するため、本発明に係る類似度計算装置は、あるメディアデータとクエリとの類似度を求める装置であって、あるメディアデータとは異なる第２のメディアデータに対してクエリとの類似度を表す単独スコアを計算する単独スコア計算手段と、第２のメディアデータに対してあるメディアデータとの類似度を表すメディア間類似度を計算するメディア間類似度計算手段と、メディア間類似度と単独スコアとを用いて、あるメディアデータとクエリとの類似度を求めるクエリ類似度計算手段とを備えたことを特徴とするものである。
ここで、本明細書および特許請求の範囲では、「クエリ」とは、検索対象となるメディアデータあるいはそのメタデータなどと比較してメディアデータとの類似度を求めるためのデータ、およびそれらの論理的な組み合わせ(論理積や論理和など)を意味する。
このような構成を採用し、あるメディアデータとは異なる第２のメディアデータとあるメディアデータとの類似度と、第２のメディアデータとクエリとの類似度とを用いて、あるメディアデータとクエリとの類似度を求めるよう動作することで、本発明の目的を達成することができる。
本発明の類似度計算方法は、メディアデータとクエリとの類似度を求める類似度計算方法であって、
一のメディアデータとは異なる他のメディアデータに対して前記クエリとの類似度を表す単独スコアを計算し、
前記他のメディアデータに対して前記一のメディアデータとの類似度を表すメディア間類似度を計算し、
前記メディア間類似度と前記単独スコアとを用いて、前記一のメディアデータと前記クエリとの類似度を求めることを特徴とするものである。
本発明の情報検索方法は、前記類似度計算装置が検索対象となるメディアデータのそれぞれを前記あるメディアデータとして前記クエリとの類似度を計算し、
前記類似度に基づいて前記クエリに対する検索結果を生成することを特徴とするものである。
本発明の情報検索プログラムは、コンピュータに、
前記類似度計算装置が検索対象となるメディアデータのそれぞれを前記あるメディアデータとして前記クエリとの類似度を計算する機能と、
前記類似度に基づいて前記クエリに対する検索結果を生成する機能とを実行させることを特徴とするものである。
本発明によれば、一のメディアデータとクエリとの類似度を求める際に、前記一のメディアデータあるいはそのメタデータに何らかの誤りが含まれていても、前記一のメディアデータとクエリとが無関係であれば、前記一のメディアデータとクエリとの類似度を小さくすることができる。
次に、本発明の実施形態を図に基づいて説明する。
（実施形態１）
本発明の実施形態１に係る類似度計算装置１００は図１に示すように、あるメディアデータとクエリとの類似度を求める装置であって、前記あるメディアデータとは異なる第２のメディアデータに対して前記クエリとの類似度を表す単独スコアを計算する単独スコア計算手段１０４と、前記第２のメディアデータに対して前記あるメディアデータとの類似度を表すメディア間類似度を計算するメディア間類似度計算手段１０３と、前記第２のメディアデータの前記メディア間類似度と前記単独スコアとを用いて、前記あるメディアデータと前記クエリとの類似度を求めるクエリ類似度計算手段１０５、とから構成されている。
メディアデータ記憶手段１０１は、前記あるメディアデータを含めて様々なメディアデータを記憶する。メタテキスト記憶手段１０２は、メディアデータ記憶手段１０１が記憶するメディアデータの内容を表すメタテキストをメディアデータと対応付けた状態で記憶する。メディアデータ記憶手段１０１とメタテキスト記憶手段１０２は、図１のように類似度計算装置に内蔵される形態には限らず、類似度計算装置１００とネットワークを介して接続された外部のサーバコンピュータ等に備えられている形態としてもよい。
メディア間類似度計算手段１０３は、メディアデータ記憶手段１０１が記憶するメディアデータのそれぞれ（第２のメディアデータ）に対して、前記あるメディアデータとの類似度を表すメディア間類似度を計算する。本実施の形態では、メディアデータを直接比較することで、メディア間類似度を計算する。
単独スコア計算手段１０４は、メディアデータ記憶手段１０１が記憶するメディアデータのそれぞれに対して、前記クエリとの類似度を表す単独スコアを計算する。本実施の形態では、メディアデータに対応するメタテキストと前記クエリとを比較することで、単独スコアを計算する。
クエリ類似度計算手段１０５は、メディアデータのそれぞれに対して計算された前記あるメディアデータとのメディア間類似度、および前記クエリとの類似度を用いて、前記あるメディアデータと前記クエリとの類似度を計算する。
次に、図１のブロック図、図６の流れ図、図９の具体例を示す図を参照して、本実施の形態の全体の動作について詳細に説明する。
本実施の形態の説明では、メディアデータ記憶手段１０１は画像データを記憶し、メタテキスト記憶手段１０２は各画像データを説明するメタテキストを記憶しているものとする。このようなメタテキストは、例えば、人手によって付与することができる。
前記メディアデータ記憶手段１０１に記憶された画像データに対してクエリを入力し(図６のステップ７０１、図では「Ｓ７０１」と表記する、以下同様)、ある画像データiとクエリとの類似度を求めることを考える。本実施の形態では、クエリはテキストクエリであるとする。テキストクエリは、キーボードによって入力しても良いし、マイクに向かって発話した音声を音声認識によってテキスト化することで入力しても良いし、タッチペンで描いた文字を文字認識によってテキスト化することで入力しても良い。あるいは、何らかのプログラムにより自動生成されたテキストをクエリとして本実施の形態を動作させても良い。
まず、メディア間類似度計算手段１０３は、メディアデータ記憶手段１０１が記憶する画像データのそれぞれに対して、画像データiとの類似度を表すメディア間類似度を計算する(図６のステップ７０４)。画像データ間の類似度は、例えば、画像からカラーレイアウト記述子を抽出して比較するなどの汎用の技術を用いれば、計算することができる。なお、メディア間類似度計算手段１０３による画像データ間の類似度計算(図６のステップ７０４)は、必ずしもクエリが入力されてから実行する必要はなく、メディアデータ記憶手段１０１が記憶するあらゆる画像データ間の類似度をあらかじめ計算しておいても良い。
一方で、単独スコア計算手段１０４は、メディアデータ記憶手段１０１が記憶する画像データのそれぞれに対して、クエリとの類似度を表す単独スコアを計算する(図６のステップ７０２)。本実施の形態では、単独スコア計算手段１０４は、テキストクエリと各画像データのメタテキストとが一致するかどうかによって単独スコアを算出するものとし、例えば、両者が一致すれば単独スコアは１、一致しなければ単独スコアは０とする。ただし、テキストクエリやメタテキストが文書である場合などは、文書ベクトルを用いたコサイン類似度による方法などのよく知られた文書間類似度計算方法を用いて単独スコアを計算しても良い。
クエリ類似度計算手段１０５は、このようにして各画像データに対して計算されたメディア間類似度および単独スコアを用いて、画像データiとクエリとの類似度を求める(図７のステップ７０３)。今、クエリとの類似度を求めたい画像データをiとし、画像データの集合をM、クエリqに対する画像データjの単独スコアをs(q,j)とすると、画像データiとクエリqとの類似度score(q,i)は、例えば、次の数式１のように計算する。
Figure 0005257071
 ここで、f(i,j)は画像データjの単独スコアをどれだけ重視するかを表す重みであり、ここではメディア間類似度計算手段１０３により計算された画像データiと画像データjとの類似度とする。このようにすることで、画像データiとの類似度が大きい他の画像データの多くがクエリqと類似しているときに、画像データiとクエリqとの類似度score(q,i)は大きな値となる。その結果、画像データi自身のメタテキストの誤りに頑健な類似度計算が可能となる。
図９を用いて、本実施の形態の動作とその効果を具体的に説明する。
図９は、画像の内容を表すメタテキストが付与された６枚の画像を、メディア間類似度計算手段１０３により計算される画像間の類似度に基づいて模式的に平面上に配置した図である。すなわち、図９において、互いに近くに配置されている画像１〜４同士（例えば山に関する画像）や、画像５と画像６（例えば花に関する画像）は画像がそれぞれ類似していることを表す。一方で、画像１と画像５などは画像が類似していない(図中では類似した画像間を実線で結び、類似していない画像間を破線で結んでいる)。また、画像の下に記述されているテキスト「山」や「花」が、各画像に付与されたメタテキストを表す。ここで、画像１のメタテキストは本来「山」となるべきところを、誤って「花」が付与されているとする（図９では、メタテキストのうち誤っている部分に「×」を付してある、図１２または図１３も同様）。これは人手によるメタテキスト作成の誤りや、画像認識などによりメタテキストを自動生成した際の誤りなどと考えることができる。
このとき、テキストクエリ「花」を入力して画像１との類似度を求めることを考える。ここで、よく行われているように、単純に画像１のメタテキストとクエリとを比較すると、両者が一致しているので、画像１のメタテキスト「花」が誤っているにも関わらず、クエリ「花」と画像１とは類似すると判定されてしまう。その結果、画像検索などの応用場面において、クエリ「花」によって、本当は「山」である画像１が検索されてしまうという誤りが生じる。
本発明の実施形態においては、まず、単独スコア計算手段１０４は、各画像データのメタテキストとクエリ「花」とを比較することで、各画像データの単独スコアを計算する。図９では、画像５、６のメタテキスト「花」がクエリと一致しているので、これらの画像の単独スコアを例えば１とする。すなわち、s(花, 5)=1、s(花, 6)=1となる。一方で、画像２〜４はメタテキスト「山」がクエリと一致していないので、これらの画像の単独スコアは０とする。すなわち、s(花, 2)=0、s(花, 3)=0、s(花, 4)=0となる。
次に、クエリ類似度計算手段１０５は、数式１に従って画像１とクエリ「花」との類似度score(花, 1)を計算する。ここで、図９では実線で示されている画像１と画像２，３，４間の類似度は１であるとし、破線で示されている画像１と画像５，６間の類似度は０であるとすると、f(1,2)=1、f(1,3)=1、f(1,4)=1、f(1,5)=0、f(1,6)=0となる。これらを数式１に代入すると、score(花, 1)=0となり、画像１とクエリ「花」とは類似していないと判定することができる。これは、画像１に類似する他の画像は、クエリ「花」に対する単独スコアが小さいためである。
一方、テキストクエリとして「山」を入力して画像１との類似度を求めることを考えると、これまで述べたのと全く同じ計算をすることにより、画像１とクエリ「山」との類似度は３と大きな値になり、画像１とクエリ「山」とは類似していると判定することができる。これは、画像１に類似する他の画像は、クエリ「山」に対する単独スコアが大きいためである。
以上で説明したように、本発明の実施形態では、ある画像データに誤ったメタテキストが付与されていても、ある画像データに類似する他の画像データに対する単独スコアを用いることで、ある画像データとクエリとの類似度を正しく求めることができる。これは、ある画像に類似する他の画像データの多くには正しいメタテキストが付与されていると期待できることを利用している。
なお、数式１のf(i,j)として画像データiと画像データjとの類似度を用いることで、画像データiにより類似する他の画像データの単独スコアをより重視することが可能となっている。言い換えれば、画像データiにより類似する画像データとクエリとの類似度ほど、画像データiとクエリとの類似度により近いと期待できることを反映することができるようになる。こうすることで、画像データiとクエリとの類似度としてより妥当な値を求めることができる。
また、f(i,j)は、例えば次の数式２のように計算しても良い。
Figure 0005257071
 ここで、dijはメディア間類似度計算手段１０３により計算された画像データiと画像データjとの類似度で、tは画像データiにどれだけ類似した画像まで考慮するかを定める閾値を表す。あるいは、数式２の代わりに、画像データ間の類似度dijが上位一定位以内の画像データjのみに重みf(i,j)を与え、一定位以下の画像データjの重みは0としても良い。
このように、画像データiとの類似度がある程度大きい画像データの単独スコアのみを用いることで、画像データiとの類似度が低い画像データの使用による類似度計算の劣化を抑えることができる。また、重みf(i,j)は、必ずしも数式２のようにメディア間類似度dijそのものである必要はなく、dijに応じて重みを調節する関数であっても良い。
また、画像データiとクエリqとの類似度score(q,i)は必ずしも数式１の形である必要はなく、例えば、画像データiに類似する他の画像データの単独スコアの平均値などであっても良い。
また、画像データiとクエリqとの類似度を計算するときに、画像データi自身の単独スコアs(q,i)を含めても含めなくても良い。画像データi自身の単独スコアの信頼性が高いときには画像データi自身の単独スコアs(q,i)に大きな重みをつけて考慮したほうが良い場合もある。
なお、本実施の形態では、メディアデータとして画像データを例に説明したが、本発明はメディアデータを画像データに限るものではない。例えば、メディアデータとして音声データを用いても同様の処理を行い、同様の効果を得ることができる。このとき、音声データ間の類似度は、例えば、音声波形のスペクトル形状を表すケプストラムベクトル間の距離などとして計算することができる。
次に、本実施の形態の効果について説明する。
本実施の形態では、あるメディアデータとクエリとの類似度を求める際に、前記あるメディアデータに類似する他のメディアデータのクエリに対する類似度を用いるため、前記あるメディアデータのメタテキストが誤っていても、前記あるメディアデータとクエリとが無関係であれば、類似度が小さいと判定できる(図９の例で、クエリ「花」の場合)。すなわち、前記あるメディアデータとクエリとが無関係であれば、前記あるメディアデータに類似する他の多くのメディアデータのクエリに対する類似度は小さいと期待できることを利用している。
また、同様の理由により、前記あるメディアデータのメタテキストが誤っていても、前記あるメディアデータとクエリとが関連していれば、類似度が大きいと判定できる(図９の例で、クエリ「山」の場合)。すなわち、前記あるメディアデータとクエリとが関連していれば、前記あるメディアデータに類似する他の多くのメディアデータのクエリに対する類似度は大きいと期待できることを利用している。
なお、本実施の形態で説明した類似度計算装置１００を用いて、クエリによるメディアデータの検索精度を向上したり、メディアデータに付与されているメタテキストを半自動で修正したりすることが可能となることはもちろんである。
本発明の実施形態によれば、あるメディアデータとクエリとの類似度を求める際に、そのメディアデータあるいはそのメタデータに何らかの誤りが含まれていても、そのメディアデータとクエリとが無関係であれば、そのメディアデータとクエリとの類似度を小さくできる。
その理由は、あるメディアデータとクエリとが無関係であれば、前記あるメディアデータに類似する他のメディアデータとクエリとの類似度は小さいと考えられるため、前記あるメディアデータに類似する他のメディアデータに対する単独スコアを用いることで、前記あるメディアデータとクエリとの類似度が小さいと判定することができるためである。
本発明の実施形態によれば、あるメディアデータとクエリとの類似度を求める際に、そのメディアデータあるいはそのメタデータに何らかの誤りが含まれていても、そのメディアデータとクエリとが関連していれば、そのメディアデータとクエリとの類似度を大きくできる。
その理由は、あるメディアデータとクエリとが関連していれば、前記あるメディアデータに類似する他のメディアデータとクエリとの類似度は大きいと考えられるため、前記あるメディアデータに類似する他のメディアデータに対する単独スコアを用いることで、前記あるメディアデータとクエリとの類似度が大きいと判定することができるためである。
本発明の実施形態によれば、クエリによりメディアデータを検索する際に、メディアデータあるいはそのメタデータに何らかの誤りが含まれている場合でも、クエリとは無関係なメディアデータが誤って検索されない。
その理由は、メディアデータあるいはそのメタデータに何らかの誤りが含まれていても、メディアデータとクエリとが無関係であれば、メディアデータとクエリとの類似度が小さくなる類似度計算装置を用いてメディアデータを検索するためである。
本発明の実施形態によれば、クエリによりメディアデータを検索する際に、メディアデータあるいはそのメタデータに何らかの誤りが含まれている場合でも、クエリと関連するメディアデータを正しく検索できる。
その理由は、メディアデータあるいはそのメタデータに何らかの誤りが含まれていても、メディアデータとクエリとが関連していれば、メディアデータとクエリとの類似度が大きくなる類似度計算装置を用いてメディアデータを検索するためである。
（実施形態２）
次に、本発明の実施形態２に係る類似度計算装置２００について図２を参照して詳細に説明する。
本発明の実施形態２に係る類似度計算装置２００は図２に示すように、あるメディアデータとクエリとの類似度を求める装置であって、前記あるメディアデータとは異なる第２のメディアデータに対して前記クエリとの類似度を表す単独スコアを計算する単独スコア計算手段２０４と、前記第２のメディアデータに対して前記あるメディアデータとの類似度を表すメディア間類似度を計算するメディア間類似度計算手段２０３と、前記第２のメディアデータの前記メディア間類似度と前記単独スコアとを用いて、前記あるメディアデータと前記クエリとの類似度を求めるクエリ類似度計算手段２０５、とから構成されている。
メディアデータ記憶手段２０１は、前記あるメディアデータを含めて様々なメディアデータを記憶する。メタテキスト記憶手段２０２は、メディアデータ記憶手段２０１が記憶するメディアデータの内容を表すメタテキストをメディアデータと対応付けた状態で記憶する。
メディア間類似度計算手段２０３は、メディアデータ記憶手段２０１が記憶するメディアデータのそれぞれに対して、前記あるメディアデータとの類似度を表すメディア間類似度を計算する。本実施の形態では、メディアデータに対応するメタテキスト同士を比較することで、メディア間類似度を計算する。
単独スコア計算手段２０４は、メディアデータ記憶手段２０１が記憶するメディアデータのそれぞれに対して、前記クエリとの類似度を表す単独スコアを計算する。本実施の形態では、メディアデータと前記クエリとを直接比較することで、単独スコアを計算する。
クエリ類似度計算手段２０５は、メディアデータのそれぞれに対して計算された前記あるメディアデータとのメディア間類似度、および前記クエリとの類似度を用いて、前記あるメディアデータと前記クエリとの類似度を計算する。
次に、図２のブロック図、図６の流れ図、図１０および図１１の具体例を示す図を参照して、本実施の形態の全体の動作について詳細に説明する。
本実施の形態の説明では、メディアデータ記憶手段２０１は画像データを記憶し、メタテキスト記憶手段２０２は各画像データを説明するメタテキストを記憶しているものとする。また、ここではメタテキストは画像を説明する文書であるとする。このようなメタテキストは、例えば、人手によって画像データに付与することができる。
このようなデータに対してクエリを入力し(図６のステップ７０１)、ある画像データiとクエリとの類似度を求めることを考える。本実施の形態では、クエリは画像クエリであるとする。
まず、メディア間類似度計算手段２０３は、メディアデータ記憶手段２０１が記憶する画像データのそれぞれに対して、画像データiとの類似度を表すメディア間類似度を計算する(図６のステップ７０４)。本実施の形態では、画像データ間の類似度はメタテキスト記憶手段２０２が記憶するメタテキスト間の類似度を計算することによって求める。メタテキスト間の類似度は、文書ベクトルのコサイン類似度などのよく知られた汎用の技術によって計算することができる。
一方で、単独スコア計算手段２０４は、メディアデータ記憶手段２０１が記憶する画像データのそれぞれに対して、画像クエリとの類似度を表す単独スコアを計算する(図６のステップ７０２)。画像データと画像クエリとの類似度は、例えば、画像からカラーレイアウト記述子を抽出して比較するなどの汎用の技術を用いれば計算できる。
最後に、クエリ類似度計算手段２０５は、類似度計算装置１００のクエリ類似度計算手段１０５と同様の処理を行うことで、画像データiとクエリとの類似度を求める(図６のステップ７０３)。
図１０および図１１を用いて、本実施の形態の動作とその効果を具体的に説明する。
図１０において、画像７〜１０は富士山の画像を表し、それぞれに画像を説明するメタテキストが付与されている。また、画像７のみ富士山に雲がかかった(ノイズが存在する)画像となっている。画像８〜１０は、メディア間類似度計算手段２０３によって、メタテキストが画像７と類似していると判定された画像である。すなわち、画像７〜１０のメタテキスト中には「富士山」や「山頂」などの単語が共通に現れているため、これらの画像データ間が類似していると判定される。
このように、実施形態１の類似度計算装置１００では、画像データ間の類似度を画像の類似度に基づいて計算していたが、本実施の形態では画像データ間の類似度を画像に付与されているメタテキストの類似度に基づいて計算している点が異なる。
このとき、クエリとして図１１に示した画像クエリ１を入力して、画像７との類似度を求めることを考える。画像クエリ１は、ロケットの画像であるが画像７と同様に雲がかかって(ノイズが存在して)いる。ここで、画像クエリ１や画像７の雲(ノイズ)は画像データが表すべき本来のデータではない、すなわち画像データの誤りであると考えると、画像７(富士山)と画像クエリ１(ロケット)との類似度は小さくなるべきだが、従来よく行われているように画像クエリ１と画像７とを単純に画像として比較すると、雲(ノイズ)の部分の影響で両者の類似度が大きくなってしまうことも考えられる。
本実施形態においては、単独スコア計算手段２０４が、画像データ８〜１０と画像クエリ１との画像の類似度を表す単独スコアを計算し、これらは全く異なる画像であるため画像８〜１０の単独スコアは小さくなる。従って、クエリ類似度計算手段２０５が、数式１によって画像７とクエリ画像１との類似度を計算すると、その値は小さくなり、画像７と画像クエリ１とは類似していないと判定される。
一方、クエリとして図１１に示した画像クエリ２を入力して、画像７との類似度を求めることを考える。画像クエリ２は富士山であり、同じく富士山の画像である画像７との類似度が大きくなって欲しいが、画像７と画像クエリ２と単純に画像として比較すると画像７のノイズ(雲)のために両者の類似度が小さくなってしまうと考えられる。
本実施形態においては、画像７に類似するメタテキストを持つ画像８〜１０と画像クエリ２との画像の類似度が大きいため、数式１によって計算される画像７と画像クエリ２との類似度が大きくなり、画像７と画像クエリ２とは類似していると判定される。
以上で説明したように、本実施形態では、ある画像データにノイズが存在する場合でも、ある画像データに類似するメタテキストを持つ他の画像データに対する単独スコアを用いることで、ある画像データとクエリとの類似度を正しく求めることができる。これは、ある画像データに類似するメタテキストを持つ他の画像データの多くではノイズが存在しないと期待できることを利用している。
なお、本実施の形態のように、メタテキスト間の類似度を計算することで画像データ間の類似度を求めることで、意味内容の類似性に基づいて他の画像データの単独スコアに重み付けすることができる。その結果、本実施の形態では、ある画像データとクエリ画像との類似度を、クエリ画像との意味内容の近さに基づいて求めることが可能となる。また、メタテキスト間の類似度を用いることで、画像間の類似度を計算するのに比べて高速に計算可能であるという利点もある。
次に、本実施の形態の効果について説明する。
本実施の形態では、あるメディアデータとクエリとの類似度を求める際に、前記あるメディアデータに類似する他のメディアデータのクエリに対する類似度を用いるため、前記あるメディアデータ自身に誤りが含まれていても、前記あるメディアデータとクエリとが無関係であれば、類似度が小さいと判定できる(画像クエリ１の場合)。
また、同様の理由により、前記あるメディアデータ自身に誤りが含まれていても、前記あるメディアデータとクエリとが関連していれば、類似度が大きいと判定できる(画像クエリ２の場合)。
さらに、メディアデータ間の類似度をメタテキスト間の類似度によって計算するため、あるメディアデータとクエリとの類似度を意味内容の近さに基づいて求めることができる。
（実施形態３）
次に、本発明の実施形態３に係る類似度計算装置３００について図３を参照して詳細に説明する。
本発明の実施形態３に係る類似度計算装置３００は図３に示すように、あるメディアデータとクエリとの類似度を求める装置であって、メディアデータからメディアデータの内容を表すメタテキストを生成するメタテキスト生成手段３０６と、前記あるメディアデータとは異なる第２のメディアデータに対して前記クエリとの類似度を表す単独スコアを計算する単独スコア計算手段３０４と、前記第２のメディアデータに対して前記あるメディアデータとの類似度を表すメディア間類似度を計算するメディア間類似度計算手段３０３と、前記第２のメディアデータの前記メディア間類似度と前記単独スコアとを用いて、前記あるメディアデータと前記クエリとの類似度を求めるクエリ類似度計算手段３０５、とから構成されている。
メディアデータ記憶手段３０１は、前記あるメディアデータを含めて様々なメディアデータを記憶する。メタテキスト生成手段３０６は、メディアデータを処理してメディアデータの内容を表すメタテキストを生成する。メタテキスト記憶手段３０２は、メタテキスト生成手段３０６が生成するメタテキストをメディアデータと対応付けた状態で記憶する。
メディア間類似度計算手段３０３は、メディアデータ記憶手段３０１が記憶するメディアデータのそれぞれに対して、前記あるメディアデータとの類似度を表すメディア間類似度を計算する。メディア間類似度は、メタテキスト記憶手段３０２が記憶するメタテキスト同士を比較することで計算する。
単独スコア計算手段３０４は、メディアデータ記憶手段３０１が記憶するメディアデータのそれぞれに対して、前記クエリとの類似度を表す単独スコアを計算する。単独スコアは、メタテキスト記憶手段３０２が記憶するメタテキストと前記クエリとを比較することで計算する。
クエリ類似度計算手段３０５は、メディアデータのそれぞれに対して計算された前記あるメディアデータとのメディア間類似度、および前記クエリとの類似度を用いて、前記あるメディアデータと前記クエリとの類似度を計算する。
次に、図３のブロック図、図７の流れ図、図１２および図１３の具体例を示す図を参照して、本実施の形態の全体の動作について詳細に説明する。本実施の形態の説明では、メディアデータ記憶手段３０１は音声データを記憶しているものとする。
まず、メタテキスト生成手段３０６は、メディアデータ記憶手段３０１が記憶する音声データを読み込み、音声認識を用いて音声データ中の発話内容をテキスト化し、認識結果テキストをメタテキスト記憶手段３０２に記憶する(図７のステップ８０５)。
このようなデータに対してクエリを入力し(図７のステップ８０１)、ある音声データiとクエリとの類似度を求めることを考える。本実施の形態では、クエリはテキストクエリであるとする。テキストクエリは、キーボードによって入力しても良いし、マイクに向かって発話した音声を音声認識によってテキスト化することで入力しても良いし、タッチペンで描いた文字を文字認識によってテキスト化することで入力しても良い。あるいは、何らかのプログラムにより自動生成されたテキストをクエリとして本実施の形態を動作させても良い。
メディア間類似度計算手段３０３は、メディアデータ記憶手段３０１が記憶する音声データのそれぞれに対して、音声データiとの類似度を表すメディア間類似度を計算する(図７のステップ８０４)。メディア間類似度計算手段３０３は、音声データ間の類似度を、メタテキスト記憶手段３０２が記憶するメタテキスト間の類似度により求める。メタテキスト間の類似度は、例えば、既に良く知られた方法である文書ベクトル間のコサイン類似度などを用いればよい。すなわち、メタテキストを形態素に分割して名詞や動詞などを抽出し、その出現頻度やtf・idf値を要素とする文書ベクトルを作成し、文書ベクトル間のコサインをメタテキスト間の類似度とすればよい。
一方で、単独スコア計算手段３０４は、メディアデータ記憶手段３０１が記憶する音声データのそれぞれに対して、クエリとの類似度を表す単独スコアを計算する(図７のステップ８０２)。クエリと音声データとの類似度は、メタテキスト記憶手段３０２が記憶するメタテキストとテキストクエリとを比較することで求める。これは、クエリがメタテキスト中に含まれるかどうかによって算出しても良いし、クエリがメタテキスト中に出現する回数を元に算出しても良い。また、クエリが文書であれば、さきほど説明したような文書ベクトル間のコサイン類似度などを用いても良い。
クエリ類似度計算手段３０５は、類似度計算装置１００のクエリ類似度計算手段１０５と同様の処理を行うことで、音声データiとクエリとの類似度を求める(図７のステップ８０３)。すなわち、クエリ類似度計算手段３０５は、クエリとの類似度を求めたい音声データをiとし、音声データの集合をM、音声データiと音声データjとの類似度をdij、クエリqに対する音声データjの単独スコアをs(q,j)とするとき、音声データiとクエリqとの類似度score(q,i)を、例えば、数式１や数式２を用いて計算する。このようにすることで、音声データiと類似するメタテキストを持つ他の音声データの多くがクエリqと類似しているときに、音声データiとクエリqとの類似度score(q,i)は大きな値となる。その結果、音声データi自身のメタテキストの誤りに頑健な類似度計算が可能となる。
図１２および図１３を用いて、本実施の形態の動作とその効果を具体的に説明する。
図１２において、映像１〜３は日本の神話の一つである「因幡の白うさぎ」に関する映像（音声付の動画データ）を表し、それぞれに対して音声認識によって得られた認識結果テキストがメタテキストとして付与されている。ただし、映像１では、「(正)因幡」を「(誤)イナバウアー」と誤認識してしまっている。映像１は「因幡」を正しく認識できていないものの、認識結果テキスト中には「白うさぎ」「鳥取」「伝説」「お土産」などの単語が映像２〜３と共通に出現しているため、映像１と映像２〜３とは類似していると判定される。
このとき、テキストクエリとしてフィギュアスケートの技の一つである「イナバウアー」を入力して、映像１との類似度を求めることを考える。従来よく行われているように、クエリと映像１のメタテキストとを直接比較すると、映像１のメタテキストでは「因幡」が誤認識されて「イナバウアー」が存在するので、映像１はイナバウアーとは無関係であるにも関わらず、映像１とクエリ「イナバウアー」との類似度は大きくなってしまう。その結果、映像検索などの応用場面を考えると、クエリ「イナバウアー」によって映像１が誤って検索されてしまうという問題が生じる。
本発明の実施形態においては、単独スコア計算手段３０４は、映像１とは異なる他の映像２〜３とクエリ「イナバウアー」との類似度を表す単独スコアを計算する。その結果、映像２〜３のメタテキストに「イナバウアー」は存在しないため、それぞれの単独スコアは小さくなる。従って、クエリ類似度計算手段３０５が、例えば数式１によって、映像１とクエリ「イナバウアー」との類似度を計算すると、その値は小さくなり、映像１とクエリ「イナバウアー」とは類似していないと判定される。
すなわち、図１２の例においては、映像１の音声認識結果ではたまたま「イナバウアー」と誤認識されていても、映像１に類似する他の映像２〜３でも同様に「イナバウアー」と誤認識されることは少ないと期待できることを利用することで、認識結果テキスト中の誤りに頑健な類似度計算を可能としている。
一方、図１３において、映像４〜７は「イナバウアー」に関する映像を表し、それぞれに対して音声認識によって得られた認識結果テキストがメタテキストとして付与されている。ただし、映像４では、「(正)イナバウアー」を「(誤)稲葉うわぁ」と誤認識してしまっている。映像４は「イナバウアー」を正しく認識できていないものの、認識結果テキスト中には「フィギュアスケート」「金メダル」「オリンピック」などの単語が映像５〜７と共通に出現しているため、映像４と映像５〜７とは類似していると判定される。これらの単語は、「イナバウアー」に関する話題において共通に出現しやすい単語であると考えられる。
このとき、テキストクエリとして「イナバウアー」を入力して、映像４との類似度を求めることを考える。映像４のメタテキストでは「イナバウアー」が誤認識されて「稲葉うわぁ」となってしまっているため、クエリと映像４のメタテキストとの直接比較では、映像４はイナバウアーに関する映像であるにも関わらず、映像４とクエリ「イナバウアー」との類似度は小さくなってしまう。その結果、映像検索などの応用場面を考えると、クエリ「イナバウアー」によって映像４を検索することができないという問題が生じる。
本発明の実施形態においては、単独スコア計算手段３０４は、映像４とは異なる他の映像５〜７とクエリ「イナバウアー」との類似度を表す単独スコアを計算する。映像４に類似するメタテキストを持つ映像５〜７は、映像４と意味内容の類似する映像、すなわちイナバウアーに関連する映像である。実際、この例では、映像５〜７のメタテキスト中に「イナバウアー」が存在するため、映像５〜７の単独スコアは大きくなる。従って、クエリ類似度計算手段３０５が、例えば数式１によって、映像４とクエリ「イナバウアー」との類似度を計算すると、その値は大きくなり、映像４とクエリ「イナバウアー」とは類似していると判定される。
すなわち、図１３の例においては、映像４ではたまたま「イナバウアー」が認識できていなくても、映像４に類似する他の映像５〜７では「イナバウアー」が正しく認識できることが多いと期待できることを利用することで、認識結果テキスト中の誤りに頑健な類似度計算を可能としている。
以上述べたように、本発明の実施形態では、類似する音声認識結果テキストを持つ音声データ同士は意味内容が類似している、ある音声データのメタテキストに認識誤りが含まれる場合でも類似する音声データに同様の誤りが含まれることは少ない、メタテキストに多少の誤りが含まれていてもメタテキスト間の類似度計算の精度はそれほど劣化しない、といった性質を利用することで、メタテキストに認識誤りが含まれる場合でもある音声データとクエリとの類似度を正しく求めることができる。
なお、本実施の形態では、メディアデータとして音声データを例に説明したが、本発明はメディアデータを音声データに限るものではない。例えば、メディアデータが画像データや文字画像データである場合に画像認識や文字認識によってメタテキストを生成したり、メディアデータがテキストクエリとは異なる言語で表されるテキストデータである場合に自動翻訳によってメタテキストを生成したりするとき、本実施の形態と同様の処理を行うことで、画像認識・文字認識・自動翻訳では避けることができない誤りに対して頑健な類似度計算が可能となる。
次に、本実施の形態の効果について説明する。
本実施の形態では、あるメディアデータとクエリとの類似度を求める際に、前記あるメディアデータに類似する他のメディアデータのクエリに対する類似度を用いるため、前記あるメディアデータから生成されたメタテキストに誤りが含まれていても、前記あるメディアデータとクエリとが無関係であれば、類似度が小さいと判定できる(図１２の例)。
また、同様の理由により、前記あるメディアデータから生成されたメタテキストに誤りが含まれていても、前記あるメディアデータとクエリとが関連していれば、類似度が大きいと判定できる(図１３の例)。
本実施の形態のようにメディアデータからメタテキストを自動で生成する場合にはメタテキストに誤りが含まれることを避けることができないため、本発明による効果は非常に大きい。
なお、本実施の形態で説明した類似度計算装置を用いることで、メディアデータから自動でメタテキストを生成してテキストクエリによって検索する場合の検索精度を向上したり、メディアデータから自動で生成されたメタテキストを半自動で修正したりすることが可能となることはもちろんである。
（実施形態４）
次に、本発明の実施形態４に係る類似度計算装置３００ａについて図面を参照して詳細に説明する。
本発明の実施形態４に係る類似度計算装置３００ａは、図３に示した類似度計算装置３００の構成と同様であり、メタテキスト生成手段３０６がメタテキストの正確さを表す信頼度とともにメタテキストを生成し、単独スコア計算手段３０４が信頼度の大きなメタテキストにより大きな重みをつけて単独スコアを計算し、メディア間類似度計算手段３０３が信頼度の大きなメタテキストにより大きな重みをつけてメタテキスト間の類似度を計算することでメディアデータ間の類似度を計算するよう動作する点が異なる。
次に、図３のブロック図を参照して、本実施の形態の全体の動作について詳細に説明する。
まず、メディアデータ記憶手段３０１、メタテキスト記憶手段３０２、クエリ類似度計算手段３０５は、それぞれ類似度計算装置３００の各手段と同様の動作を行うため、説明を省略する。
メタテキスト生成手段３０６は、メディアデータの内容を表すテキストを生成する際に、そのテキストの正確さを表す信頼度も出力する。音声認識、文字認識、自動翻訳などによる出力テキストの正確さを表す信頼度を求める方法は、従来いくつか知られている。例えば、音声認識や文字認識や自動翻訳において結果として出力された仮説の事後確率を信頼度としたり、あるいはもっと単純に複数の音声認識装置や文字認識装置や自動翻訳装置を用意してその結果の一致度を信頼度としたりしてもよい。また、信頼度はメタテキスト全体に付与しても良いし、テキスト中の単語単位で付与しても良い。
単独スコア計算手段３０４は、信頼度に応じた重みをメタテキストにつけてクエリと比較する。例えば、映像データから音声認識を用いてメタテキストを生成する場合、背景雑音などの影響により認識精度が低下する部分は一般に信頼度も低くなる。このように信頼度の低いメタテキストとクエリとが一致した場合には、単独スコアを通常よりも小さく評価する。こうすることで単独スコアの精度が高まり、その結果、単独スコアを元に計算されるメディアデータとクエリとの類似度の精度も高まる。
また、メディア間類似度計算手段３０３は、信頼度に応じた重みをメタテキストにつけてメタテキスト間の類似度を計算することでメディアデータ間の類似度を計算する。例えば、メタテキストから文書ベクトルを作成するときに信頼度の高い単語のみを用いる、などとする。こうすることでメディアデータ間の類似度の精度が高まり、その結果、これを用いて計算されるメディアデータとクエリとの類似度の精度も高まる。
なお、本実施の形態では、単独スコア計算手段３０４とメディア間類似度計算手段３０３の両方でメタテキストの信頼度を用いたが、単独スコア計算手段のみで信頼度を用いても、メディア間類似度計算手段のみで信頼度を用いても、もちろん効果はある。
次に、本実施の形態の効果について説明する。
本実施の形態では、メタテキストの正確さを表す信頼度が大きい、すなわち誤りの少ないメタテキストに重みをつけてメディアデータの単独スコアやメディアデータ間の類似度を計算するため、それぞれの精度が高まり、メディアデータとクエリとの類似度をより正確に計算することができる。
（実施形態５）
次に、本発明の実施形態５に係る類似度計算装置４００について図面を参照して詳細に説明する。
本発明の実施形態５に係る類似度計算装置４００の構成は図４に示すように、図３に示す類似度計算装置３００の構成に加えて、関連テキスト記憶手段４０７を備え、単独スコア計算手段４０４およびメディア間類似度計算手段４０３が関連テキストに対する単独スコアおよびメディア間類似度も計算し、クエリ類似度計算手段４０５が関連テキストに対するメディア間類似度と単独スコアも用いてメディアデータとクエリとの類似度を計算する点が異なる。
次に、図４のブロック図を参照して、本実施の形態の全体の動作について詳細に説明する。
まず、メディアデータ記憶手段４０１、メタテキスト生成手段４０６、メタテキスト記憶手段４０２は、それぞれ図３に示した各手段と同様の動作を行うため、説明を省略する。
関連テキスト記憶手段４０７は、メディアデータ記憶手段４０１が記憶するメディアデータに内容が関連するテキストデータを記憶する。例えば、メディアデータとしてニュース番組映像を用いる場合は、関連テキストとして新聞記事テキストを用意すればよい。また、例えば、メディアデータとして教育用ビデオを用いる場合は、関連テキストとして教材テキストを用意すればよい。関連テキストとして用意するテキストデータは、なるべく誤りの少ない信頼性の高いテキストであることが望ましい。
単独スコア計算手段４０４は、メディアデータ記憶手段４０１が記憶するメディアデータに加えて、関連テキスト記憶手段４０７が記憶する関連テキストのそれぞれに対してもクエリとの類似度を表す単独スコアを計算する。関連テキストに対する単独スコアの計算方法は、第３の実施の形態におけるメディアデータに対する単独スコアの計算方法と同様でよい。
メディア間類似度計算手段４０３は、メディアデータ記憶手段４０１が記憶するメディアデータに加えて、関連テキスト記憶手段４０７が記憶する関連テキストのそれぞれに対してもメディア間類似度を計算する。関連テキストに対するメディア間類似度の計算方法は、第３の実施の形態におけるメタテキスト間の類似度の計算方法と同様でよい。
最後に、クエリ類似度計算手段４０５は、関連テキストのメディア間類似度と単独スコアも用いて、メディアデータとクエリとの類似度を計算する。
このようにすることで、例えば、メディアデータとしてニュース番組映像を、メタテキスト生成手段として音声認識を、関連テキストとして新聞記事を用いた場合、メタテキストに絶対に出力されない音声認識の未知語（音声認識等に用いる辞書に登録されていない語）をクエリとした場合でも、関連テキストとして用意した新聞記事中にその未知語が存在すれば、メディアデータとクエリとの類似度を求めることができる。
また、本実施の形態において、単独スコア計算手段４０４は、関連テキストの単独スコアがメディアデータの単独スコアよりも大きくなるように重みをつけてもよい。たとえば極端には、メディアデータの単独スコアは常に0とすることで、関連テキストのみを用いても良い。関連テキストとして用意したテキストの信頼性が非常に高い場合や、メディアデータから生成されたメタテキストをあまり信用できない場合にこのようにすることで、メディアデータとクエリとの類似度を精度良く計算することができる。
次に、本実施の形態の効果について説明する。
本実施の形態では、メディアデータに関連するテキストデータを用意するため、音声認識や文字認識や自動翻訳などを用いてメディアデータから自動で生成されたメタテキストには絶対に出力されない未知語などをクエリとしても、メディアデータとクエリとの類似度を計算することができる。
（実施形態６）
次に、本発明の実施形態６に係る類似度計算装置５００について図面を参照して詳細に説明する。
本発明の実施形態６に係る類似度計算装置５００は図５に示すように、あるメディアデータとクエリとの類似度を求める装置であって、図３に示した類似度計算装置３００の構成に加えて、クエリ生成難度計算手段５０７を備える。
クエリ生成難度計算手段５０７は、メタテキスト生成手段５０６によるクエリの生成難度を計算する。
クエリ類似度計算手段５０５は、前記生成難度が大きい場合に前記あるメディアデータとの類似度が小さなメディアデータにも大きな重みをつけて前記単独スコアの和をとることで、前記あるメディアデータと前記クエリとの類似度を計算する。
次に、図５のブロック図を参照して、本実施の形態の全体の動作について詳細に説明する。
まず、メディアデータ記憶手段５０１、メタテキスト生成手段５０６、メタテキスト記憶手段５０２、メディア間類似度計算手段５０３、単独スコア計算手段５０４は、それぞれ図３に示した類似度計算装置３００の各手段と同様の動作を行うため、説明を省略する。
クエリ生成難度計算手段５０７は、メタテキスト生成手段によるクエリの生成難度を計算する。ここで、クエリの生成難度が高いとは、メタテキスト生成手段によってクエリがなかなか生成されない、という意味である。例えば、音声認識において、言語モデルでの出現確率が極めて低く割り当てられている単語などは、たとえ音声データ中にその単語が現れてもなかなか認識結果に現れない。このような単語を生成難度が大きいと判定する。認識結果に現れることのない未知語についても生成難度が大きいと判定するようにすればよい。
クエリ類似度計算手段５０５は、クエリの生成難度が大きい場合に、前記あるメディアデータとの類似度が小さなメディアデータにも大きな重みをつけて前記単独スコアの和をとることで、前記あるメディアデータと前記クエリとの類似度を計算する。例えば、数式２において、メタテキスト生成手段による生成難度が大きいクエリに対しては、閾値tを小さくするなどの方法が考えられる。他にも、数式１の重み関数f(i,j)をクエリの生成難度に応じて変更しても良い。
このようにすることで、生成難度が大きく音声認識等ではなかなか認識することができないテキストがクエリとして入力されても、前記あるメディアデータとの類似度をある程度求めることができるようになる。
また、類似度計算装置４００では、関連テキストを用意することで、メタテキスト生成手段の未知語をクエリとしてもメディアデータとの類似度を求めることが可能となったが、このとき、クエリ生成難度計算手段５０７は、未知語をクエリとしたときには生成難度が大きいと判定することができる。
次に、本実施の形態の効果について説明する。
本実施の形態では、メタテキスト生成手段５０６によってなかなか生成されないクエリとあるメディアデータとの類似度を求める際に、前記あるメディアデータとの類似度が小さなメディアデータにも大きな重みをつけて前記単独スコアの和をとるため、このような生成難度の大きいクエリに対しても前記あるメディアデータとの類似度を求めることができるようになる。
（実施形態７）
上述した類似度計算装置１００〜５００は、ハードウェアとして構築したが、これに限られるものではない。上述した実施形態１〜６に係る類似度計算装置１００〜５００を、コンピュータに実行させるソフトウェアとしてのプログラムとして構成してもよいものである。この例を実施形態７として説明する。
図８に示すように、コンピュータ９００は、MPU(Micro Processing Unit)等を含んで構成されるデータ処理装置９１０と、磁気ディスクや半導体メモリ等で構成される記憶装置９２０とを有しており、さらに、コンピュータ９００は、情報検索用プログラム９３０を記憶している。
記憶装置９２０は、メディアデータ記憶手段９２１、メタテキスト記憶手段９２２、関連テキスト記憶手段９２３、などとして使用される。
データ処理装置９１０は、情報検索用プログラム９３０を読み出して、そのプログラム９３０を実行することにより、仮想的に実施形態１〜６における機能手段を実現する。すなわち、データ処理装置９１０は、情報検索用プログラム９３０の制御により、単独スコア計算手段１０４、２０４、３０４、４０４、５０４、クエリ類似度計算手段１０５、２０５、３０５、４０５、５０５、メディア間類似度計算手段１０３、２０３、３０３、４０３、５０３、メタテキスト生成手段３０６、４０６、５０６、クエリ生成難度計算手段５０７、などを仮想的に実現する。
図１４は、図８に示すコンピュータ９００を利用して、情報検索装置１０００とウェブサーバ１１００とを構成したものである。図１４に示す情報検索装置１０００は、類似度計算装置１００，２００，３００，３００ａ，４００，５００のいずれか一つ（以下では、１００として表記する）と、検索結果生成手段１０１０と備えている。
情報検索装置１０００は、クライアント１２００と通信ネットワークを介して接続されており、クライアント１２００は、通信ネットワークを介して情報検索装置１０００の類似度計算装置１００にアクセス可能な構成となっている。
クライアント１２００からアクセスがあった場合、情報検索装置１０００の類似度計算装置１００は、クライアント１２００からのクエリを受信し、このクエリとウェブサーバ１１００の検索対象メディアデータ記憶手段１１１０に記憶されているメディアデータ１等の検索対象となるメディアデータのそれぞれとの類似度を計算する。すなわち、メディアデータ１等をあるメディアデータとしてクエリとの間の類似度を計算する。
このとき、他のメディアデータとしては、ウェブサーバ１１００に記憶されている検索対象メディアデータを用いてもよいし、類似度計算装置１００のメディアデータ記憶手段に記憶されているメディアデータやその関連テキストを用いるようにしてもよい。
検索結果生成手段１０１０は、類似度計算装置１００が算出した類似度に基づいて検索結果を生成し、これをクライアント１２００に返信する。検索結果は、例えば、クエリとの類似度が所定の閾値を上回るメディアデータのＵＲＬ(Uniform Resource Locator)のリストとすることができる。
本実施形態において、検索対象のメディアデータは、類似度計算装置１００等がアクセス可能な位置であれば、その物理的な格納位置は問わない。例えば、情報検索装置１０００に内蔵されている記憶装置や、情報検索装置１０００とファイバーチャネルで接続されたストレージ装置に格納されていてもよい。また、複数の装置に分散して格納されていてもよい。
また、クエリは、クライアント１２００が備えるキーボード等の入力手段から入力するようにし、検索結果はディスプレイ装置やプリンタ等の出力手段に出力するようにしてもよい。
次に、本実施の形態の効果について説明する。
第１の効果は、クエリによりメディアデータを検索する際に、メディアデータあるいはそのメタデータに何らかの誤りが含まれている場合でも、クエリとは無関係なメディアデータを誤って検索しないことにある。
その理由は、メディアデータあるいはそのメタデータに何らかの誤りが含まれていても、メディアデータとクエリとが無関係であれば、メディアデータとクエリとの類似度が小さくなる類似度計算装置を用いてメディアデータを検索するためである。
第２の効果は、クエリによりメディアデータを検索する際に、メディアデータあるいはそのメタデータに何らかの誤りが含まれている場合でも、クエリと関連するメディアデータを正しく検索できることにある。
その理由は、メディアデータあるいはそのメタデータに何らかの誤りが含まれていても、メディアデータとクエリとが関連していれば、メディアデータとクエリとの類似度が大きくなる類似度計算装置を用いてメディアデータを検索するためである。
次に、本発明の他の実施形態について説明する。
第２のメディアデータは複数のメディアデータから構成され、単独スコア計算手段は、第２のメディアデータに含まれるそれぞれのメディアデータに対して単独スコアを計算し、メディア間類似度計算手段は、それぞれのメディアデータに対してメディア間類似度を計算し、クエリ類似度計算手段は、それぞれのメディアデータのメディア間類似度と単独スコアとを用いて、あるメディアデータとクエリとの類似度を求めるよう動作するようにしてもよいものである。
前記クエリ類似度計算手段は、第２のメディアデータに含まれるそれぞれのメディアデータのメディア間類似度に応じたそれぞれのメディアデータの単独スコアの重みつき和をあるメディアデータとクエリとの類似度とするよう動作するようにしてもよいものである。
前記メディア間類似度計算手段は、メディアデータの内容を表すメタテキスト間の類似度を計算するよう動作するようにしてもよいものである。
クエリとしてテキストクエリを用い、前記単独スコア計算手段は、メディアデータの内容を表すメタテキストとテキストクエリとを比較することで単独スコアを計算するよう動作するようにしてもよいものである。
クエリとしてテキストクエリを用い、単独スコア計算手段は、メディアデータの内容を表すメタテキストとテキストクエリとを比較することで単独スコアを計算し、前記メディア間類似度計算手段は、前記メタテキスト間の類似度を計算するよう動作するようにしてもよいものである。
メタテキストをメディアデータから自動的に生成するメタテキスト生成手段をさらに備えるようにしてもよいものである。
前記メタテキスト生成手段は、メタテキストの正確さを表す信頼度と共にメタテキストを生成し、メディア間類似度計算手段は、信頼度の大きなメタテキストにより大きな重みをつけてメタテキスト間の類似度を計算することでメディア間類似度を計算するよう動作するようにしてもよいものである。
前記メタテキスト生成手段は、メタテキストの正確さを表す信頼度と共にメタテキストを生成し、単独スコア計算手段は、信頼度の大きなメタテキストにより大きな重みをつけて単独スコアを計算するよう動作するようにしてもよいものである。
前記メタテキスト生成手段におけるテキストクエリと同一のテキストの生成難度を計算するクエリ生成難度計算手段をさらに備え、クエリ類似度計算手段は、第２のメディアデータのメディア間類似度と単独スコアと生成難度とを用いて、あるメディアデータとクエリとの類似度を求めるよう動作するようにしてもよいものである。
前記メタテキスト生成手段は辞書を用いてメタテキストを生成し、クエリ生成難度計算手段は、テキストクエリが辞書に登録されていない未知語である場合に生成難度を大きくするよう動作するようにしてもよいものである。
メディアデータとして音声データを用い、メタテキスト生成手段は、音声データを音声認識によりテキスト化することでメタテキストを生成するよう動作するようにしてもよいものである。
メディアデータとして画像データを用い、メタテキスト生成手段は、画像データを画像認識あるいは文字認識によりテキスト化することでメタテキストを生成するよう動作するようにしてもよいものである。ここで、「画像データ」には、静止画のデータと動画のデータの両方が含まれる。
メディアデータとして、テキストクエリとは異なる言語で表されるテキストデータを用い、メタテキスト生成手段は、テキストデータを自動翻訳によってテキストクエリと同じ言語のテキストに変換することでメタテキストを生成するよう動作するようにしてもよいものである。
あるメディアデータの関連テキストを記憶する関連テキスト記憶手段をさらに備え、単独スコア計算手段およびメディア間類似度計算手段およびクエリ類似度計算手段は、第２のメディアデータとして関連テキストを用いるよう動作するようにしてもよいものである。
情報検索装置としては、類似度計算装置を備え、この類似度計算装置が検索対象となるメディアデータのそれぞれをあるメディアデータとしてクエリとの類似度を計算し、この類似度に基づいてクエリに対する検索結果を生成する検索結果生成手段を備えるものであってもよいものである。
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は２００６年８月３日に出願された日本出願特願２００６−２１２６５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、インターネット上のサーバや個人で所有するＡＶパソコン、ハードディスクレコーダなどに蓄積されている映像、音声などの多様で大量のメディアデータを効率的に検索、視聴する情報検索システムや、情報検索システムをコンピュータに実現するためのプログラムといった用途に適用できる。また、会議の議事録や教育用のビデオなどを効率良く検索、管理するような企業内の情報共有システムといった用途にも適用可能である。さらに、様々なメディアデータへのメタデータ付与作業を効率化するための、メタデータ作成支援システムといった用途にも適用可能である。
本発明の第１の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第２の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第３、第４の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第５の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第６の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第１、第２の発明を実施するための最良の形態の全体の動作を示す流れ図である。 本発明の第３の発明を実施するための最良の形態の全体の動作を示す流れ図である。 本発明の第７の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第１の発明を実施するための最良の形態の具体例を示す図である。 本発明の第２の発明を実施するための最良の形態の具体例を示す図である。 本発明の第２の発明を実施するための最良の形態の具体例を示す図である。 本発明の第３の発明を実施するための最良の形態の具体例を示す図である。 本発明の第３の発明を実施するための最良の形態の具体例を示す図である。 本発明の第７の発明を実施するための最良の形態の構成を示すブロック図である。 従来の情報検索装置の構成を示すブロック図である。
符号の説明
１００ 類似度計算装置
１０１ メディアデータ記憶手段
１０２ メタテキスト記憶手段
１０３ メディア間類似度計算手段
１０４ 単独スコア計算手段
１０５ クエリ類似度計算手段
２００ 類似度計算装置
２０１ メディアデータ記憶手段
２０２ メタテキスト記憶手段
２０３ メディア間類似度計算手段
２０４ 単独スコア計算手段
２０５ クエリ類似度計算手段
３００ 類似度計算装置
３００ａ 類似度計算装置
３０１ メディアデータ記憶手段
３０２ メタテキスト記憶手段
３０３ メディア間類似度計算手段
３０４ 単独スコア計算手段
３０５ クエリ類似度計算手段
３０６ メタテキスト生成手段
４００ 類似度計算装置
４０１ メディアデータ記憶手段
４０２ メタテキスト記憶手段
４０３ メディア間類似度計算手段
４０４ 単独スコア計算手段
４０５ クエリ類似度計算手段
４０６ メタテキスト生成手段
４０７ 関連テキスト記憶手段
５００ 類似度計算装置
５０１ メディアデータ記憶手段
５０２ メタテキスト記憶手段
５０３ メディア間類似度計算手段
５０４ 単独スコア計算手段
５０５ クエリ類似度計算手段
５０６ メタテキスト生成手段
５０７ クエリ生成難度計算手段
６００ 情報検索装置
６０１ 入力手段
６０２ 音声認識手段
６０３ 拡張キー抽出手段
６０４ 拡張単語抽出手段
６０５ 関連情報検索手段
６０６ 外部データベース
６０７ 音声ドキュメント記述生成手段
６０８ 出力手段
９００ コンピュータ
９１０ データ処理装置
９２０ 記憶装置
９２１ メディアデータ記憶手段
９２２ メタテキスト記憶手段
９２３ 関連テキスト記憶手段
９３０ 類似度計算用プログラム
１０００ 情報検索装置
１０１０ 検索結果生成手段
１１００ ウェブサーバ
１１１０ 検索対象メディアデータ記憶手段
１２００ クライアント

Claims (9)

  1. メディアデータとクエリとの類似度を求める装置であって、
    前記クエリがテキストクエリであり、
    一のメディアデータに、前記一のメディアデータの内容を表す複数の単語から構成されるメタテキストが付与されており、
    前記一のメディアデータとは異なる他のメディアデータに、前記他のメディアデータの内容を表す複数の単語から構成されるメタテキストが付与されており、
    前記他のメディアデータに対して、前記他のメディアデータのメタテキストと前記テキストクエリとを比較することで、前記テキストクエリとの類似度を表す単独スコアを計算する単独スコア計算手段と、
    前記他のメディアデータに対して、前記他のメディアデータのメタテキストと前記一のメディアデータのメタテキストとの類似度を、それぞれのメタテキストに含まれる複数の単語から構成される集合間の類似度として計算することで、前記一のメディアデータとの類似度を表すメディア間類似度を計算するメディア間類似度計算手段と、
    前記メタテキストを前記メディアデータから自動的に生成するメタテキスト生成手段と、
    前記メタテキスト生成手段による前記メタテキストと同一のテキストの生成されにくさを表す生成難度を計算するクエリ生成難度計算手段と、
    前記生成難度が大きいほど値が小さくなるような閾値以上の前記メディアデータ間類似度をもつ他のメディアデータの前記メディア間類似度と前記単独スコアとを用いて前記一のメディアデータと前記テキストクエリとの類似度を求めるクエリ類似度計算手段と、を有することを特徴とする類似度計算装置。
  2. 前記メタテキスト生成手段は辞書を用いて前記メタテキストを生成し、
    前記クエリ生成難度計算手段は、前記テキストクエリが前記辞書に登録されていない未知語である場合に前記生成難度を大きくする、請求項１に記載の類似度計算装置。
  3. 請求項１又は２のいずれか一つに記載の類似度計算装置を備え、
    この類似度計算装置が検索対象となるメディアデータのそれぞれを前記あるメディアデータとして前記テキストクエリとの類似度を計算し、
    前記類似度に基づいて前記テキストクエリに対する検索結果を生成する検索結果生成手段を備えた情報検索装置。
  4. メディアデータとクエリとの類似度を求める類似度計算方法であって、
    前記クエリがテキストクエリであり、
    一のメディアデータに、前記一のメディアデータの内容を表す複数の単語から構成されるメタテキストが付与されており、
    前記一のメディアデータとは異なる他のメディアデータに、前記他のメディアデータの内容を表す複数の単語から構成されるメタテキストが付与されており、
    前記他のメディアデータに対して、前記他のメディアデータのメタテキストと前記テキストクエリとを比較することで、前記テキストクエリとの類似度を表す単独スコアを計算し、
    前記他のメディアデータに対して、前記他のメディアデータのメタテキストと前記一のメディアデータのメタテキストとの類似度を、それぞれのメタテキストに含まれる複数の単語から構成される集合間の類似度として計算することで、前記一のメディアデータとの類似度を表すメディア間類似度を計算し、
    前記メタテキストを前記メディアデータから自動的に生成し、
    前記生成された前記メタテキストと同一のテキストの生成されにくさを表す生成難度を計算し、
    前記生成難度が大きいほど値が小さくなるような閾値以上の前記メディアデータ間類似度をもつ他のメディアデータの前記メディア間類似度と前記単独スコアとを用いて前記一のメディアデータと前記テキストクエリとの類似度を求めることを特徴とする類似度計算方法。
  5. 辞書を用いて前記メタテキストを生成し、
    前記テキストクエリが前記辞書に登録されていない未知語である場合に前記生成難度を大きくする、請求項４に記載の類似度計算方法。
  6. 請求項１又は２のいずれか一つに記載の類似度計算装置を用い、
    この類似度計算装置が検索対象となるメディアデータのそれぞれを前記あるメディアデータとして前記テキストクエリとの類似度を計算し、
    前記類似度に基づいて前記テキストクエリに対する検索結果を生成する検索結果生成手段を備えた情報検索方法。
  7. メディアデータとクエリとの類似度を求める類似度計算プログラムであって、
    前記クエリとしてテキストクエリを用い、
    一のメディアデータに、前記一のメディアデータの内容を表す複数の単語から構成されるメタテキストが付与されており、
    前記一のメディアデータとは異なる他のメディアデータに、前記他のメディアデータの内容を表す複数の単語から構成されるメタテキストが付与されており、
    コンピュータに、
    前記他のメディアデータに対して、前記他のメディアデータのメタテキストと前記テキストクエリとを比較することで、前記テキストクエリとの類似度を表す単独スコアを計算する機能と、
    前記他のメディアデータに対して、前記他のメディアデータのメタテキストと前記一のメディアデータのメタテキストとの類似度を、それぞれのメタテキストに含まれる複数の単語から構成される集合間の類似度として計算することで、前記一のメディアデータとの類似度を表すメディア間類似度を計算する機能と、
    前記メタテキストを前記メディアデータから自動的に生成する機能と、
    前記生成された前記メタテキストと同一のテキストの生成されにくさを表す生成難度を計算する機能と、
    前記生成難度が大きいほど値が小さくなるような閾値以上の前記メディアデータ間類似度をもつ他のメディアデータの前記メディア間類似度と前記単独スコアとを用いて前記一のメディアデータと前記テキストクエリとの類似度を求める機能とを実行させることを特徴とする類似度計算プログラム。
  8. 前記コンピュータに、
    辞書を用いて前記メタテキストを生成する機能と、
    前記テキストクエリが前記辞書に登録されていない未知語である場合に前記生成難度を大きくする機能と、を実行させる、請求項７に記載の類似度計算プログラム。
  9. コンピュータに、請求項1又は２のいずれか一項に記載の類似度計算プログラムを組込み、
    前記コンピュータに前記類似度計算プログラムを実行させることにより、前記コンピュータに、検索対象となるメディアデータのそれぞれとテキストクエリとの類似度を計算し、前記類似度に基づいて前記テキストクエリに対する検索結果を生成する機能を実行させることを特徴とする情報検索プログラム。
JP2008527785A 2006-08-03 2007-08-02 類似度計算装置及び情報検索装置 Active JP5257071B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008527785A JP5257071B2 (ja) 2006-08-03 2007-08-02 類似度計算装置及び情報検索装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006212659 2006-08-03
JP2006212659 2006-08-03
JP2008527785A JP5257071B2 (ja) 2006-08-03 2007-08-02 類似度計算装置及び情報検索装置
PCT/JP2007/065140 WO2008016102A1 (fr) 2006-08-03 2007-08-02 dispositif de calcul de similarité et dispositif de recherche d'informations

Publications (2)

Publication Number Publication Date
JPWO2008016102A1 JPWO2008016102A1 (ja) 2009-12-24
JP5257071B2 true JP5257071B2 (ja) 2013-08-07

Family

ID=38997276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008527785A Active JP5257071B2 (ja) 2006-08-03 2007-08-02 類似度計算装置及び情報検索装置

Country Status (3)

Country Link
US (1) US8140530B2 (ja)
JP (1) JP5257071B2 (ja)
WO (1) WO2008016102A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008114811A1 (ja) * 2007-03-19 2010-07-08 日本電気株式会社 情報検索システム、情報検索方法及び情報検索用プログラム
EP2031819A1 (en) * 2007-09-03 2009-03-04 British Telecommunications Public Limited Company Distributed system
WO2010041744A1 (ja) * 2008-10-09 2010-04-15 国立大学法人 北海道大学 動画検索装置および動画検索プログラム
US8171043B2 (en) * 2008-10-24 2012-05-01 Yahoo! Inc. Methods for improving the diversity of image search results
GB0905562D0 (en) * 2009-03-31 2009-05-13 British Telecomm Electronic resource storage system
US20110313762A1 (en) * 2010-06-20 2011-12-22 International Business Machines Corporation Speech output with confidence indication
US20130091437A1 (en) * 2010-09-03 2013-04-11 Lester F. Ludwig Interactive data visulization utilizing hdtp touchpad hdtp touchscreens, advanced multitouch, or advanced mice
US8204890B1 (en) 2011-09-26 2012-06-19 Google Inc. Media content voting, ranking and playing system
US9460390B1 (en) * 2011-12-21 2016-10-04 Emc Corporation Analyzing device similarity
CN102890700B (zh) * 2012-07-04 2015-05-13 北京航空航天大学 一种基于体育比赛视频的相似视频片段检索方法
JP5963609B2 (ja) * 2012-08-23 2016-08-03 キヤノン株式会社 画像処理装置、画像処理方法
CN103000173B (zh) * 2012-12-11 2015-06-17 优视科技有限公司 一种语音交互方法及装置
JP6446987B2 (ja) * 2014-10-16 2019-01-09 日本電気株式会社 映像選択装置、映像選択方法、映像選択プログラム、特徴量生成装置、特徴量生成方法及び特徴量生成プログラム
US10289733B2 (en) * 2014-12-22 2019-05-14 Rovi Guides, Inc. Systems and methods for filtering techniques using metadata and usage data analysis
CN107273389A (zh) * 2016-04-08 2017-10-20 北京国双科技有限公司 庭审录像的查询方法和装置
CN106778686A (zh) * 2017-01-12 2017-05-31 深圳职业技术学院 一种基于深度学习和图论的拷贝视频检测方法和系统
US10719702B2 (en) * 2017-11-08 2020-07-21 International Business Machines Corporation Evaluating image-text consistency without reference
CN110959157B (zh) 2018-05-01 2024-03-12 谷歌有限责任公司 加速大规模相似性计算
JP7160099B2 (ja) * 2018-07-30 2022-10-25 富士通株式会社 表示制御プログラム、装置、及び方法
CN110210904A (zh) * 2019-05-31 2019-09-06 深圳市云歌人工智能技术有限公司 基于信息发布的奖励方法、装置及存储介质
CN110472499B (zh) * 2019-07-09 2024-01-30 平安科技（深圳）有限公司 一种行人重识别的方法及装置
CN112104892B (zh) * 2020-09-11 2021-12-10 腾讯科技（深圳）有限公司 一种多媒体信息处理方法、装置、电子设备及存储介质
CN112085120B (zh) * 2020-09-17 2024-01-02 腾讯科技（深圳）有限公司 多媒体数据的处理方法、装置、电子设备及存储介质
CN112699272B (zh) * 2021-01-06 2024-01-30 北京有竹居网络技术有限公司 信息输出方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301727A (ja) * 1993-04-16 1994-10-28 Toshiba Corp 概念階層における類似度テーブル作成装置
JPH0869475A (ja) * 1994-08-30 1996-03-12 Nec Corp 類似データ検索装置
JPH10289240A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JP2004348607A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索方法、コンテンツ検索システム、コンテンツ検索用プログラムおよびコンテンツ検索用プログラムが記録された記録媒体
JP2005070919A (ja) * 2003-08-20 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 想起型情報記憶装置
JP2005122324A (ja) * 2003-10-14 2005-05-12 Canon Sales Co Inc 書類電子化装置、方法、プログラム、及び該装置を備える書類電子化システム
JP2005250558A (ja) * 2004-03-01 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> 連鎖型記録探索装置
JP2005267171A (ja) * 2004-03-18 2005-09-29 Ntt Comware Corp 動画コンテンツ提供システム
JP2005352861A (ja) * 2004-06-11 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 電子データ処理方法、電子データ処理装置、および、電子データ処理プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240423B1 (en) * 1998-04-22 2001-05-29 Nec Usa Inc. Method and system for image querying using region based and boundary based image matching
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
KR20040041082A (ko) * 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
KR100451649B1 (ko) * 2001-03-26 2004-10-08 엘지전자 주식회사 이미지 검색방법과 장치
GB2377046A (en) * 2001-06-29 2002-12-31 Ibm Metadata generation
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US20030229896A1 (en) * 2002-06-10 2003-12-11 Koninklijke Philips Electronics N.V. Decision fusion of recommender scores through fuzzy aggregation connectives
US20040003403A1 (en) * 2002-06-19 2004-01-01 Marsh David J. Methods and systems for reducing information in electronic program guide and program recommendation systems
US20030237093A1 (en) * 2002-06-19 2003-12-25 Marsh David J. Electronic program guide systems and methods for handling multiple users
US20040001081A1 (en) * 2002-06-19 2004-01-01 Marsh David J. Methods and systems for enhancing electronic program guides
US7107520B2 (en) * 2002-11-18 2006-09-12 Hewlett-Packard Development Company, L.P. Automated propagation of document metadata
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
JP2004246824A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 音声ドキュメント検索方法及び装置及び音声ドキュメント検索プログラム
US20040267693A1 (en) * 2003-06-30 2004-12-30 Darryn Lowe Method and system for evaluating the suitability of metadata
US7321852B2 (en) * 2003-10-28 2008-01-22 International Business Machines Corporation System and method for transcribing audio files of various languages
US7814085B1 (en) * 2004-02-26 2010-10-12 Google Inc. System and method for determining a composite score for categorized search results
US7406462B2 (en) * 2004-10-19 2008-07-29 International Business Machines Corporation Prediction of query difficulty for a generic search engine
WO2006127660A2 (en) * 2005-05-23 2006-11-30 Picateers, Inc. System and method for collaborative image selection
US20070106653A1 (en) * 2005-10-12 2007-05-10 Yu Sun Search engine

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301727A (ja) * 1993-04-16 1994-10-28 Toshiba Corp 概念階層における類似度テーブル作成装置
JPH0869475A (ja) * 1994-08-30 1996-03-12 Nec Corp 類似データ検索装置
JPH10289240A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JP2004348607A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索方法、コンテンツ検索システム、コンテンツ検索用プログラムおよびコンテンツ検索用プログラムが記録された記録媒体
JP2005070919A (ja) * 2003-08-20 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 想起型情報記憶装置
JP2005122324A (ja) * 2003-10-14 2005-05-12 Canon Sales Co Inc 書類電子化装置、方法、プログラム、及び該装置を備える書類電子化システム
JP2005250558A (ja) * 2004-03-01 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> 連鎖型記録探索装置
JP2005267171A (ja) * 2004-03-18 2005-09-29 Ntt Comware Corp 動画コンテンツ提供システム
JP2005352861A (ja) * 2004-06-11 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 電子データ処理方法、電子データ処理装置、および、電子データ処理プログラム

Also Published As

Publication number Publication date
US20090319513A1 (en) 2009-12-24
WO2008016102A1 (fr) 2008-02-07
JPWO2008016102A1 (ja) 2009-12-24
US8140530B2 (en) 2012-03-20

Similar Documents

Publication Publication Date Title
JP5257071B2 (ja) 類似度計算装置及び情報検索装置
US10963499B2 (en) Generating command-specific language model discourses for digital assistant interpretation
US10176804B2 (en) Analyzing textual data
KR102241972B1 (ko) 환경 콘텍스트를 이용한 질문 답변
US11144729B2 (en) Summary generation method and summary generation apparatus
US8600752B2 (en) Search apparatus, search method, and program
US10997223B1 (en) Subject-specific data set for named entity resolution
US10896222B1 (en) Subject-specific data set for named entity resolution
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
US20070100814A1 (en) Apparatus and method for detecting named entity
US10929613B2 (en) Automated document cluster merging for topic-based digital assistant interpretation
US8688725B2 (en) Search apparatus, search method, and program
US20190205325A1 (en) Automated Discourse Phrase Discovery for Generating an Improved Language Model of a Digital Assistant
KR20090130028A (ko) 분산 음성 검색을 위한 방법 및 장치
JP2004005600A (ja) データベースに格納された文書をインデックス付け及び検索する方法及びシステム
KR20090111825A (ko) 언어 독립적인 음성 인덱싱 및 검색 방법 및 장치
US10592542B2 (en) Document ranking by contextual vectors from natural language query
JP2004133880A (ja) インデックス付き文書のデータベースとで使用される音声認識器のための動的語彙を構成する方法
JP2014186372A (ja) 図絵描画支援装置、方法、及びプログラム
KR20200087977A (ko) 멀티모달 문서 요약 시스템 및 방법
JP4738847B2 (ja) データ検索装置および方法
CN117043859A (zh) 查找表循环语言模型
JP2020016784A (ja) 認識装置、認識方法及び認識プログラム
US20190095525A1 (en) Extraction of expression for natural language processing
JP4175093B2 (ja) トピック境界決定方法及び装置及びトピック境界決定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130226

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5257071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150