JP6553776B1 - テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム - Google Patents

テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム Download PDF

Info

Publication number
JP6553776B1
JP6553776B1 JP2018125893A JP2018125893A JP6553776B1 JP 6553776 B1 JP6553776 B1 JP 6553776B1 JP 2018125893 A JP2018125893 A JP 2018125893A JP 2018125893 A JP2018125893 A JP 2018125893A JP 6553776 B1 JP6553776 B1 JP 6553776B1
Authority
JP
Japan
Prior art keywords
text
vector
image
similarity
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018125893A
Other languages
English (en)
Other versions
JP2020004322A (ja
Inventor
済央 野本
済央 野本
久子 浅野
久子 浅野
準二 富田
準二 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018125893A priority Critical patent/JP6553776B1/ja
Priority to PCT/JP2019/026132 priority patent/WO2020009067A1/ja
Application granted granted Critical
Publication of JP6553776B1 publication Critical patent/JP6553776B1/ja
Publication of JP2020004322A publication Critical patent/JP2020004322A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】精度よくテキスト間の類似度を算出することができるようにする。【解決手段】画像類似度計算部１２０が、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出し、テキストベクトル類似度計算部１４０が、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、テキスト類似度計算部１５０が、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出する。【選択図】図１

Description

本発明は、テキスト類似度算出装置、テキスト類似度算出方法、及びプログラムに係り、特に、テキスト間の類似度を算出するためのテキスト類似度算出装置、テキスト類似度算出方法、及びプログラムに関する。
ディープラーニングに代表される昨今の機械学習技術の発展に伴い、ＡＩを活用した多くのサービスが注目されている。例えば、テキストを扱う自然言語処理に関するＡＩサービスとして、ＦＡＱ検索やチャットボット、対話システムなどがある。
これらサービスにおいて、単語の意味をコンピュータ上で扱えるようにするための「分散表現」と呼ばれる技術が注目されている。分散表現とは、単語の持つ意味を高次元の実数ベクトル表現（単語ベクトル）に写像する技術によりベクトル化することで単語や文の意味を機械的に演算可能となる。意味的に類似した単語同士であるほど、単語のベクトル間の距離は小さくなる。
例えば、評価用のテキスト中の任意の単語に対し、適切な対応する概念ベクトルを推定する技術がある（特許文献１）。
特開２００５−１２８９１７号公報
しかし、単語ベクトル（単語意味ベクトル、概念ベクトル、単語分散表現などともよばれる）は単語の共起関係に基づいて数値ベクトル化される。共起関係に基づく単語ベクトルは、似た文脈で使われる単語は似た意味を持つに違いないという仮説に基づく。
すなわち、語法的に近い単語は、ベクトル空間上でも近いベクトルとなる。
その結果、例えば、「りんご−みかん」、「野球−サッカー」、「赤−青」のように上位概念が同一の単語は、似たベクトルとして生成されてしまう、という問題があった。
すなわち、精度よくテキスト間の類似度を算出することができない、という問題があった。
本発明は上記の点に鑑みてなされたものであり、精度よくテキスト間の類似度を算出することができるテキスト類似度算出装置、テキスト類似度算出方法、及びプログラムを提供することを目的とする。
本発明に係るテキスト類似度算出装置は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出する画像類似度計算部と、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出するテキストベクトル類似度計算部と、前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出するテキスト類似度計算部と、を備えて構成される。
また、本発明に係るテキスト類似度算出方法は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、画像類似度計算部が、前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出し、テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、テキストベクトル類似度計算部が、前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、テキスト類似度計算部が、前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出する。
本発明に係るテキスト類似度算出装置及びテキスト類似度算出方法によれば、画像情報変換部が、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応する第２画像情報に変換し、画像類似度計算部が、第１画像情報と、第２画像情報との類似度である画像類似度を算出する。
そして、テキストベクトル生成部が、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成し、テキストベクトル類似度計算部が、第１テキストベクトルと、第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、テキスト類似度計算部が、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出する。
このように、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出し、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出することにより、精度よくテキスト間の類似度を算出することができる。
また、本発明に係るテキスト類似度算出装置は、前記第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、前記第２画像情報に前記普遍的視覚情報が含まれる度合いを推定する視覚情報推定部を更に備え、前記テキスト類似度計算部は、前記視覚情報推定部によって推定された度合いに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出することができる。
本発明に係るテキスト類似度算出装置は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成する画像ベクトル生成部と、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成する画像テキスト混合ベクトル生成部と、前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出するテキスト類似度計算部と、を備えて構成される。
また、本発明に係るテキスト類似度算出方法は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、画像ベクトル生成部が、前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成し、テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、画像テキスト混合ベクトル生成部が、前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成し、テキスト類似度計算部が、前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出する。
本発明に係るテキスト類似度算出装置及びテキスト類似度算出方法によれば、画像情報変換部が、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応する第２画像情報に変換する、画像ベクトル生成部が、第１画像情報に基づいて、第１画像情報を表す第１画像ベクトルを生成すると共に、第２画像情報に基づいて、第２画像情報を表す第２画像ベクトルを生成し、テキストベクトル生成部が、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成する。
そして、画像テキスト混合ベクトル生成部が、第１画像ベクトルと、第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成し、テキスト類似度計算部が、第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度として算出する。
このように、第１テキストを変換した、第１テキストに対応する第１画像情報を表す第１画像ベクトルと、第１テキストを表す第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２テキストを変換した、第２テキストに対応する第２画像情報を表す第２画像ベクトルと、第２テキストを表す第２テキストベクトルとを混合した第２混合ベクトルを生成し、第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度として算出することにより、精度よくテキスト間の類似度を算出することができる。
また、本発明に係るテキスト類似度算出装置は、前記第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、前記第２画像情報に前記普遍的視覚情報が含まれる度合いを推定する視覚情報推定部を更に備え、前記テキスト類似度計算部は、前記視覚情報推定部によって推定された度合いに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出することができる。
本発明に係るテキスト類似度算出装置は、入力されたテキストを、前記テキストに対応する画像情報に変換する画像情報変換部と、前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定する視覚情報推定部と、前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成する画像ベクトル生成部と、前記テキストに基づいて、前記テキストを表すテキストベクトルを生成するテキストベクトル生成部と、前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する画像テキスト混合ベクトル生成部と、を備えて構成される。
また、本発明に係るテキスト類似度算出方法は、画像情報変換部が、入力されたテキストを、前記テキストに対応する画像情報に変換し、視覚情報推定部が、前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定し、画像ベクトル生成部が、前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成し、テキストベクトル生成部が、前記テキストに基づいて、前記テキストを表すテキストベクトルを生成し、画像テキスト混合ベクトル生成部が、前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する。
本発明に係るプログラムは、上記のテキスト類似度算出装置の各部として機能させるためのプログラムである。
本発明のテキスト類似度算出装置、テキスト類似度算出方法、及びプログラムによれば、精度よくテキスト間の類似度を算出することができる。
本発明の第１の実施の形態に係るテキスト類似度算出装置の構成を示すブロック図である。 本発明の第１の実施の形態に係るテキスト類似度算出装置のテキスト類似度算出処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態に係るテキスト類似度算出装置の構成を示すブロック図である。 本発明の第２の実施の形態に係るテキスト類似度算出装置のテキスト類似度算出処理ルーチンを示すフローチャートである。 本発明の第３の実施の形態に係るテキスト類似度算出装置の構成を示すブロック図である。 本発明の第３の実施の形態に係るテキスト類似度算出装置のテキスト類似度算出処理ルーチンを示すフローチャートである。 本発明の第３の実施の形態に係るテキスト類似度算出装置に、普遍的視覚情報を用いる構成を適用した構成を示すブロック図である。 本発明の第３の実施の形態に係るテキスト類似度算出装置の変形例１を示すブロック図である。 本発明の第３の実施の形態に係るテキスト類似度算出装置の変形例２を示すブロック図である。
以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係るテキスト類似度算出装置の概要＞
まず、本発明の実施形態の概要について説明する。
本実施形態は、語法的には近いが、意味の異なる単語を識別可能にするため、語法以外の特徴も併用する。
本実施形態では、語法以外の特徴として、画像情報を用いる。語法的な類似性では捉えることのできない視覚的な差異を用いることで、課題の解決を図る。
具体的には、テキストを画像情報に変換した上で画像間の類似度も利用することで精度向上を図る。テキストの画像情報変換には、例えばｗｅｂ検索を利用する。
このような構成により、大量のテキストコーパスを集めなくても、より正確なテキスト間の意味の類似性を計算することが可能になる。
また、画像情報を用いるにあたり、普遍的な視覚情報を有する度合いを推定し、その度合いに応じて画像情報を利用する。あるいは、普遍的な視覚情報を有するテキストか否かを推定し、普遍的な視覚情報を有すると推定されたテキストのみ画像情報を利用する。
ここで、普遍的視覚情報を有する度合いが低い場合とは、視覚的な特徴量が不安定な場合を示し、普遍的な視覚情報を有しないテキストとは、例えば「あなた／わたし」や「上／下」等の現実世界で視覚的な実体を持たないテキストのことを示す。
普遍的視覚情報の有無の推定は、例えば、（１）得られた画像データが写真であるかイラストであるかについて推定する。写真であるものは普遍的視覚情報を有し、イラストであるものは普遍的視覚情報を有さないと推定する。イラストには抽象的なものも多く含まれ、抽象的な概念は人によって受ける印象が異なってくる。このような抽象的な概念に対して画像の情報を用いるメリットが無いと考えられるので、イラストは普遍的視覚情報を有さないものとみなす。
また、普遍的視覚情報を有する度合いの推定では、例えば、（２）得られた複数の画像データの特徴量の分散の大きさを利用する（特徴量の分散が小さい方が、安定した視覚的特徴量と言える）等により推定する。
このような構成により、語法的な類似性では捉えることのできない視覚的な差異を用いることができるため、精度よくテキスト間の類似度を算出することができる。
＜本発明の第１の実施の形態に係るテキスト類似度算出装置の構成＞
図１を参照して、本発明の第１の実施の形態に係るテキスト類似度算出装置１０の構成について説明する。図１は、本発明の第１の実施の形態に係るテキスト類似度算出装置１０の構成を示すブロック図である。
テキスト類似度算出装置１０は、ＣＰＵと、ＲＡＭと、後述するテキスト類似度算出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
図１に示すように、本実施形態に係るテキスト類似度算出装置１０は、入力部１００と、画像情報変換部１１０と、画像類似度計算部１２０と、テキストベクトル生成部１３０と、テキストベクトル類似度計算部１４０と、テキスト類似度計算部１５０と、出力部１６０とを備えて構成される。
入力部１００は、第１テキスト及び第２テキストの入力を受け付ける。
ここで、テキストとは、自然文で書かれたものであり、１以上の単語からなる。テキストは、１単語でもよく、文、文書等でもよい。
そして、入力部１００は、受け付けた第１テキスト及び第２テキストを、画像情報変換部１１０及びテキストベクトル生成部１３０に渡す。
画像情報変換部１１０は、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応第２画像情報に変換する。
画像情報変換部１１０が、テキストから画像情報に変換する手段として、例えば、ｗｅｂ−ａｐｉ等を用いることができる。すなわち、ｗｅｂ検索により画像検索をし、検索結果である画像データを、検索上位ｎ個取得したものを、画像情報とする。
具体的には、画像情報変換部１１０は、第１テキストについてｗｅｂ検索により画像検索をし、検索結果である画像データを検索上位ｎ個取得したものを、第１画像情報とする。同様に、画像情報変換部１１０は、第２テキストについてｗｅｂ検索により画像検索をし、検索結果である画像データを検索上位ｎ個取得したものを、第２画像情報とする。
そして、画像情報変換部１１０は、第１画像情報及び第２画像情報を、画像類似度計算部１２０に渡す。
画像類似度計算部１２０は、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
具体的には、画像類似度計算部１２０は、任意の画像類似度の計算方法を用いて、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
例えば、参考文献１のように、特徴点周辺の注目度によって特徴点の重み付けを行い、重み付き類似度を求める等の既存手法を用いて、画像類似度Ｓｉを算出する。
［参考文献１］木村 昭悟、外３名、"重み付き特徴点照合に基づく高速画像検索″、電子情報通信学会技術研究報告．ＰＲＭＵ，パターン認識・メディア理解１０５（１１８）、２００５年６月。
また、画像類似度計算部１２０は、画像情報変換部１１０により第１画像情報又は第２画像情報に複数の画像データが含まれている場合には、当該複数の画像データと、他方の画像データとの全ての組合せについての画像類似度を算出し、その平均を第１画像情報と第２画像情報との画像類似度Ｓｉとする。
そして、画像類似度計算部１２０は、算出した画像類似度Ｓｉを、テキスト類似度計算部１５０に渡す。
テキストベクトル生成部１３０は、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成する。テキストベクトルの次元数は所定の次元数であり、全てのテキストベクトルで同一とする。
具体的には、テキストベクトル生成部１３０は、テキストに対応するテキストベクトルを生成するために、事前に収集された大量のテキストコーパス（図示しない）から、単語ベクトルを学習する。なお、処理の都度学習を行う必要はなく、予め学習しておいた単語ベクトルを用いてもよい。また、単語ベクトルの学習方法は、既存手法を用いて良い。
テキストベクトル生成部１３０は、テキストに含まれる各単語に対応する単語ベクトルを用いて、テキストに対応するテキストベクトルを生成する。テキストに対応するテキストベクトルを生成する方法は、例えば参考文献２の方法等の既存手法を用いることができる。
［参考文献２］別所 克人、外３名、"単語ベクトルを用いた文書要約の検討（ライフインテリジェンスとオフィス情報システム）″、電子情報通信学会技術研究報告＝ＩＥＩＣＥ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ ：信学技報 １１４（３２）、２０１４年５月。
そして、テキストベクトル生成部１３０は、生成した第１テキストベクトル及び第２テキストベクトルを、テキストベクトル類似度計算部１４０に渡す。
テキストベクトル類似度計算部１４０は、第１テキストベクトルと、第２テキストベクトルとの類似度であるテキストベクトル類似度Ｓｔを算出する。
具体的には、テキストベクトル類似度計算部１４０は、テキストベクトル間の類似度であるテキストベクトル類似度Ｓｔを、参考文献２のベクトル類似度の計算方法等の既存手法を用いて算出する。例えば、テキストベクトル間のユークリッド距離やコサイン類似度を用いて類似度を算出すればよい。
そして、テキストベクトル類似度計算部１４０は、算出したテキストベクトル類似度Ｓｔを、テキスト類似度計算部１５０に渡す。
テキスト類似度計算部１５０は、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
具体的には、テキスト類似度計算部１５０は、第１テキストと、第２テキストとの類似度Ｓを、画像類似度Ｓｉとテキストベクトル類似度Ｓｔとの線形和（下記式（１））により算出する。
ここで、αは重みであり、評価セット等を用いる等により事前に定めておく。αは、例えば以下のように決定される。
まず、あるテキストＡに対し、複数のテキストＢを用意する。複数のテキストＢの各々は、テキストＡとの意味の類似性に基づき人手で順位付けされている。つまり、順位が高いものほどテキストＡとテキストＢの意味的類似性が高いことを意味する。
次に、そのような順位付されたテキストＡと複数のテキストＢとのセットを１つ又は複数用意し、テキスト類似度計算部１５０により算出された類似度Ｓに基づく順位と人手で与えられた順位との順位相関が最も高いパラメータを求める。このパラメータに基づいて、αを求める。例えば、求めたパラメータをそのままαとして用いることができる。なお、αは人手により任意の値を設定してもよい。
そして、テキスト類似度計算部１５０は、算出した第１テキストと、第２テキストとの類似度Ｓを、出力部１６０に渡す。
出力部１６０は、第１テキストと、第２テキストとの類似度Ｓを出力する。
＜本発明の第１の実施の形態に係るテキスト類似度算出装置の作用＞
図２は、本発明の実施の形態に係るテキスト類似度算出処理ルーチンを示すフローチャートである。
入力部１００に第１テキスト及び第２テキストが入力されると、テキスト類似度算出装置１０において、図２に示すテキスト類似度算出処理ルーチンが実行される。
まず、ステップＳ１００において、入力部１００が、第１テキスト及び第２テキストの入力を受け付ける。
ステップＳ１１０において、テキストベクトル生成部１３０は、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成する。
ステップＳ１２０において、テキストベクトル類似度計算部１４０は、第１テキストベクトルと、第２テキストベクトルとの類似度であるテキストベクトル類似度Ｓｔを算出する。
ステップＳ１３０において、画像情報変換部１１０は、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応第２画像情報に変換する。
ステップＳ１４０において、画像類似度計算部１２０は、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
ステップＳ１５０において、テキスト類似度計算部１５０は、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
ステップＳ１６０において、出力部１６０は、第１テキストと、第２テキストとの類似度Ｓを出力する。
以上説明したように、本発明の実施形態に係るテキスト類似度算出装置によれば、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出し、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出することにより、精度よくテキスト間の類似度を算出することができる。
＜本発明の第２の実施の形態に係るテキスト類似度算出装置の構成＞
図３を参照して、本発明の第２の実施の形態に係るテキスト類似度算出装置の構成について説明する。図３は、本発明の第２の実施の形態に係るテキスト類似度算出装置２０の構成を示すブロック図である。
なお、第１の実施の形態に係るテキスト類似度算出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
テキスト類似度算出装置２０は、ＣＰＵと、ＲＡＭと、後述するテキスト類似度算出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
図３に示すように、本実施形態に係るテキスト類似度算出装置２０は、入力部１００と、画像情報変換部１１０と、視覚情報推定部２１２と、画像情報利用判定部２１４と、画像類似度計算部２２０と、テキストベクトル生成部１３０と、テキストベクトル類似度計算部１４０と、テキスト類似度計算部２５０と、出力部１６０とを備えて構成される。
画像情報変換部１１０は、第１画像情報及び第２画像情報を、視覚情報推定部２１２及び画像類似度計算部２２０に渡す。
視覚情報推定部２１２は、第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、第２画像情報に普遍的視覚情報が含まれる度合いを推定する。
具体的には、視覚情報推定部２１２は、第１画像情報に含まれる複数の画像データの各々が、普遍的視覚情報を有するか否かを推定する。普遍的視覚情報を有するか否かは、得られた画像データが写真であるか、イラストであるかによって判定する。
画像データが、写真であるか、イラストであるかの判定には、例えば参考文献３等の既存技術を利用することができる。
［参考文献３］大塚 一輝、外３名、"ディープラーニングを用いての写真と絵画、イラストの識別"、情報処理学会、第７９回全国大会講演論文集、２０１７年３月、ｐ．ｐ．３７１−３７２。
視覚情報推定部２１２は、第１画像情報に含まれる複数の画像データのうち、写真であると判定された画像データの割合を、第１画像情報に普遍的視覚情報が含まれる度合いとして、推定する。
視覚情報推定部２１２は、第２画像情報についても同様に、第２画像情報に含まれる複数の画像データのうち、写真であると判定された画像データの割合を、第２画像情報に普遍的視覚情報が含まれる度合いとして推定する。
そして、視覚情報推定部２１２は、推定した第１画像情報が普遍的視覚情報を有する度合い及び第２画像情報が普遍的視覚情報を有する度合いを推定結果として、画像情報利用判定部２１４に渡す。
画像情報利用判定部２１４は、視覚情報推定部２１２によって推定された第１画像情報に普遍的視覚情報が含まれる度合い、及び第２画像情報に普遍的視覚情報が含まれる度合いに基づいて、テキスト類似度計算部２５０が画像類似度Ｓｉを用いるか否かを決定する。
具体的には、画像情報利用判定部２１４は、第１画像情報及び第２画像情報の少なくとも一方について普遍的視覚情報が含まれる度合いが、予め定めた閾値未満である場合、テキスト類似度計算部２５０が画像類似度Ｓｉを用いないことを決定する。すなわち、以降の処理に画像情報は利用しない。
一方、画像情報利用判定部２１４は、第１画像情報及び第２画像情報のいずれについても普遍的視覚情報が含まれる度合いが、予め定めた閾値以上である推定された場合、テキスト類似度計算部２５０が画像類似度Ｓｉを用いることを決定する。
そして、画像情報利用判定部２１４は、テキスト類似度計算部２５０が画像類似度Ｓｉを用いないことを決定した場合には、その旨をテキスト類似度計算部２５０に渡す。また、画像情報利用判定部２１４は、テキスト類似度計算部２５０が画像類似度Ｓｉを用いることを決定した場合には、その旨を、画像類似度計算部２２０及びテキスト類似度計算部２５０に渡す。
画像類似度計算部２２０は、画像情報利用判定部２１４が、画像類似度Ｓｔを用いることを決定した場合に、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
そして、画像類似度計算部２２０は、算出した画像類似度Ｓｉを、テキスト類似度計算部２５０に渡す。
テキスト類似度計算部２５０は、画像情報利用判定部２１４によって、画像類似度Ｓｉを用いることを決定された場合に、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。この場合、テキスト類似度計算部１５０と同様の処理を行う。
一方、テキスト類似度計算部２５０は、画像情報利用判定部２１４によって、画像類似度Ｓｉを用いないことを決定された場合に、テキストベクトル類似度Ｓｔに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
具体的には、テキスト類似度計算部２５０は、画像類似度Ｓｉを用いない場合、テキストベクトル類似度Ｓｉを、第１テキストと、第２テキストとの類似度Ｓとする。この場合、上記式（１）において、α＝０としてもよい。
なお、画像情報利用判定部２１４が、視覚情報推定部２１２によって推定された第１画像情報に普遍的視覚情報が含まれる度合い、及び第２画像情報に普遍的視覚情報が含まれる度合いに基づいて、αの値を調整する構成としてもよい。
この場合、第１画像情報に普遍的視覚情報が含まれる度合い、及び第２画像情報に普遍的視覚情報が含まれる度合いのいずれもが予め定めた値を下回る場合（すなわち、画像類似度Ｓｉを用いないと判定するような場合）に、α＝０とすることができる。
また、両テキスト毎に、普遍的視覚情報が含まれる度合いの推定値を１に規格化しておき、αの値として、大きい方を用いる、小さい方を用いる、平均を用いる等の方法を用いてもよい。この場合、αの値は０と１との間を取り得る。
そして、テキスト類似度計算部２５０は、算出した第１テキストと、第２テキストとの類似度Ｓを、出力部１６０に渡す。
＜本発明の第２の実施の形態に係るテキスト類似度算出装置の作用＞
図４は、本発明の第２の実施の形態に係るテキスト類似度算出処理ルーチンを示すフローチャートである。なお、第１の実施の形態に係るテキスト類似度算出処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップＳ２３２において、視覚情報推定部２１２は、第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、第２画像情報に普遍的視覚情報が含まれる度合いを推定する。
ステップＳ２３４において、画像情報利用判定部２１４は、視覚情報推定部２１２によって推定された、第１画像情報に普遍的視覚情報が含まれる度合いが閾値未満である、又は、第２画像情報に普遍的視覚情報が含まれる度合いが閾値未満である場合に、テキスト類似度計算部２５０が画像類似度Ｓｉを用いないことを決定する。
画像類似度Ｓｉを用いると決定された場合（ステップＳ２３４のＹＥＳ）、ステップＳ１４０〜Ｓ１６０の処理を行う。
一方、画像類似度Ｓｉを用いないと決定された場合（ステップＳ２３４のＮＯ）、ステップＳ２５０において、テキスト類似度計算部２５０は、テキストベクトル類似度Ｓｔに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
以上説明したように、本実施形態に係るテキスト類似度算出装置によれば、第１画像情報に普遍的視覚情報が含まれる度合いを推定すると共に、第２画像情報に普遍的視覚情報が含まれる度合いを推定し、第１画像情報に普遍的視覚情報が含まれる度合いが閾値未満である、又は、第２画像情報に普遍的視覚情報が含まれていないと推定された場合に、画像類似度を用いないことを決定し、テキストベクトル類似度を、第１テキストと、第２テキストとの類似度とするため、精度よくテキスト間の類似度を算出することができる。
＜本発明の第３の実施の形態に係るテキスト類似度算出装置の構成＞
図５を参照して、本発明の第３の実施の形態に係るテキスト類似度算出装置の構成について説明する。図５は、本発明の第３の実施の形態に係るテキスト類似度算出装置３０の構成を示すブロック図である。
なお、第１の実施の形態に係るテキスト類似度算出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
テキスト類似度算出装置３０は、ＣＰＵと、ＲＡＭと、後述するテキスト類似度算出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
図５に示すように、本実施形態に係るテキスト類似度算出装置３０は、入力部１００と、画像情報変換部１１０と、画像ベクトル生成部３１５と、テキストベクトル生成部１３０と、画像テキスト混合ベクトル生成部３３５と、テキスト類似度計算部３５０と、出力部１６０とを備えて構成される。
本実施形態のテキストベクトル生成部１３０は、第１テキストベクトル及び第２テキストベクトルを、画像テキスト混合ベクトル生成部３３５に渡す。
画像ベクトル生成部３１５は、第１画像情報に基づいて、第１画像情報を表す第１画像ベクトルを生成すると共に、第２画像情報に基づいて、第２画像情報を表す第２画像ベクトルを生成する。画像ベクトルの次元数は所定の次元数であり、全ての画像ベクトルで同一とする。なお、画像ベクトルの次元数は、テキストベクトルの次元数と同じである必要はない。
具体的には、画像ベクトル生成部３１５は、例えば、参考文献４等の既存技術を用いて、第１画像情報に含まれるｎ個の画像データの各々について、当該画像データに対応する画像ベクトルを生成する。
［参考文献４］紺谷 精一、外２名、"複数特徴量を統合した ｖｉｓｕａｌ ｗｏｒｄｓ による料理画像の分類"、電子情報通信学会技術研究報告． ＬＯＩＳ， ライフインテリジェンスとオフィス情報システム、２０１０年７月、ｐ．ｐ．３５−３９．
そして、得られたｎ個の画像ベクトルの重心をとり、第１画像ベクトルを生成する。
ここで、ｎ個の画像ベクトルの重心を取る事で本来持っていた視覚的な情報が壊されてしまうことも考えられる。その場合、第１画像情報に含まれるｎ個の画像データの各々についての画像ベクトルのうち、重心ベクトルに最も近い画像ベクトルを第１画像ベクトルとしても良い。
画像ベクトル生成部３１５は、同様に、第２画像情報を表す第２画像ベクトルを生成する。
そして、画像ベクトル生成部３１５は、第１画像ベクトル及び第２画像ベクトルを、画像テキスト混合ベクトル生成部３３５に渡す。
画像テキスト混合ベクトル生成部３３５は、第１画像ベクトルと、第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成する。
具体的には、画像テキスト混合ベクトル生成部３３５は、第１テキストベクトルと第１画像ベクトルとを結合することにより、第１混合ベクトルを生成する。結合方法は既存手法を用いることができ、例えば、第１テキストベクトルの末尾に、第１画像ベクトルをそのまま連結させる方法を採用してもよい。
例えば、第１テキストベクトルが（ａ，ｂ，ｃ）、第１画像ベクトルが（ｄ，ｅ，ｆ，ｇ）であったとすると、これらを結合した第１混合ベクトルは、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ）と表すことができる。なお、上述した重み付けのためのαの情報を各混合ベクトルに対応させて保持する構成としてもよい。
同様に、画像テキスト混合ベクトル生成部３３５は、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成する。
そして、画像テキスト混合ベクトル生成部３３５は、第１混合ベクトル及び第２混合ベクトルを、テキスト類似度計算部３５０に渡す。
テキスト類似度計算部３５０は、第１混合ベクトルと、第２混合ベクトルとの類似度である混合ベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出する。
具体的には、テキスト類似度計算部３５０は、第１混合ベクトルと、第２混合ベクトルとの類似度である混合ベクトル類似度を、ユークリッド距離やコサイン類似度を算出する等の方法により、算出する。
そして、テキスト類似度計算部３５０は、算出した第１テキストと、第２テキストとの類似度Ｓを、出力部１６０に渡す。
＜本発明の第３の実施の形態に係るテキスト類似度算出装置の作用＞
図６は、本発明の第３の実施の形態に係るテキスト類似度算出処理ルーチンを示すフローチャートである。なお、第１の実施の形態に係るテキスト類似度算出処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップＳ３３５において、画像ベクトル生成部３１５は、第１画像情報に基づいて、第１画像情報を表す第１画像ベクトルを生成すると共に、第２画像情報に基づいて、第２画像情報を表す第２画像ベクトルを生成する。
ステップＳ３４０において、画像テキスト混合ベクトル生成部３３５は、第１画像ベクトルと、第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成する。
ステップＳ３５０において、テキスト類似度計算部３５０は、第１混合ベクトルと、第２混合ベクトルとの類似度である混合ベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出する。
以上説明したように、本実施形態に係るテキスト類似度算出装置によれば、第１テキストを変換した、第１テキストに対応する第１画像情報を表す第１画像ベクトルと、第１テキストを表す第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２テキストを変換した、第２テキストに対応する第２画像情報を表す第２画像ベクトルと、第２テキストを表す第２テキストベクトルとを混合した第２混合ベクトルを生成し、第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度として算出することにより、精度よくテキスト間の類似度を算出することができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、視覚情報推定部２１２は、得られた複数の画像データの特徴量の分散の大きさを利用する（特徴量の分散に対し、任意の閾値で判定）ことにより、普遍的視覚情報を有する度合いを推定するようにしてもよい。この場合、複数の画像データを用いるため、第１画像情報及び第２画像情報の各々に含まれる画像データの数ｎ＞１とする。また、画像情報利用判定部２１４による、画像情報を利用する／しないの判定を省略する。
そして、画像類似度計算部２２０は、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
更に、テキスト類似度計算部２５０は、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔと、視覚情報推定部２１２により推定された度合いとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
この場合、テキスト類似度計算部２５０は、第１度合い及び第２度合いに応じて、重みαの値を変更する。
また、視覚情報推定部２１２は、第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれるか否かを推定すると共に、第２画像情報に普遍的視覚情報が含まれるか否かを推定してもよい。
また、第２の実施の形態で採用した普遍的視覚情報を用いる構成を、第３の実施の形態においても採用することができる。図７は、第３の実施の形態に係るテキスト類似度算出装置３０に、普遍的視覚情報を用いる構成を適用した構成を示すブロック図である。
この場合、テキスト類似度計算部３５０で類似度計算を行う際に、視覚情報推定部２１２の推定結果に基づき、画像テキスト混合ベクトルの類似度計算を行う。計算方法の一例を以下に示す。
画像情報利用判定部２１４は、視覚情報推定部２１２によって、推定された第１画像情報に普遍的視覚情報が含まれる度合いが閾値未満である、又は、第２画像情報に普遍的視覚情報が含まれる度合いが閾値未満である場合に、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いないことを決定する。
一方、画像情報利用判定部２１４は、第１画像情報及び第２画像情報のいずれについても普遍的視覚情報が含まれる度合いが閾値以上である場合、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いることを決定する。
そして、画像情報利用判定部２１４は、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いないことを決定した場合には、その旨を画像テキスト混合ベクトル生成部３３５に渡す。また、画像情報利用判定部２１４は、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いることを決定した場合には、その旨を、画像ベクトル生成部３１５及び画像テキスト混合ベクトル生成部３３５に渡す。
画像テキスト混合ベクトル生成部３３５は、画像情報利用判定部２１４によって画像ベクトルを用いないことが決定された場合に、第１テキストベクトルを、第１混合ベクトルとし、第２テキストベクトルを、第２混合ベクトルとする。
また、上述の第３の実施の形態では、入力された第１テキスト及び第２テキストについて第１混合ベクトル及び第２混合ベクトルを生成する構成としたが、これに限定されるものではなく、予め複数のテキストについての複数の混合ベクトルを生成しておき、入力された第１テキスト及び第２テキストの各々に対応する第１混合ベクトル及び第２混合ベクトルを検索して、得られた第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出するようにしてもよい。
例えば、第３の実施の形態に係るテキスト類似度算出装置３０を、以下のように変形することができる。
＜変形例１＞
図８は、本発明の第３の実施の形態に係るテキスト類似度算出装置３０の変形例１を示すブロック図である。変形例１では、テキスト類似度算出装置３０は、画像テキスト混合ベクトルＤＢ３７０と、入力部４００とを更に備える。
入力部１００は、複数の混合ベクトルを生成するための複数のテキストの入力を受け付ける。
画像テキスト混合ベクトルＤＢ３７０は、入力部１００が受け付けた複数のテキストについて生成された複数の混合ベクトルを格納する。
入力部４００は、第１テキスト及び第２テキストの入力を受け付け、テキスト類似度計算部３５０に渡す。
テキスト類似度計算部３５０は、第１テキスト及び第２テキストをクエリとして、第１テキスト及び第２テキストに対応する第１混合ベクトル及び第２混合ベクトルを、画像テキスト混合ベクトルＤＢ３７０から検索する。
テキスト類似度計算部３５０は、検索して得られた第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出する。
そして、テキスト類似度計算部３５０は、算出した類似度Ｓを、出力部１６０に渡す。
＜変形例２＞
図９は、本発明の第３の実施の形態に係るテキスト類似度算出装置３０の変形例２を示すブロック図である。変形例２では、テキスト類似度算出装置３０は、変形例１と異なり、入力部１００の代わりに、単語ＤＢ３０５を備える。
単語ＤＢ３０５は、テキストとしての複数の単語の各々について、当該単語を表す単語ベクトルを格納する。例えば、従来技術で作成した、単語と、その分散表現（テキストベクトル）とからなるデータベースとして構成される。
変形例２では、単語ＤＢ３０５に含まれる複数の単語の各々について、当該単語に対して画像情報変換部１１０及び画像ベクトル生成部３１５の処理を行い、当該単語を変換した画像情報を表す画像ベクトルを生成する。
一方、複数の単語に対する複数の単語ベクトルは既に生成されているため、テキストベクトル生成部１３０の処理を省略する。
画像テキスト混合ベクトル生成部３３５は、複数の単語の各々について、当該単語に対応する画像ベクトルと、単語ベクトルとを混合した混合ベクトルを生成する。
画像テキスト混合ベクトル生成部３３５は、生成した複数の混合ベクトルを、画像テキスト混合ベクトルＤＢ３７０に格納する。
また、上記変形例１及び変形例２において、視覚情報推定部２１２を備えることもできる。この場合、画像テキスト混合ベクトルＤＢ３７０は、複数のテキストの各々、又は複数の単語の各々について、視覚情報推定部２１２の推定結果を保持するため、（１）各画像テキスト混合ベクトルに対応する値として保持する、（２）画像ベクトルに、視覚情報推定部２１２の推定結果に相当する要素を加える、すなわち画像ベクトルの次元数を１次元増やす、等の方法を採用することができる。
そして、テキスト類似度計算部３５０により類似度計算を行う際に、第１テキスト及び第２テキストに対して保持された視覚情報推定部２１２の推定結果に基づいて、画像テキスト混合ベクトルの類似度計算を行う。
このとき、テキスト類似度計算部３５０は、例えば、画像テキスト混合ベクトルＤＢ３７０に保持された、第１テキスト及び第２テキストに対して保持された視覚情報推定部２１２の推定結果の値に基づき、画像テキスト混合ベクトルのうち、いずれの次元の値を用いて類似度計算を行うかを決定する。すなわち、視覚情報推定部２１２の推定結果の値に応じて、画像テキスト混合ベクトルのテキストベクトル部分のみで類似度計算を行うか、画像ベクトル部分まで用いて類似度計算を行うかを決定する。又は、画像テキスト混合ベクトルの類似度計算を行う際に、視覚情報推定部２１２の推定結果の値に応じて、重み付けを行うようにすればよい。
このような構成では、画像テキスト混合ベクトルにおいて、テキスト類似度計算部３５０は各次元が何を表すかの情報（テキストベクトルが○〜○次元、画像ベクトルが×〜×次元、αは△次元等）を、予め取得しておく。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０ テキスト類似度算出装置
２０ テキスト類似度算出装置
３０ テキスト類似度算出装置
１００ 入力部
１１０ 画像情報変換部
１２０ 画像類似度計算部
１３０ テキストベクトル生成部
１４０ テキストベクトル類似度計算部
１５０ テキスト類似度計算部
１６０ 出力部
２１２ 視覚情報推定部
２１４ 画像情報利用判定部
２２０ 画像類似度計算部
２５０ テキスト類似度計算部
３０５ 単語ＤＢ
３１５ 画像ベクトル生成部
３３５ 画像テキスト混合ベクトル生成部
３５０ テキスト類似度計算部
３７０ 画像テキスト混合ベクトルＤＢ
４００ 入力部

Claims (8)

  1. 入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、
    前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、
    前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出する画像類似度計算部と、
    前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、
    前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出するテキストベクトル類似度計算部と、
    前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出するテキスト類似度計算部と、
    を備えることを特徴とするテキスト類似度算出装置。
  2. 入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、
    前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、
    前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成する画像ベクトル生成部と、
    前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、
    前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成する画像テキスト混合ベクトル生成部と、
    前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出するテキスト類似度計算部と、
    を備えることを特徴とするテキスト類似度算出装置。
  3. 入力されたテキストを、前記テキストに対応する画像情報に変換する画像情報変換部と、
    前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定する視覚情報推定部と、
    前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成する画像ベクトル生成部と、
    前記テキストに基づいて、前記テキストを表すテキストベクトルを生成するテキストベクトル生成部と、
    前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する画像テキスト混合ベクトル生成部と、
    を備えることを特徴とするテキスト類似度算出装置。
  4. 前記第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、前記第２画像情報に前記普遍的視覚情報が含まれる度合いを推定する視覚情報推定部
    を更に備え、
    前記テキスト類似度計算部は、前記視覚情報推定部によって推定された前記第１画像情報に前記普遍的視覚情報が含まれる度合い、及び前記第２画像情報に前記普遍的視覚情報が含まれる度合いに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出する
    ことを特徴とする請求項１又は２記載のテキスト類似度算出装置。
  5. 入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、
    画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、
    画像類似度計算部が、前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出し、
    テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、
    テキストベクトル類似度計算部が、前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、
    テキスト類似度計算部が、前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出する
    ことを特徴とするテキスト類似度算出方法。
  6. 入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、
    画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、
    画像ベクトル生成部が、前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成し、
    テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、
    画像テキスト混合ベクトル生成部が、前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成し、
    テキスト類似度計算部が、前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出する
    ことを特徴とするテキスト類似度算出方法。
  7. 画像情報変換部が、入力されたテキストを、前記テキストに対応する画像情報に変換し、
    視覚情報推定部が、前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定し、
    画像ベクトル生成部が、前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成し、
    テキストベクトル生成部が、前記テキストに基づいて、前記テキストを表すテキストベクトルを生成し、
    画像テキスト混合ベクトル生成部が、前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する
    ことを特徴とするテキスト類似度算出方法。
  8. コンピュータを、請求項１乃至４の何れか１項記載のテキスト類似度算出装置の各部として機能させるためのプログラム。
JP2018125893A 2018-07-02 2018-07-02 テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム Active JP6553776B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018125893A JP6553776B1 (ja) 2018-07-02 2018-07-02 テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム
PCT/JP2019/026132 WO2020009067A1 (ja) 2018-07-02 2019-07-01 テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018125893A JP6553776B1 (ja) 2018-07-02 2018-07-02 テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6553776B1 true JP6553776B1 (ja) 2019-07-31
JP2020004322A JP2020004322A (ja) 2020-01-09

Family

ID=67473424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018125893A Active JP6553776B1 (ja) 2018-07-02 2018-07-02 テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6553776B1 (ja)
WO (1) WO2020009067A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7556269B2 (ja) 2020-11-16 2024-09-26 富士通株式会社 推論プログラム及び推論方法
CN112801217B (zh) * 2021-03-19 2021-07-06 北京世纪好未来教育科技有限公司 文本相似度判断方法、装置、电子设备以及可读存储介质
KR102594547B1 (ko) * 2022-11-28 2023-10-26 (주)위세아이텍 멀티모달 특성 기반의 이미지 검색 장치 및 방법
CN116522168A (zh) * 2023-07-04 2023-08-01 北京墨丘科技有限公司 一种跨模态的文本相似度比较方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227743A (ja) * 2005-02-15 2006-08-31 Xing Inc 検索装置
JP5057516B2 (ja) * 2007-11-14 2012-10-24 日本電信電話株式会社 文書間距離計算装置およびプログラム

Also Published As

Publication number Publication date
WO2020009067A1 (ja) 2020-01-09
JP2020004322A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6553776B1 (ja) テキスト類似度算出装置、テキスト類似度算出方法、及びプログラム
CN110287328B (zh) 一种文本分类方法、装置、设备及计算机可读存储介质
JP4904496B2 (ja) 文書類似性導出装置及びそれを用いた回答支援システム
Weakliem Introduction to the special issue on model selection
JP2016207141A (ja) 要約生成装置、要約生成方法、及び要約生成プログラム
WO2017183548A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
CN117390169B (zh) 表格数据问答方法、装置、设备及存储介质
CN109145083A (zh) 一种基于深度学习的候选答案选取方法
CN116932730A (zh) 基于多叉树和大规模语言模型的文档问答方法及相关设备
CN117236410A (zh) 一种可信的电子文件大语言模型训练、推理方法和装置
CN113254586B (zh) 一种基于深度学习的无监督文本检索方法
JP2010282276A (ja) 映像認識理解装置、映像認識理解方法、及びプログラム
CN115344690A (zh) 针对业务问题的数据处理方法及其装置
Tanjim et al. Discovering and Mitigating Biases in CLIP-based Image Editing
JP5518757B2 (ja) 文書分類学習制御装置、文書分類装置およびコンピュータプログラム
CN112836019A (zh) 公共医疗卫生命名实体识别与实体链接方法、装置、电子设备及存储介质
CN110633363B (zh) 一种基于nlp和模糊多准则决策的文本实体推荐方法
JP2010272004A (ja) 判別装置及び判別方法、並びにコンピューター・プログラム
CN114491029B (zh) 基于图神经网络的短文本相似度计算方法
JP6205039B1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20230127509A (ko) 콘셉트 기반의 퓨샷 학습 방법 및 장치
CN111125359B (zh) 一种文本信息分类的方法、装置及设备
Muffo et al. Static fuzzy bag-of-words: a lightweight and fast sentence embedding algorithm
JP2020027549A (ja) 議論分析装置及びプログラム
CN118171648B (zh) 文本提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190704

R150 Certificate of patent or registration of utility model

Ref document number: 6553776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150