JP7360497B2

JP7360497B2 - クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム

Info

Publication number: JP7360497B2
Application number: JP2022062888A
Authority: JP
Inventors: シヤン; 容朱鄭
Original assignee: Rakuten Group Inc
Current assignee: Rakuten Group Inc
Priority date: 2019-12-20
Filing date: 2022-04-05
Publication date: 2023-10-12
Anticipated expiration: 2040-12-17
Also published as: JP7055187B2; JP2022089883A; US11651037B2; JP2021099803A; US20210191990A1

Description

本発明は、一般に、クロスモーダルデータ検索(cross-modal data retrieval)のためのニューラルネットワークの使用に関し、より詳細には、ディープバイナリハッシュと量子化の両方を使用した、より効率の良いクロスモーダル検索システムに関する。

マルチメディアデータの膨張にともなって、異なるモーダル性(modality)を有するコンテンツをまたいだ近似最近傍検索(approximate nearest neighbor search)が注目を集めている。クロスモーダル検索は、異なるモーダル性を有するコンテンツをまたいで、意味論的な意味が類似するデータを検索することを目的とする。クロスモーダルデータ検索の一つの例は、写真と、その写真を正しく記述するテキストと、をマッチさせることである。

クロスモーダル検索については、種々の公知の手法がある。ある手法では、異なるモーダル性を有するデータアイテムに対して密な特徴ベクトルを生成してから、種々の検索および順位付けアルゴリズム、たとえばコサイン類似度検索を当該密な特徴ベクトルに適用することにより、意味論的に類似するアイテムを、モーダル性をまたいで同定する(非特許文献1参照)。手作業で作られた統計およびさまざまなディープニューラルネットワークは、密な特徴を抽出するために使用される。しかしながら、密な特徴表現に基く検索および順位付けは、メモリ及び計算効率の制限を受けてしまう。

効率上の問題を解決するため、クロスモーダル検索については種々の符号化手法が提案されている。これらの手法では、各データアイテムの特徴をコード化した表現は、そのアイテムについて抽出された特徴から作成される。ある手法では、手作業で特徴が付与されたデータアイテムに対するバイナリコードを生成し、ならびに、バイナリコードに基づいてアイテム間の距離を計算することを含む(非特許文献2, 3参照)。

これらの手法は、密な特徴ベクトルに基づく検索よりも計算効率が良いものの、データを表現するためのバイナリコードの能力に制約があるため、正確さで劣る。この制約を克服するため、ある手法では、バイナリコードにかえて量子化コードを使用する(非特許文献4, 5参照)。

Amit Singhal, Modern information retrieval: A brief overview, Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 34-43頁, 2001年 Shaishav Kumar and Raghavendra Udupa, Learning hash functions for cross-view similarity search, IJCAI, 1360-1365頁, 2001年 Shen and Dit-Yan Yeung, A probabilistic model for multi-modal hash function learning, KDD, 940-948頁, 2012年 Yue Cao, Mingsheng Long, Jianmin Wang, and Shichen Liu, Collective deep quantization for efficient cross-modal retrieval, AAAI, 3974-3980頁, 2017年 Erkun Yang, Cheng Deng, Chao Li, Wei Liu, Jie Li, and Dacheng Tao, Shared predictive cross-modal deep quantization, IEEE Transaction on Neural Networks and Learning Systems, 2019年

量子化コードは連続値であるため、内在的なデータをよりよく表現することができるので、より正確な検索が可能となる。しかしながら、量子化に基づく手法は、バイナリハッシュに比べて、計算効率の点で劣る。

したがって、バイナリコードに基づく既知手法よりも正確で、量子化コードに基づく既知手法よりも計算効率の良いクロスモーダル検索システムが求められている。

本開示は、ディープバイナリハッシュと量子化を介したクロスモーダル検索のための新しい手法に関する。この手法は、コンピュータシステムによって実行される。訓練フェーズでは、システムは、ニューラルネットワークモデル、バイナリハッシュアルゴリズム、ならびに、量子化アルゴリズムを同時に学習し、これらが協働することで、システムは、2以上のデータモーダル性にわたる特徴ベクトル、バイナリハッシュコード、および、量子化コードを生成できるようになり、しかも、内在的なデータにおける意味論的な類似関係が、これらのデータ表現内に保存(preserve)される。

特に、システムはニューラルネットワークを異なるモーダル性をもつラベル付けされた訓練データに適用して、訓練データに対する特徴ベクトルを生成し、ハイナリハッシュアルゴリズムと量子化アルゴリズムを使用して、特徴ベクトルから訓練データに対するバイナリハッシュコードと量子化コードをそれぞれ生成する。訓練データは、類似、あるいは、非類似にラベル付けされたデータアイテムの複数ペアからなり、各ペアは、少なくとも、異なるモーダル性を有する2つのデータアイテムを含む。学習された特徴とコードがモーダル性をまたがる訓練データアイテム間の類似あるいは非類似の関係を保存することを保証するため、well-definedな損失関数が使用される。

一つの実施形態では、損失関数は4つの部分からなる。
(1)異なるモーダル性の間の類似度を密な特徴ベクトルに基づいて測るクロスエントロピー損失。
(2)密な特徴ベクトルと量子化された特徴との間の違いを測る量子化損失。
(3)密な特徴ベクトルとバイナリ化された特徴との間の違いを測るバイナリハッシュ損失。
(4)バイナリコード内のビット情報を最適化するためのバランス損失。

多数の繰り返しに対して、システムは、特徴ベクトル、バイナリハッシュコード、および、量子化コードを訓練データに対して生成し、これらの表現に基いて損失値を計算し、その後に、ニューラルネットワーク、バイナリハッシュアルゴリズム、および、量子化アルゴリズムのパラメータを、損失値を最小化する方向へ更新する。このようにして、システムは、データモーダル性をまたいだ意味論的な類似関係を保存するようなニューラルネットワークモデル、バイナリハッシュアルゴリズム、および、量子化アルゴリズムを、同時に学習する。

予測フェーズでは、システムは、データベース内のデータアイテムであって異なるモーダル性を有するクエリアイテムに意味論的に類似するものを検索する。予測フェーズにおいて問題となるデータモーダル性は、訓練フェーズにおけるそれと同じである。まず、システムは、意味論的な意味においてクエリアイテムに最も近いデータベースアイテムを同定するため、それぞれのデータベースアイテムとクエリアイテムとの間のバイナリハッシュコード距離に基づいて、データベース探索空間を絞り込む。クエリアイテムとデータベースアイテムに対するバイナリハッシュコードは、訓練フェーズで訓練されたニューラルネットワークとバイナリハッシュアルゴリズムに基づいて生成される。

ついで、システムは、クエリアイテムと、絞り込みによって小さくなった探索空間内のデータと、の間の類似度を、当該小さくなった探索空間内のデータベースアイテムに対して生成された量子化コードを使用して(訓練フェーズで訓練された量子化アルゴリズムに基づいて)測る。システムは、量子化コードを使用することでクエリアイテムに意味論的マッチで最も近いものと同定される最近傍データベースアイテムを検索する。

本手法の利点は、少なくとも以下の2点にある。
(1)検索効率。探索空間を単純なバイナリコードで絞り込むことによって、検索プロセスの速度は、密な特徴ベクトルのみ、あるいは、量子化コードのみに基づいて探索をする手法に比べて格段に向上する。
(2)検索品質。特徴学習は、ハッシュ損失と量子化損失を用いて律則される。量子化では限られた数の連続特徴表現を学習する一方で、バイナリハッシュでは、特徴を離散化する。2つのコード化手法の組み合わせは、特徴学習における正則化として働くので、システムは、データモーダル性をまたいだ類似あるいは非類似を保存するような良いデータ表現を学習することができる。

バイナリハッシュコードと量子化コードを使用するクロスモーダル検索を実行するためのシステムを訓練するための1つの実施形態に係る方法を示すフローチャートである。バイナリハッシュコードと量子化コードを使用するクロスモーダル検索のための1つの実施形態に係る方法を示すフローチャートである。バイナリハッシュコードと量子化コードを使用するクロスモーダル検索のための1つの実施形態に係る方法を示すフローチャートである。訓練プロセスの例を図解して示す説明図である。予測フェーズの例を図解して示す説明図である。バイナリハッシュコードと量子化コードを使用するクロスモーダルデータ検索を実行するシステム例のブロック図である。ベクトルxからバイナリハッシュコードh_xへの計算例を示す説明図である。辞書Cを用いてベクトルxをベクトルb_xへ量子化する計算例を示す説明図である。

本開示は、ディープバイナリハッシュと量子化を用いたクロスモーダル検索のためのシステム、方法、およびコンピュータプログラムに関する。本願で開示される方法は、コンピュータシステム(以下「システム」という。)によって実行される。

本方法は、訓練フェーズと予測フェーズを含む。訓練フェーズでは、システムは2以上のモーダル性をまたいだデータに対する特徴ベクトル、バイナリコード、量子化コードであって元のデータにおける意味論的な類似関係を保存するものを生成することを同時に学習する。意味論的な類似関係の保存には、データアイテム間の類似および非類似関係(該当する場合は)の保存を含む。予測フェーズでは、システムは、データベース内のデータアイテムであって異なるモーダル性を有するクエリアイテムに意味論的に類似するものを、バイナリハッシュと量子化の両方を用いて検索する。予測フェーズに関わるデータモーダル性は、訓練フェーズにおけるそれと同様である。

訓練フェーズおよび予測フェーズは、それぞれ、異なるエンティティ(entities)によって実行することもできる(すなわち、1つのエンティティにおけるコンピュータシステムがモデルを訓練し、他のエンティティにおけるコンピュータシステムが、訓練されたモデルを使用して、クロスモーダル検索を実行することとしても良い。)。そこで、以下では、「システム」という用語は、両フェーズを実行する1つのシステムを意味することもあるし、訓練フェーズの説明においては訓練フェーズのみを実行するシステムを意味することもあるし、予測フェーズの説明においては説明フェーズのみを実行するシステムを意味することもある。いずれにせよ、これらのフェーズの各々は、1つのコンピュータシステムによって実行される。訓練フェーズと予測フェーズの両方について、以下詳細に説明する。

(訓練フェーズ)
訓練方法について、図1および3Aを参照して説明する。図1は、バイナリハッシュと量子化を使用するクロスモーダルデータ検索を実行するシステムを訓練する方法を図示している。図3Aは、1つの実施形態に係る訓練方法の例を図解して示す。図解された例においては、2つのデータモーダル性は、画像とテキストであるが、本方法は、これらのモーダル性に限定されるものではない。

(訓練データ)
システムは、異なるモーダル性を有するデータアイテムの複数ペアからなる訓練データセットを取得する(ステップ110)。特に、各ペアは、第1モーダル性を有するデータアイテムと、第2モーダル性を有するデータアイテムと、を含み、第1モーダル性と、第2モーダル性と、は異なる。データモーダル性には、たとえば、テキスト、画像、動画等がある。たとえば、ペアのおける一方のアイテムはテキストアイテムであり、他方のアイテムは画像もしくは動画である。

ペアには、当該ペアが意味論的に類似するか否かを示すラベルが対応付けられている。1つの実施形態では、ペアには、バイナリ形式で単純に類似か非類似かのラベルが付される。たとえば、テキスト「犬」と犬の写真のペアは、類似のラベル(あるいは、「1」のような類似を表す数値表現)が付され、テキスト「自動車」と犬の写真には、「非類似」のラベル(あるいは、「0」のような非類似を表す数値表現)が付される。他の実施形態では、類似の度合を示すために、より段階的な尺度が使用される。たとえば、0-5の尺度があり、0は最も非類似を意味し、5は最も類似を意味する、等である。この場合、テキスト「ドーナツ」とドーナツの写真にはラベルとして「5」が付され、テキスト「食べ物」とドーナツの写真にはラベルとして「3」が付され、テキスト「猫」とドーナツの写真にはラベルとして「0」が付されることになる。

(特徴ベクトルの生成)
ニューラルネットワークを使用して、訓練データアイテムの特徴ベクトル表現を生成する。特に、システムは、第1ニューラルネットワークを、訓練データセット内の第1モーダル性を有するデータアイテムに適用して、これらのアイテムのそれぞれに対する特徴ベクトルを生成する(ステップ120)。同様に、システムは、第2ニューラルネットワークを、訓練データセット内の第2モーダル性を有するデータアイテムに適用して、これらのアイテムのそれぞれに対する特徴ベクトルを生成する(ステップ130)。たとえば、図3Aでは、鉢(bowl)に入ったりんご(apple)等の有機果実(organic fruits)が撮影された画像が訓練画像310として図示されており、「apple」「orange」「pear」「bowl」「fruits」「organic」が訓練テキストアイテム330として図示されている。本図に示すように、ニューラルネットワーク320は、画像の特徴抽出器として機能して、入力された訓練画像310のそれぞれに対する特徴ベクトルf_iを生成し、ニューラルネットワーク340は、テキストの特徴抽出器として機能して、入力された訓練テキストアイテム330のそれぞれに対する特徴ベクトルf_jを生成する。ある実施形態では、畳み込みニューラルネットワークを画像や動画のデータアイテムに適用し、長・短期記憶(LSTM; Long Short-Term Memory)ニューラルネットワークや多層パーセプトロンをテキストデータに適用する。ある実施形態では、特徴ベクトルは密な特徴ベクトルである。

(バイナリハッシュコードと量子化コードの生成)
以下に詳細に説明するように、システムは、訓練データアイテムのそれぞれに対するバイナリハッシュコードおよび量子化コードを、そのアイテムに対する特徴ベクトルから生成する(ステップ140)。

(バイナリハッシュ)
あるデータアイテムに対する特徴ベクトルx∈Rⁿが与えられると、システムはバイナリハッシュコードh_x = H(x)∈Rⁿを計算する。ここで、H()は、連続値を、集合{+1,-1}に写像する関数である。たとえば、図3Aでは、バイナリハッシュコードh_iが、画像特徴ベクトルf_iに基づいて生成され、バイナリハッシュコードh_jが、テキスト特徴ベクトルf_jに基づいて生成される。

(量子化)
あるデータアイテムに対する特徴ベクトルx∈Rⁿが与えられると、システムは、量子化コードを、Cb_x≒xにより計算する。

ここで、C∈R^n×kは、量子化のための辞書(いわゆるコードブック)である。また、b_xは、辞書内の列を示すインデックス指示子であり、これが量子化コードとなる。ある実施形態では、システムは、入力は辞書のいずれか1つに属することを仮定する(すなわち、||b_x||₀=1)。図3Aでは、量子化コードb_iは、画像特徴ベクトルf_iに基づいて生成され、量子化コードb_jは、テキスト特徴ベクトルf_jに基づいて生成される。

(特徴ベクトル、バイナリハッシュコード、量子化を同時に最適化)
前述の通り、システムは、訓練データに対して特徴ベクトル、バイナリハッシュコード、量子化コードを繰り返し生成し(ステップ120-140)、これらの表現に基づいて損失値を計算し(ステップ150)、ニューラルネットワーク、バイナリハッシュアルゴリズム、および、量子化アルゴリズムのパラメータを、損失値を最小化するように調整する(ステップ160)。システムは、学習された特徴ならびにバイナリハッシュおよび量子化コードがモーダル性をまたがる訓練データの間の意味論的な類似関係を保存する度合を測る損失関数を使用する(すなわち、意味論的に類似する2つのデータアイテムに対するハッシュコードと量子化コードが、類似するように訓練される)。

1つの実施形態では、損失関数は4つの部分からなる。
(1)異なるモーダル性の間の類似度を密な特徴ベクトルに基づいて測るクロスエントロピー損失。
(2)密な特徴ベクトルと量子化された特徴との間の違いを測る量子化損失。
(3)密な特徴ベクトルとバイナリ化された特徴との間の違いを測るバイナリハッシュ損失。
(4)バイナリコード内のビット情報を最適化するためのバランス損失。
この種の損失関数によって、システムは、特徴ベクトル、バイナリハッシュコード、および、量子化コードを同時に最適化できるようになる。

以下では、損失関数が4つの部分(すなわち、4つのサブ関数)に分かれて定義できる様子を示す。以下の数式のため、異なるモーダル性に由来するデータアイテムi, jを持つ訓練ペアを定義する。当該データアイテムは、密な表現による特徴f_i, f_jを有し、当該ペアは類似度ラベルs_ijを有する。ここで、s_ij=1は、アイテムi, jが類似すること意味し、s_ij=0は、アイテムi, jが非類似であること意味する。4つのサブ関数のそれぞれの例は、以下の通りである。

類似損失: 異なるモーダル性の間の類似度を測るため、最大事後確率(MAP; Maxixum a Posteriori)推定を使用することができる。対数MAPは以下の通りである。

この式において、類似度ラベルs_ijに対する条件付き尤度(conditional likelihood)は、以下の通りである。

ここで、σ(x)はシグモイド関数であり、〈x,y〉は内積演算である。

事前にf_iとf_jが知られていると仮定して、クロスエントロピー損失項をL_simと表記すると、以下のように表現できる。

ハッシュ損失: ハッシュ損失関数は、バイナリコード誤差を最小化する。長さnのバイナリコードh∈{+1,-1}ⁿが与えられたとして、ハッシュ損失をL_hと表記すると、以下のように表現できる。

ここで、||A||_Fは、行列もしくはベクトルAのフロベニウスノルムを意味する。

バランス損失: バイナリコード内のビット情報を最適化(して、ビット情報が最大限利用されるように)する。バランス損失をL_bと表記すると、以下のように表現できる。

ここで、太字の1は、要素として数値1が並んだベクトルである。これは、各訓練サンプルにおいて、+1と-1の個数を均衡させる。

量子化損失: 量子化誤差を最小化するため、システムは複数の辞書を使用し、以下の数式の結果の総和をとる。

ただし、各辞書C^l∈C^n×k、バイナリ指示子b^l∈{0,1}^kであり、||b^l||₀=1である。ここで、||v||₀は、ベクトルvの要素のうち非零の要素の個数を意味する。すると、量子化損失をL_qと表記すると、以下のように表現することができる。

これら4つの損失サブ関数を組み合わせると、以下の損失関数Lが得られる。

ここで、λ_sim、λ_h、λ_b、λ_qは、異なる損失関数間を均衡させるためのハイパーパラメータである。

損失値を計算した後、システムは、ニューラルネットワーク、バイナリハッシュアルゴリズム、および、量子化アルゴリズムのパラメータを、損失値が減るように調整する。すなわち、システムは、ニューラルネットワークのパラメータ、バイナリハッシュコードh、辞書C、および、量子化コードbを、損失値が減るように調整する。ステップ120-160は、類似と(あるいは、段階的尺度において最も類似する、と)ラベル付けされたペアに含まれるデータアイテムのバイナリハッシュコード距離および量子化コード距離を最小化(および、好ましくは最小化)するために、何回も繰り返される(ステップ170)。順に実行される繰り返しのそれぞれにおいて、繰り返し進行中のニューラルネットワーク、バイナリハッシュアルゴリズム、および、量子化アルゴリズムの調整量に基づいて、新しい特徴ベクトル、バイナリハッシュコード、および量子化コードが生成される。ステップ120-160は、固定された回数繰り返しても良いし、収束するまで繰り返しても良い。

(予測フェーズ)
図2Aおよび2Bは、バイナリハッシュ及び量子化を用いて、異なるモーダル性を有するクエリアイテムに対して意味論的な意味が類似するデータベースアイテムをクロスモーダル検索する方法について図示する。予測フェーズでは、システムは、訓練フェーズで訓練されたニューラルネットワーク、バイナリハッシュアルゴリズム、および、量子化アルゴリズムを使用する。予測フェーズにおけるデータモーダル性は、訓練フェーズにおけるデータモーダル性と同じである。これを説明する目的のため、データベースアイテムは第1モーダル性(訓練フェーズにおける第1モーダル性と同じもの)を有し、クエリアイテムは第2モーダル性(訓練フェーズにおける第2モーダル性と同じもの)を有するものとする。

(第1モーダル性を有するデータベースアイテムに対するバイナリハッシュコードと量子化コードの生成)
システムは、第1モーダル性を有するデータベースを複数持つデータベースにアクセスする(ステップ210)。システムは、第1ニューラルネットワークをデータベースアイテムに適用して、データベースアイテムの各々について、特徴ベクトルを生成する(ステップ220)。システムは、バイナリハッシュアルゴリズムと量子化アルゴリズムを使用して、データベースアイテムの各々について、バイナリハッシュコードと量子化コードを生成する(ステップ230)。これらのステップで使用される第1ニューラルネットワーク、および、バイナリハッシュならびに量子化アルゴリズムは、訓練フェーズで訓練されたものである。

前述した通り、実施形態によっては、システムは、異なるエンティティにて訓練フェーズおよび予測フェーズを実行しても良い。データベースアイテムに対してバイナリハッシュコードと量子化コードを作成するステップは、訓練を実行するシステムと同じシステムにより実行されても良いし、予測フェーズを実行するシステムは、データベースアイテムに対応付けられるバイナリハッシュコードと量子化コードを既に持っているデータベースに単にアクセスするだけでも良い。

(第2モーダル性を有するクエリアイテムを受け取る)
予測フェーズを実行するシステムは、第2モーダル性を有するクエリアイテムを受け取り、第2ニューラルネットワークをクエリアイテムに適用して、クエリアイテムに対する特徴ベクトルを生成する(ステップ240, 250)。ついで、システムは、特徴ベクトルとバイナリハッシュアルゴリズムに基づいて、クエリアイテムに対するバイナリハッシュコードを生成する(ステップ260)。実施形態によっては、アイテム間の類似度を測るために量子化コードに基づく量子化距離(quantization distance)あるいは非対称量子化距離(AQD; Asymmetric Quantization Distance)を使用するかに応じて、システムがクエリアイテムに対する量子化コードも生成することとしても良い(後述する)。

(探索空間の絞り込み)
システムは、クエリアイテムと、データベースアイテムの各々と、の間の距離(すなわち、類似性の尺度)を、クエリアイテムとデータベースアイテムのバイナリハッシュコードに基づいて計算する(ステップ260)。ある実施形態では、類似性の尺度はハミング距離
dist(h_x,h_y) = sum(h_x XOR h_y)
とする。ここで、h_xおよびh_yはクエリアイテムxおよびyに対するバイナリハッシュコードである。ハミング距離の値が大きくなればなるほど、アイテムxとyは意味論的に、一層非類似となる。

ついで、システムは、さらなる処理のためのデータベースアイテムの部分集合を選択することにより、データベース探索空間を絞り込む。特に、システムは、ステップ270にて計算された距離に基づいて、クエリアイテムとの意味論的な近さが上位のデータベースアイテムを複数選択する(ステップ275)。当該部分集合の大きさは、データベースアイテムの総数Nに応じて、たとえば0より大きく1未満の定数αを設定して、αNとなるように絞り込むことができる。たとえば、データベースアイテムを、クエリアイテムとの意味論的な近さでソートして、近さが1位からαN位までのデータベースアイテムを、この部分集合の要素とすれば良い。

(量子化コードに基いて最も意味論的に類似するデータベースアイテムを同定)
ついで、システムは、クエリアイテムと、絞り込まれた探索空間内のデータベースアイテムのそれぞれ(すなわち、選択された部分集合内のデータベースアイテムのそれぞれ)と、の間の量子化距離を計算する(ステップ280)。量子化距離は、
データベースアイテムの部分集合のそれぞれに対応付けられる量子化コードと、
クエリアイテムの特徴ベクトルもしくはクエリアイテムの量子化コードのいずれか一方と、
を使用して計算される。

このステップでクエリアイテムの特徴ベクトルを使用する場合は、類似性を測るために非対称量子化距離AQDを使用することができる。
AQD(x,y) = f_x ^T (Cb_y)
ここで、
xはクエリアイテムであり、yはデータベースアイテムであり、
f_xは、xの特徴ベクトルであり、
Tは転置操作であり、
Cは量子化に対する辞書であり、
b_yは、辞書の列を示すインデックス指示子である。

AQDの計算は、特徴ベクトルxと量子化コードyの間の内積の計算を含み、AQD値が大きければ大きいほど、xとyの量子化距離は近くなり、xとyは、一層類似することになる。

このステップでクエリアイテムの量子化コードを使用する場合は、類似度を測るために量子化距離(QD; Quantization Distance)を使用することができる。
QD(x,y) = (Cb_x)^T(Cb_y)
QD値が大きくなればなるほど、両アイテムの量子化距離は小さくなり、両アイテムは一層類似することになる。

システムは、クエリアイテムとの量子化距離が最も近いデータベースアイテムを検索する(ステップ290)が、これは、意味論的な意味がクエリアイテムに最も近いデータベースアイテムであると考えられるからである。

(予測フェーズの例の図示)
図3Bは、1つの実施形態に対する予測プロセスの例を図示して示す。この例では、システムは、画像クエリアイテム350 (本図では、ドーナツの形のオーナメントが飾られたクリスマスツリーの写真の画像を例として示す。)に対して、データベース365からマッチするテキスト記述を探す。ニューラルネットワーク360は、画像の特徴抽出器として機能して、画像クエリアイテム350に対する特徴ベクトルfを生成する。それから、バイナリハッシュコードhが特徴ベクトルに基づいて計算させる。それから、このプロセスは、以下のように進む。

(1)システムは、画像クエリアイテムと、テキストデータベースアイテムの各々と、の間のハミング距離を、画像クエリアイテムおよびテキストデータベースアイテムの各々のバイナリハッシュコードを使用して計算する(バイナリハッシュコード370は、テキストデータベース365に対応付けられている)。

(2)システムは、画像クエリアイテム350に対するハミング距離の近さが上位のデータベースアイテム375の部分集合を選択することにより、探索空間を絞り込む。

(3)システムは、画像クエリアイテムと、テキストアイテムの部分集合のそれぞれと、の間のAQD値を、クエリアイテムに対する特徴ベクトルfと、当該部分集合内のテキストデータベースアイテムに対する量子化コード380と、を使用して計算する。

システムは、AQD値に基づいて、画像クエリアイテムに対する量子化距離が最も近いテキストデータベースアイテムを検索する。本図に示す例では、量子化距離は、「Donut」が最も近く、「Christmas」が2番目に近い。このように、「量子化距離が最も近い」とは、「量子化距離が一番近いもののみ」としても良いし、英語における最上級の用法に応じて、「量子化距離の近さが上位のもの」としても良い。クエリアイテムとデータベースアイテムに対するAQD値が大きければ大きいほど、両アイテム間の量子化距離は近くなり、両アイテムは意味的に近くなる。

(システム例)
図4に、ここで説明した手法によるクロスモーダル検索を実行するシステムのソフトウェアアーキテクチャの例を図示する。他のソフトウェアアーキテクチャを使用することも可能であり、ここで説明した手法は、図示するアーキテクチャに限られるものではない。

システム400は、データ表現モジュール430を有し、データ表現モジュール430は、ニューラルネットワークモジュール450、バイナリハッシュモジュール460、ならびに、量子化モジュール470を含む。前述の通り、これらのモジュールはそれぞれ、データベース410内のデータベースアイテムおよびクエリアイテム420に対する特徴ベクトル、バイナリハッシュコード、および、量子化コードを生成する。これらのモジュールは、前述した訓練手法の下、訓練データ405を使用して、訓練モジュール490によって訓練される。本システムによって扱われるデータモーダル性の各タイプにつき、1つのニューラルネットワークモジュール450が設けられる。

クエリモジュール480は、データベース410内のアイテムであってクエリアイテム420に意味論的に最も近いアイテムを、前述の予測プロセスにしたがって同定し、これを検索結果とする。本例では、クエリモジュール480は、ハミング距離モジュール484ならびにAQDモジュール488を含む。これらはそれぞれ、クエリアイテムとデータベースアイテムとの間のハミング距離ならびに非対称量子化距離を計算する。データベースインターフェース415によって、システムはデータベース410に接続される。

(注記)
以下では、上記実施形態に対する注記をいくつか掲げる。

本実施形態では、ニューラルネットワークのパラメータΘ、バイナリハッシュリコードh、辞書C、および、インデックス指示子b (1-of-kバイナリ指示子と呼ばれることもある。)が学習される。

Θは、与えられた損失関数に対してバックプロパゲーションをすることによって最適化できる。

バイナリハッシュコードhについては、h∈{-1,+1}であるから、||f-h||_F ²を最小化する最適解は、h=sgn(f)である。

図5は、ベクトルxからバイナリハッシュコードh_xへの計算例を示す説明図である。本図では、ある学習時点のハッシュ関数H(・)によってxのハッシュコードh_x = H(x)が求められており、xとh_xは同じ要素数であるが、h_xの各要素は、-1と1のいずれかになっている。

Cおよびbの更新には、種々の公知技術を適用することができる。Cについては、他のパラメータを固定すれば閉形式解法(closed form solution)がある。

ここで、F, Bは、全訓練サンプルの特徴と指示子をまとめたものである(batched features and indicators)。

bについては、||b||₀=1という制限があるので、候補となるすべての指示子をチェックすることによって更新することができる。

図6は、辞書Cを用いてベクトルxをベクトルb_xへ量子化する計算例を示す説明図である。本図では、ある学習時点の辞書Cに基づいてベクトルxがベクトルb_xに量子化されている。ここで、b_xは3次元ベクトルであるから、b_xの候補は、どの要素を1とするかに応じて、[1, 0, 0]^T, [0, 1, 0]^T, [0, 0, 1]^Tの3通りある。これらの全通りについて辞書Cとの行列演算(行列の各列からいずれかを、ベクトル中で1が配置される位置に応じて抜き出す演算。)を行って、得られた結果が最もxに近いものが得られる候補を、量子化コードb_xとして選ぶことになる。本図に示す例では、Cを構成する3つの列[-1.1, -3, 5, 3.2, 9.4]^T, [2.4, -6, 1, 6.9, -8]^T, [-2, -12, 23, 1.2, 0.4]^Tのうち、[2.4, -6, 1, 6.9, -8]^Tが最もx=[0, -7.1, 2.3, 9.3, -12]^Tに近いので、量子化コードb_x = [0, 1, 0]^Tとなる。

一般に、量子化はバイナリコードよりも多くの情報を保存するが、AQDはハミング距離よりも複雑なため、検索ステップで速度が遅くなる。そこで、本実施形態では、まずハミング距離により絞り込みを行ってから、AQDにより検索結果を得ることとして、検索速度を向上させることとしている。

発明者の分析によれば、検索に要する時間のオーダーは、αに比例する。すなわち、探索空間を絞り込めば絞り込むほど、検索は速くなる。

さらに、検索に要する時間のオーダーは、特徴ベクトルの大きさnに比例する。

したがって、特徴ベクトルの大きさnに応じて、たとえば反比例するようにαを選べば、定数時間のオーダーで検索をすることができる。このように、本実施形態では、nとαを適切に定めることで、検索時間を調整することができる。

(まとめ)
本願図面において記述された手法は、ソフトウェア内に具体化され、当該ソフトウェアを実行(execute)する(1以上のコンピューティングデバイスを備える)コンピュータシステムによって実行(perform)される。コンピュータシステムは、ソフトウェア指令を格納するための1以上の物理メモリユニット、ディスクあるいは他の物理的な、コンピュータ読取可能なストレージメディアを有するほか、ソフトウェア指令を実行するための1以上のプロセッサを有する。コンピュータシステムは、スタンドアロンのものでも良いし、コンピュータ通信網にサーバとして接続されたものでも良い。実施形態によっては、あるエンティティにより制御されるコンピュータシステムが訓練プロセスを実行し、別のエンティティにより制御されるコンピュータシステムが予測プロセスを実行することとしても良い。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本願においては、アメリカ合衆国に対して令和1年(2019年)12月20日(金)に出願した仮出願62/952090、および、アメリカ合衆国に対して令和2年(2020年)5月7日(木)に出願した特許出願16/869408を基礎とする優先権を主張するものとし、法令が許す限り、当該基礎出願の内容を本願に取り込むものとする。

本発明によれば、クロスモーダル検索を効率良く実現することができるようになる。

310 訓練画像
320 ニューラルネットワーク
330 訓練テキストアイテム
340 ニューラルネットワーク
350 画像クエリアイテム
360 ニューラルネットワーク
365 テキストデータベース
370 バイナリハッシュコード
375 データベースアイテムの部分集合
380 量子化コード
400 システム
405 訓練データ
410 データベース
415 データベースインターフェース
420 クエリアイテム
430 データ表現モジュール
450 ニューラルネットワークモジュール
460 バイナリハッシュモジュール
470 量子化モジュール
480 クエリモジュール
484 ハミング距離モジュール
488 AQDモジュール
490 訓練モジュール

Claims

抽出装置が、
入力されたデータアイテムに対して、
当該データアイテムが第1モーダル性を有すれば、学習済の第1ニューラルネットワークを適用し、
当該データアイテムが第2モーダル性を有すれば、学習済の第2ニューラルネットワークを適用する
ことにより、当該データアイテムの特徴ベクトルを生成し、
前記生成された特徴ベクトルに対して、学習済のバイナリハッシュアルゴリズムを適用することにより、バイナリハッシュコードを生成し、
前記生成された特徴ベクトルに対して、学習済の量子化アルゴリズムを適用することにより、量子化コードを生成し、
当該データアイテムの意味論的な特徴表現として、少なくとも、前記生成されたバイナリハッシュコードと、前記生成された量子化コードと、を出力する
抽出方法であって、
前記第1ニューラルネットワークと、前記第2ニューラルネットワークと、は、
データアイテムのペアを複数含む訓練データセットであって、
各ペアは、第1モーダル性のデータアイテムと、第2モーダル性のデータアイテムと、を含み、
第1モーダル性と第2モーダル性は異なり、
ペアの第1部分集合は、意味論的な意味が類似するデータアイテムを含み、
ペアの第2部分集合は、意味論的な意味が非類似のデータアイテムを含み、
各ペアは、ペア内のデータアイテムの意味論的な意味が類似か非類似かに基づいてラベルが付けられている
訓練データセットにより学習されたものである
ことを特徴とする抽出方法。
前記第1ニューラルネットワークと、前記第2ニューラルネットワークと、は、
第1ニューラルネットワークを当該訓練データセット内の第1モーダル性を有するデータアイテムに適用して、第1モーダル性を有するデータアイテムのそれぞれの特徴ベクトルを生成し、
第2ニューラルネットワークを当該訓練データセット内の第2モーダル性を有するデータアイテムに適用して、第2モーダル性を有するデータアイテムのそれぞれの特徴ベクトルを生成し、
バイナリハッシュコードと量子化コードを、訓練データセット内のデータアイテムの各々に対して、当該データアイテムの特徴ベクトルに基づいて生成し、
当該バイナリハッシュコードはバイナリハッシュアルゴリズムを使用して生成され、
当該量子化コードは量子化アルゴリズムを使用して生成され、
損失関数を使用して損失値を計算し、
当該損失関数は、当該特徴ベクトルと、当該バイナリハッシュコードと、当該量子化コードと、が訓練データペア内の意味論的な類似関係を保存する度合を測り、
当該第1ニューラルネットワークと、当該第2ニューラルネットワークと、当該バイナリハッシュアルゴリズムと、当該量子化アルゴリズムと、のパラメータを、当該損失値が減るように更新する
ことを繰り返す
ことにより学習される
ことを特徴とする請求項1に記載の抽出方法。
当該第1モーダル性はテキストであり、当該第2モーダル性は画像である
ことを特徴とする請求項1に記載の抽出方法。
当該第1モーダル性は画像であり、当該第2モーダル性はテキストである
ことを特徴とする請求項1に記載の抽出方法。
当該損失関数は、
訓練データアイテムのペアの特徴ベクトル間の類似度を測る類似損失サブ関数と、
バイナリコード誤差を測るハッシュ損失サブ関数と、
量子化誤差を測る量子化損失サブ関数と、
を備えることを特徴とする請求項2に記載の抽出方法。
当該損失関数は、当該訓練データセットに対する当該バイナリハッシュコードにおける+1と-1のバイナリビットの数の分布を測るバランス損失サブ関数を備えることを特徴とする請求項5に記載の抽出方法。
畳み込みニューラルネットワークを画像データアイテムに適用し、長・短期記憶ニューラルネットワークもしくは多層パーセプトロンをテキストデータアイテムに適用することを特徴とする請求項1から6のいずれか1項に記載の抽出方法。
当該バイナリハッシュコードに基づいて計算されるハミング距離により、前記類似関係を保存する度合が測られる
ことを特徴とする請求項2、5、6のいずれか1項に記載の抽出方法。
第1データアイテムと、第2データアイテムと、の類似関係を保存する度合は、当該第1データアイテムの特徴ベクトルと、当該第2データアイテムの量子化コードと、を使用して計算される非対称量子化距離により、測られる
ことを特徴とする請求項2、5、6、8のいずれか1項に記載の抽出方法。
第1データアイテムと、第2データアイテムと、の類似関係を保存する度合は、当該第1データアイテムの量子化コードと、当該第2データアイテムの量子化コードと、を使用して計算される量子化距離により測られる
ことを特徴とする請求項2、5、6、8のいずれか1項に記載の抽出方法。
入力されたデータアイテムに対して、
当該データアイテムが第1モーダル性を有すれば、学習済の第1ニューラルネットワークを適用し、
当該データアイテムが第2モーダル性を有すれば、学習済の第2ニューラルネットワークを適用する
ことにより、当該データアイテムの特徴ベクトルを生成する特徴ベクトル生成部、
前記生成された特徴ベクトルに対して、学習済のバイナリハッシュアルゴリズムを適用することにより、バイナリハッシュコードを生成するバイナリハッシュコード生成部、
前記生成された特徴ベクトルに対して、学習済の量子化アルゴリズムを適用することにより、量子化コードを生成する量子化コード生成部、
当該データアイテムの意味論的な特徴表現として、少なくとも、前記生成されたバイナリハッシュコードと、前記生成された量子化コードと、を出力する出力部
を備え、
前記第1ニューラルネットワークと、前記第2ニューラルネットワークと、は、
データアイテムのペアを複数含む訓練データセットであって、
各ペアは、第1モーダル性のデータアイテムと、第2モーダル性のデータアイテムと、を含み、
第1モーダル性と第2モーダル性は異なり、
ペアの第1部分集合は、意味論的な意味が類似するデータアイテムを含み、
ペアの第2部分集合は、意味論的な意味が非類似のデータアイテムを含み、
各ペアは、ペア内のデータアイテムの意味論的な意味が類似か非類似かに基づいてラベルが付けられている
訓練データセットにより学習されたものである
ことを特徴とする抽出装置。
コンピュータに、
入力されたデータアイテムに対して、
当該データアイテムが第1モーダル性を有すれば、学習済の第1ニューラルネットワークを適用し、
当該データアイテムが第2モーダル性を有すれば、学習済の第2ニューラルネットワークを適用する
ことにより、当該データアイテムの特徴ベクトルを生成する工程、
前記生成された特徴ベクトルに対して、学習済のバイナリハッシュアルゴリズムを適用することにより、バイナリハッシュコードを生成する工程、
前記生成された特徴ベクトルに対して、学習済の量子化アルゴリズムを適用することにより、量子化コードを生成する工程、
当該データアイテムの意味論的な特徴表現として、少なくとも、前記生成されたバイナリハッシュコードと、前記生成された量子化コードと、を出力する工程
を実行させ、
前記第1ニューラルネットワークと、前記第2ニューラルネットワークと、は、
データアイテムのペアを複数含む訓練データセットであって、
各ペアは、第1モーダル性のデータアイテムと、第2モーダル性のデータアイテムと、を含み、
第1モーダル性と第2モーダル性は異なり、
ペアの第1部分集合は、意味論的な意味が類似するデータアイテムを含み、
ペアの第2部分集合は、意味論的な意味が非類似のデータアイテムを含み、
各ペアは、ペア内のデータアイテムの意味論的な意味が類似か非類似かに基づいてラベルが付けられている
訓練データセットにより学習されたものである
ことを特徴とするプログラム。