JP5749279B2 - アイテム関連付けのための結合埋込 - Google Patents
アイテム関連付けのための結合埋込 Download PDFInfo
- Publication number
- JP5749279B2 JP5749279B2 JP2012551391A JP2012551391A JP5749279B2 JP 5749279 B2 JP5749279 B2 JP 5749279B2 JP 2012551391 A JP2012551391 A JP 2012551391A JP 2012551391 A JP2012551391 A JP 2012551391A JP 5749279 B2 JP5749279 B2 JP 5749279B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- embedded
- items
- training
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 157
- 238000000034 method Methods 0.000 claims description 122
- 238000013507 mapping Methods 0.000 claims description 92
- 239000013598 vector Substances 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 20
- 238000011478 gradient descent method Methods 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims 1
- 238000013508 migration Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 241001125840 Coryphaenidae Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000555745 Sciuridae Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9554—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL] by using bar codes
Description
例えば、本願発明は以下の項目を提供する。
(項目1)
複数のアイテムタイプの意味的に関連したアイテムを関連付けるための方法であって、
(a)少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内に、前記複数のアイテムタイプのトレーニングアイテムを埋め込むステップと、
(b)前記アイテムタイプのそれぞれに対して、前記結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するステップと、
(c)前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるステップと
を含む、方法。
(項目2)
(d)前記トレーニングされた結合埋込空間内の前記複数のアイテムタイプの第1のアイテムタイプに対して、前記1つ以上の学習されたマッピングを適用することによって決定された第1の場所に、前記第1のアイテムを埋め込むステップ
をさらに含む、項目1に記載の方法。
(項目3)
(e)前記1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、前記第1のアイテムに注釈を付けるステップ
をさらに含む、項目2に記載の方法。
(項目4)
前記学習ステップ(b)は、
(i)前記埋め込まれたトレーニングアイテムから、第2のアイテム、第3のアイテム、および第4のアイテムを選択するステップであって、前記第2のアイテムおよび前記第3のアイテムは、関連し、前記第2のアイテムおよび前記第4のアイテムは、関連しない、ステップと、
(ii)第1の距離が、第2の距離未満であることを決定するステップであって、前記第1の距離は、前記結合埋込空間内における、前記第2のアイテムと前記第3のアイテムとの間の距離であり、前記第2の距離は、前記結合埋込空間内における、前記第2のアイテムと前記第4のアイテムとの間の距離である、ステップと、
(iii)前記決定に基づいて、前記1つ以上の学習されたマッピングを調節するステップと
を含む、項目2に記載の方法。
(項目5)
前記調節ステップ(iii)はさらに、前記第2、第3、および第4のアイテムのうちの少なくとも1つの前記結合埋込空間内の場所を変更するステップを含む、項目4に記載の方法。
(項目6)
前記場所変更ステップは、
前記第2のアイテムと第3のアイテムとの間の距離が、前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内において、前記第2、第3、または第4のアイテムのうちの少なくとも1つを移動させるステップを含む、項目5に記載の方法。
(項目7)
前記移動ステップは、確率的勾配降下法に基づく、項目6に記載の方法。
(項目8)
前記調節ステップは、確率的勾配降下法に基づく、項目4に記載の方法。
(項目9)
前記選択ステップ(i)は、
前記第2のアイテムから前記選択されたアイテムまでの距離が、前記第2のアイテムと第3のアイテムとの間の距離未満となるまで、前記第4のアイテムとして、アイテムを反復的に選択するステップと、
前記第4のアイテムを選択するために必要とされる反復数に基づいて、前記第2のアイテムに関連する前記第3のアイテムのランクを予測するステップと
を含む、項目4に記載の方法。
(項目10)
前記場所変更ステップは、
前記第2のアイテムと第3のアイテムとの間の距離が、前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内において、前記第2、第3、または第4のアイテムのうちの少なくとも1つを移動させるステップを含む、項目9に記載の方法。
(項目11)
前記移動ステップは、前記予測されたランクに基づいて加重された、確率的勾配降下法に基づく、項目10に記載の方法。
(項目12)
前記学習ステップ(b)はさらに、
(iv)所定の終了基準が充足されるまで、少なくともステップ(i)-(iii)を
繰り返すステップ
を含む、項目4に記載の方法。
(項目13)
前記学習ステップ(b)はさらに、
前記第1のアイテムタイプの全アイテムに対する第1のマッピング関数を学習するステップと、
第2のアイテムタイプの複数のアイテムのそれぞれに対して、それぞれのマッピング関数を学習するステップと
を含む、項目4に記載の方法。
(項目14)
前記トレーニングされた結合埋込空間内において、クエリサブジェクトを識別するステップであって、前記クエリサブジェクトは、埋め込まれたトレーニングアイテムである、ステップと、
結果アイテムとして、前記クエリサブジェクトの所定の距離内に位置する、1つ以上のトレーニングされた埋め込まれたアイテムを決定するステップと、
前記結果アイテムを出力するステップと
をさらに含む、項目1に記載の方法。
(項目15)
複数のアイテムタイプの意味的に関連したアイテムを関連付けるためのシステムであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに連結されたメモリと、
前記メモリ内の結合埋込空間内に、前記複数のアイテムタイプのトレーニングアイテムを埋め込むように構成される、結合埋込空間コンフィギュレータと、
前記アイテムタイプのそれぞれに対して、前記結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するように構成される、マッパと、
前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるように構成される、アイテムアソシエータと
を含む、システム。
(項目16)
前記結合埋込空間内の第1の場所に、第1のアイテムを埋め込むように構成される、新しいアイテムエンベッダをさらに含み、前記第1の場所は、前記複数のアイテムタイプの第1のアイテムタイプに対して、学習されたマッピングを適用することによって決定される、項目15に記載のシステム。
(項目17)
前記1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、前記第1のアイテムに注釈を付けるように構成されるアノテータをさらに含む、項目16に記載のシステム。
(項目18)
前記マッパはさらに、確率勾配法を使用して、1つ以上のアイテムタイプに対して、前記マッピングを学習するように構成される、項目16に記載のシステム。
(項目19)
前記アイテムアソシエータはさらに、
前記第2のアイテムから前記選択されたアイテムまでの距離が、前記第2のアイテムと第3のアイテムとの間の距離未満となるまで、前記第4のアイテムとして、アイテムを反復的に選択することと、
前記第4のアイテムを選択するために必要とされる反復数に基づいて、前記第2のアイテムに関連する前記第3のアイテムのランクを予測することと、
前記第2のアイテムと第3のアイテムとの間の距離が、前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内において、前記第2、第3、または第4のアイテムのうちの少なくとも1つを移動させることであって、前記移動は、前記予測されたランクに基づいて加重された確率勾配法に基づく、ことと
を行うように構成される、項目18に記載のシステム。
(項目20)
前記結合埋込空間は、所定の数の実数値軸を含む、項目15に記載のシステム。
(項目21)
前記トレーニングされた結合埋込空間内において、クエリサブジェクトを識別することであって、前記クエリサブジェクトは、埋め込まれたトレーニングアイテムである、ことと、
結果アイテムとして、前記クエリサブジェクトの所定の距離内に位置する、1つ以上のトレーニングされた埋め込まれたアイテムを決定することと
を行うように構成される、意味的クエリモジュールをさらに含む、項目15に記載のシステム。
(項目22)
命令を記憶するコンピュータ可読媒体であって、前記命令は、実行されると、少なくとも1つのプロセッサに、
少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内に、前記複数のアイテムタイプのトレーニングアイテムを埋め込むステップと、
前記アイテムタイプのそれぞれに対して、前記結合埋込空間内への1つ以上のマッピングを学習し、トレーニングされた結合埋込空間および1つ以上の学習されたマッピングを生成するステップと、
前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて、1つ以上の埋め込まれたトレーニングアイテムを第1のアイテムと関連付けるステップと
を含む方法を使用して、複数のアイテムタイプの意味的に関連したアイテムを関連付けさせる、コンピュータ可読媒体。
(項目23)
クエリに応答するための方法であって、
前記クエリを受信するステップと、
前記クエリに応答して、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間内の場所を決定するステップであって、前記結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、前記第1のアイテムと第2のアイテムとの間の意味的関係に対応し、複数のアイテムタイプのアイテムは、前記結合埋込空間内に埋め込まれる、ステップと、
前記場所に最も近接する、前記結合埋込空間内に埋め込まれた1つ以上のアイテムに基づいて、1つ以上の結果を識別するステップと、
前記クエリへの応答として、前記1つ以上の結果を返すステップと
を含む、方法。
(項目24)
前記場所の決定は、
前記受信したクエリに基づいて、クエリアイテムを決定するステップと、
前記クエリアイテムを前記場所に埋め込むステップであって、前記場所は、前記クエリアイテムのアイテムタイプに対して、少なくとも1つの学習されたマッピングを適用することによって、決定される、ステップと
を含む、項目23に記載の方法。
(項目25)
前記クエリは、アーティスト名または歌を含み、前記1つ以上の結果は、第2のアーティスト名および第2の歌のうちの少なくとも1つを含み、前記第2のアーティスト名および第2の歌のうちの少なくとも1つは、前記アーティスト名または前記歌と関連付けられる、項目23に記載の方法。
(項目26)
前記クエリは、タグを含み、前記1つ以上の結果は、少なくとも1つの画像を含み、前記画像は、前記タグと関連付けられる、項目23に記載の方法。
(項目27)
クエリを行う方法であって、
クエリをサーバに伝送するステップであって、前記サーバは、少なくとも1つのプロセッサに連結されたメモリ内に構成される結合埋込空間を含み、前記結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、前記第1のアイテムと前記第2のアイテムとの間の意味的関係に対応し、複数のアイテムタイプのアイテムは、前記結合埋込空間内に埋め込まれる、ステップと、
前記サーバから応答を受信するステップであって、前記応答は、前記結合埋込空間内における、前記クエリに対応する場所を識別し、前記識別された場所に最も近い1つ以上の結果アイテムを識別することによって、前記サーバから形成される、ステップと
を含む、方法。
種々のタイプの非常に大量のアイテム集合が、アイテムの意味的コンテンツに基づいて、アイテム間の関係を見つけるために利用されることが望ましい。例えば、新しい画像に対して、大量のアイテム集合内の関係に基づく注釈は、少量のアイテム集合に基づく注釈より記述的であり得る。したがって、非常に大量の情報集合にスケーラブルであって、アイテム間の種々の関係を考慮する、アイテムを意味的に関連付ける方法およびシステムが、所望される。
図1は、本発明のある実施形態による、複数のアイテムタイプのアイテムを関連付けるためのシステム100を例証する。システム100は、画像アイテムを注釈アイテムと関連付け、自動的に、画像に注釈を付けるように構成される。本発明の他の実施形態は、ビデオ、オーディオ、画像、および注釈等であるが、それらに限定されない、アイテムタイプのアイテム間の関連付けを確立するように構成することができる。
図2は、本発明のある実施形態による、複数のアイテムタイプの意味的に関連したアイテムを相互に関連付けるための方法200(ステップ202-210)を例証する。ある実施形態によると、関連付けは、新しいアイテムに注釈を付けるために使用することができる。
図3は、本発明のある実施形態による、結合埋込空間を構成するための方法(ステップ302-308)を例証する。例えば、ある実施形態では、ステップ302-308は、ステップ202の処理を行う。
ΦW(i)=Wi(2)
式中、xは、画像特徴ベクトルであって、Vは、初期値がランダムであり得る、マトリクスであって、Wiは、Y×Dマトリクスのi番目の行を示す。Yは、注釈数であって、Dは、結合埋込空間内の次元数である。
図4は、本発明のある実施形態による、学習の方法(ステップ402-408)を例証する。ある実施形態では、ステップ204の処理は、ステップ402-408によって、行うことができる。ステップ402-408は、結合埋込空間をスケーラブルにトレーニングし、非常に大量のトレーニングセットの比較的に少量のサンプリングに基づいて、各アイテムタイプに対するマッピングを学習することができる、確率的プロセスを例証する。ステップ402-408は、所定の終了基準が充足されるまで、反復的に行われる。
図5は、ある実施形態による、アイテムのトリプレットを選択する方法(ステップ502-506)を例証する。ある実施形態では、ステップ402の処理は、ステップ502-506によって、行うことができる。
結合埋込空間は、前述のように、種々のデータタイプのアイテムを埋め込むために使用することができる。前述の画像注釈用途に加え、他の用途も、非常に大量のトレーニングデータによって構成される、結合埋込空間を使用して、実装することができる。
式中、A=[A1...A|A|]は、データベース内の全アーティストのパラメータ(ベクトル)のd´|A|マトリクスである。本マトリクス全体は、アルゴリズムのトレーニング相の間、学習されることができる。
式中、T=[T1...T|T|]は、データベース内の全タグのパラメータ(ベクトル)のd´|T|マトリクスである。本マトリクスも、アルゴリズムのトレーニングフェーズの間、学習されることができる。
d´|S|マトリクスVもまた、トレーニングフェーズの間、学習されることができる。アイテムタイプに対するマッピング関数はまた、図3のステップ304に関連して前述される。
発明の開示および要約は、発明者によって熟考された、全部ではないが、本発明の例示的実施形態の1つ以上を説明し得、したがって、本発明および添付の請求項をいかようにも限定することを意図するものではない。
Claims (27)
- 複数のアイテムタイプの意味的に関連したアイテムを関連付けるための方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、前記方法は、
(a)前記少なくとも1つのプロセッサが、前記少なくとも1つのプロセッサに結合されたメモリ内に構成されている2次元よりも大きい次元を有する結合埋込空間内に、前記複数のアイテムタイプの複数のトレーニングアイテムを埋め込むことであって、前記次元の各々は、実数値軸によって画定され、各埋め込まれたトレーニングアイテムは、前記結合埋込空間内のそれぞれの場所に対応し、前記各埋め込まれたトレーニングアイテムは、前記それぞれの場所に対応するそれぞれの実数のベクトルによって表され、前記ベクトルの実数の各々は、前記それぞれの場所を前記次元のうちの1つにマッピングすることに対応する、ことと、
(b)前記少なくとも1つのプロセッサが、前記複数のアイテムタイプの各々に対して、前記結合埋込空間内への1つ以上のマッピングを学習することにより、トレーニングされた結合埋込空間と1つ以上の学習されたマッピングとを生成することと、
(c)前記少なくとも1つのプロセッサが、前記複数の埋め込まれたトレーニングアイテムのうちの1つ以上を第1のアイテムと関連付けることであって、前記関連付けることは、前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて行われ、各距離は、前記第1のアイテムに対応する実数の第1のベクトルと、前記関連付けられた埋め込まれたトレーニングアイテムのうちのそれぞれのアイテムに対応する実数の第2のベクトルとに基づいて決定される、ことと
を含む、方法。 - (d)前記少なくとも1つのプロセッサが、前記トレーニングされた結合埋込空間内の前記複数のアイテムタイプの第1のアイテムタイプに対して、前記1つ以上の学習されたマッピングを適用することによって決定された第1の場所に、前記第1のアイテムを埋め込むこと
をさらに含む、請求項1に記載の方法。 - (e)前記少なくとも1つのプロセッサが、前記1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、前記第1のアイテムに注釈を付けること
をさらに含む、請求項2に記載の方法。 - 前記学習するステップ(b)は、
(i)前記少なくとも1つのプロセッサが、前記複数の埋め込まれたトレーニングアイテムから、第2のアイテム、第3のアイテム、第4のアイテムを選択することであって、前記第2のアイテムと前記第3のアイテムとは関連し、前記第2のアイテムと前記第4のアイテムとは関連しない、ことと、
(ii)前記少なくとも1つのプロセッサが、第1の距離が第2の距離未満であることを決定することであって、前記第1の距離は、前記結合埋込空間内での前記第2のアイテムと前記第3のアイテムとの間の距離であり、前記第2の距離は、前記結合埋込空間内での前記第2のアイテムと前記第4のアイテムとの間の距離である、ことと、
(iii)前記少なくとも1つのプロセッサが、前記決定に基づいて、前記1つ以上の学習されたマッピングを調節することと
を含む、請求項2に記載の方法。 - 前記調節するステップ(iii)は、前記少なくとも1つのプロセッサが、前記第2のアイテム、前記第3のアイテムおよび前記第4のアイテムのうちの少なくとも1つの前記結合埋込空間内の場所を変更することをさらに含む、請求項4に記載の方法。
- 前記場所を変更するステップは、
前記少なくとも1つのプロセッサが、前記第2のアイテムと前記第3のアイテムとの間の距離が前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内で前記第2のアイテム、前記第3のアイテムまたは前記第4のアイテムのうちの少なくとも1つを移動させることを含む、請求項5に記載の方法。 - 前記移動させることは、確率的勾配降下法に基づく、請求項6に記載の方法。
- 前記調節することは、確率的勾配降下法に基づく、請求項4に記載の方法。
- 前記選択するステップ(i)は、
前記少なくとも1つのプロセッサが、前記第2のアイテムから選択されたアイテムまでの距離が前記第2のアイテムと前記第3のアイテムとの間の距離未満となるまで、前記第4のアイテムとしてアイテムを反復的に選択することと、
前記少なくとも1つのプロセッサが、前記第4のアイテムを選択するために必要とされる反復数に基づいて、前記第2のアイテムに関連する前記第3のアイテムのランクを予測することと
を含む、請求項4に記載の方法。 - 前記場所を変更するステップは、
前記少なくとも1つのプロセッサが、前記第2のアイテムと前記第3のアイテムとの間の距離が前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内で前記第2のアイテム、前記第3のアイテムまたは前記第4のアイテムのうちの少なくとも1つを移動させることを含む、請求項9に記載の方法。 - 前記移動させることは、前記予測されたランクに基づいて加重された、確率的勾配降下法に基づく、請求項10に記載の方法。
- 前記学習するステップ(b)は、
(iv)所定の終了基準が充足されるまで、少なくともステップ(i)-(iii)を繰り返すこと
をさらに含む、請求項4に記載の方法。 - 前記学習するステップ(b)は、
前記少なくとも1つのプロセッサが、前記第1のアイテムタイプの全アイテムに対する第1のマッピング関数を学習することと、
前記少なくとも1つのプロセッサが、第2のアイテムタイプの複数のアイテムのそれぞれに対して、それぞれのマッピング関数を学習することと
をさらに含む、請求項4に記載の方法。 - 前記少なくとも1つのプロセッサが、前記トレーニングされた結合埋込空間内でクエリサブジェクトを識別することであって、前記クエリサブジェクトは、埋め込まれたトレーニングアイテムである、ことと、
前記少なくとも1つのプロセッサが、結果アイテムとして、前記クエリサブジェクトの所定の距離内に位置する、1つ以上のトレーニングされた埋め込まれたアイテムを決定することと、
前記少なくとも1つのプロセッサが、前記結果アイテムを出力することと
をさらに含む、請求項1に記載の方法。 - 複数のアイテムタイプの意味的に関連したアイテムを関連付けるためのシステムであって、前記システムは、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに結合されたメモリと、
前記メモリ内の結合埋込空間内に、前記複数のアイテムタイプの複数のトレーニングアイテムを埋め込むように構成されている結合埋込空間コンフィギュレータであって、前記結合埋込空間は、2次元よりも大きい次元を有し、前記次元の各々は、実数値軸によって画定され、各埋め込まれたトレーニングアイテムは、前記結合埋込空間内のそれぞれの場所に対応し、前記各埋め込まれたトレーニングアイテムは、前記それぞれの場所に対応するそれぞれの実数のベクトルによって表され、前記ベクトルの実数の各々は、前記それぞれの場所を前記次元のうちの1つにマッピングすることに対応する、結合埋込空間コンフィギュレータと、
前記複数のアイテムタイプの各々に対して、前記結合埋込空間内への1つ以上のマッピングを学習することにより、トレーニングされた結合埋込空間と1つ以上の学習されたマッピングとを生成するように構成されているマッパと、
前記複数の埋め込まれたトレーニングアイテムのうちの1つ以上を第1のアイテムと関連付けるように構成されているアイテムアソシエータであって、前記関連付けることは、前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて行われ、各距離は、前記第1のアイテムに対応する実数の第1のベクトルと、前記関連付けられた埋め込まれたトレーニングアイテムのうちのそれぞれのアイテムに対応する実数の第2のベクトルとに基づいて決定される、アイテムアソシエータと
を含む、システム。 - 前記トレーニングされた結合埋込空間内の第1の場所に、第1のアイテムを埋め込むように構成されている新しいアイテムエンベッダをさらに含み、前記第1の場所は、前記複数のアイテムタイプの第1のアイテムタイプに対して、学習されたマッピングを適用することによって決定される、請求項15に記載のシステム。
- 前記1つ以上の関連付けられた埋め込まれたトレーニングアイテムに基づいて、前記第1のアイテムに注釈を付けるように構成されているアノテータをさらに含む、請求項16に記載のシステム。
- 前記マッパは、確率勾配法を使用して、1つ以上のアイテムタイプに対して、前記マッピングを学習するようにさらに構成されている、請求項16に記載のシステム。
- 前記アイテムアソシエータは、
前記第2のアイテムから選択されたアイテムまでの距離が前記第2のアイテムと第3のアイテムとの間の距離未満となるまで、前記第4のアイテムとしてアイテムを反復的に選択することと、
前記第4のアイテムを選択するために必要とされる反復数に基づいて、前記第2のアイテムに関連する前記第3のアイテムのランクを予測することと、
前記第2のアイテムと第3のアイテムとの間の距離が前記第2のアイテムから前記第4のアイテムまでの距離未満であるように、前記結合埋込空間内で前記第2のアイテム、前記第3のアイテムまたは前記第4のアイテムのうちの少なくとも1つを移動させることであって、前記移動させることは、前記予測されたランクに基づいて加重された確率勾配法に基づく、ことと
を行うようにさらに構成されている、請求項18に記載のシステム。 - 前記結合埋込空間は、所定の数の実数値軸を含む、請求項15に記載のシステム。
- 前記トレーニングされた結合埋込空間内でクエリサブジェクトを識別することであって、前記クエリサブジェクトは、埋め込まれたトレーニングアイテムである、ことと、
結果アイテムとして、前記クエリサブジェクトの所定の距離内に位置する、1つ以上のトレーニングされた埋め込まれたアイテムを決定することと
を行うように構成されている意味的クエリモジュールをさらに含む、請求項15に記載のシステム。 - 命令を格納したコンピュータ読み取り可能な媒体であって、前記命令は、実行されると、方法を用いて複数のアイテムタイプの意味的に関連したアイテムを関連付けることを少なくとも1つのプロセッサに行わせ、前記方法は、
少なくとも1つのプロセッサに結合されたメモリ内に構成されている結合埋込空間内に、前記複数のアイテムタイプの複数のトレーニングアイテムを埋め込むことであって、前記結合埋込空間は、2次元よりも大きい次元を有し、前記次元の各々は、実数値軸によって画定され、各埋め込まれたトレーニングアイテムは、前記結合埋込空間内のそれぞれの場所に対応し、前記各埋め込まれたトレーニングアイテムは、前記それぞれの場所に対応するそれぞれの実数のベクトルによって表され、前記ベクトルの実数の各々は、前記それぞれの場所を前記次元のうちの1つにマッピングすることに対応する、ことと、
前記複数のアイテムタイプの各々に対して、前記結合埋込空間内への1つ以上のマッピングを学習することにより、トレーニングされた結合埋込空間と1つ以上の学習されたマッピングとを生成することと、
前記複数の埋め込まれたトレーニングアイテムのうちの1つ以上を第1のアイテムと関連付けることであって、前記関連付けることは、前記第1のアイテムから各関連付けられた埋め込まれたトレーニングアイテムまでの前記トレーニングされた結合埋込空間内の距離に基づいて行われ、各距離は、前記第1のアイテムに対応する実数の第1のベクトルと、前記関連付けられた埋め込まれたトレーニングアイテムのうちのそれぞれのアイテムに対応する実数の第2のベクトルとに基づいて決定される、ことと
を含む、コンピュータ読み取り可能な媒体。 - クエリに応答するための方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、前記方法は、
前記少なくとも1つのプロセッサが、前記クエリを受信することと、
前記少なくとも1つのプロセッサが、前記クエリに応答して、前記少なくとも1つのプロセッサに結合されたメモリ内に構成されている2次元よりも大きい次元を有する結合埋込空間内の場所を決定することであって、前記次元の各々は、実数値軸によって画定され、各埋め込まれたトレーニングアイテムは、前記それぞれの場所に対応するそれぞれの実数のベクトルによって表され、前記ベクトルの実数の各々は、前記それぞれの場所を前記次元のうちの1つにマッピングすることに対応し、前記結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、前記第1のアイテムと前記第2のアイテムとの間の意味的関係に対応し、前記距離は、前記第1のアイテムに対応する実数の第1のベクトルと、前記第2のアイテムに対応する実数の第2のベクトルとに基づいて決定され、複数のアイテムタイプの複数のアイテムは、前記結合埋込空間内に埋め込まれる、ことと、
前記少なくとも1つのプロセッサが、前記場所に最も近接する、前記結合埋込空間内に埋め込まれた1つ以上のアイテムに基づいて、1つ以上の結果を識別することと、
前記少なくとも1つのプロセッサが、前記クエリへの応答として、前記1つ以上の結果を返すことと
を含む、方法。 - 前記場所を決定することは、
前記少なくとも1つのプロセッサが、前記受信したクエリに基づいて、クエリアイテムを決定することと、
前記少なくとも1つのプロセッサが、前記クエリアイテムを前記場所に埋め込むことであって、前記場所は、前記クエリアイテムのアイテムタイプに対して、少なくとも1つの学習されたマッピングを適用することによって、決定される、ことと
を含む、請求項23に記載の方法。 - 前記クエリは、アーティスト名または歌を含み、前記1つ以上の結果は、第2のアーティスト名および第2の歌のうちの少なくとも1つを含み、前記第2のアーティスト名および第2の歌のうちの少なくとも1つは、前記アーティスト名または前記歌と関連付けられている、請求項23に記載の方法。
- 前記クエリは、タグを含み、前記1つ以上の結果は、少なくとも1つの画像を含み、前記画像は、前記タグと関連付けられている、請求項23に記載の方法。
- クエリを行う方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、前記方法は、
前記少なくとも1つのプロセッサが、クエリをサーバに伝送することであって、前記サーバは、前記少なくとも1つのプロセッサに結合されたメモリ内に構成されている2次元よりも大きい次元を有する結合埋込空間を含み、前記次元の各々は、実数値軸によって画定され、各埋め込まれたトレーニングアイテムは、前記それぞれの場所に対応するそれぞれの実数のベクトルによって表され、前記ベクトルの実数の各々は、前記それぞれの場所を前記次元のうちの1つにマッピングすることに対応し、前記結合埋込空間内に埋め込まれた第1のアイテムと第2のアイテムとの間の距離は、前記第1のアイテムと前記第2のアイテムとの間の意味的関係に対応し、前記距離は、前記第1のアイテムに対応する実数の第1のベクトルと、前記関連付けられた埋め込まれたトレーニングアイテムのうちのそれぞれのアイテムに対応する実数の第2のベクトルとに基づいて決定され、複数のアイテムタイプのアイテムは、前記結合埋込空間内に埋め込まれる、ことと、
前記少なくとも1つのプロセッサが、前記サーバから応答を受信することであって、前記応答は、前記結合埋込空間内における、前記クエリに対応する場所を識別し、前記識別された場所に最も近い1つ以上の結果アイテムを識別することによって、前記サーバによって形成される、ことと
を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US30035610P | 2010-02-01 | 2010-02-01 | |
US61/300,356 | 2010-02-01 | ||
PCT/US2011/023398 WO2011094757A1 (en) | 2010-02-01 | 2011-02-01 | Joint embedding for item association |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013519138A JP2013519138A (ja) | 2013-05-23 |
JP5749279B2 true JP5749279B2 (ja) | 2015-07-15 |
Family
ID=43769130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012551391A Active JP5749279B2 (ja) | 2010-02-01 | 2011-02-01 | アイテム関連付けのための結合埋込 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9110922B2 (ja) |
EP (1) | EP2531936A1 (ja) |
JP (1) | JP5749279B2 (ja) |
CN (1) | CN102782678B (ja) |
AU (1) | AU2011210535B2 (ja) |
CA (1) | CA2786727C (ja) |
WO (1) | WO2011094757A1 (ja) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
US8819052B2 (en) | 2010-03-29 | 2014-08-26 | Ebay Inc. | Traffic driver for suggesting stores |
US8861844B2 (en) | 2010-03-29 | 2014-10-14 | Ebay Inc. | Pre-computing digests for image similarity searching of image-based listings in a network-based publication system |
US9792638B2 (en) | 2010-03-29 | 2017-10-17 | Ebay Inc. | Using silhouette images to reduce product selection error in an e-commerce environment |
US8949252B2 (en) | 2010-03-29 | 2015-02-03 | Ebay Inc. | Product category optimization for image similarity searching of image-based listings in a network-based publication system |
US9405773B2 (en) * | 2010-03-29 | 2016-08-02 | Ebay Inc. | Searching for more products like a specified product |
US8412594B2 (en) | 2010-08-28 | 2013-04-02 | Ebay Inc. | Multilevel silhouettes in an online shopping environment |
US8856212B1 (en) | 2011-02-08 | 2014-10-07 | Google Inc. | Web-based configurable pipeline for media processing |
US10055493B2 (en) * | 2011-05-09 | 2018-08-21 | Google Llc | Generating a playlist |
KR20140104946A (ko) * | 2011-10-05 | 2014-08-29 | 시레카 테라노스틱스, 엘엘씨 | 스펙트럼 이미징에 의해 생물학적 표본을 분석하는 방법 및 시스템 |
US9075824B2 (en) * | 2012-04-27 | 2015-07-07 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US9129227B1 (en) | 2012-12-31 | 2015-09-08 | Google Inc. | Methods, systems, and media for recommending content items based on topics |
US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
CN103488664B (zh) * | 2013-05-03 | 2016-12-28 | 中国传媒大学 | 一种图像检索方法 |
US9582519B2 (en) * | 2013-08-15 | 2017-02-28 | Dassault Systemes Simulia Corp. | Pattern-enabled data entry and search |
CN105095616A (zh) * | 2014-04-24 | 2015-11-25 | 日本电气株式会社 | 数据分析装置、数据分析方法 |
US20160378285A1 (en) * | 2015-06-24 | 2016-12-29 | Sap Se | Automatic Detection of Semantics |
US9779304B2 (en) * | 2015-08-11 | 2017-10-03 | Google Inc. | Feature-based video annotation |
US10262654B2 (en) * | 2015-09-24 | 2019-04-16 | Microsoft Technology Licensing, Llc | Detecting actionable items in a conversation among participants |
US11514244B2 (en) * | 2015-11-11 | 2022-11-29 | Adobe Inc. | Structured knowledge modeling and extraction from images |
GB2546368B (en) * | 2016-01-15 | 2019-10-02 | Adobe Inc | Modelling semantic concepts in an embedding space as distributions |
US11238362B2 (en) | 2016-01-15 | 2022-02-01 | Adobe Inc. | Modeling semantic concepts in an embedding space as distributions |
US10026020B2 (en) * | 2016-01-15 | 2018-07-17 | Adobe Systems Incorporated | Embedding space for images with multiple text labels |
US10963504B2 (en) * | 2016-02-12 | 2021-03-30 | Sri International | Zero-shot event detection using semantic embedding |
CA3016598A1 (en) * | 2016-03-04 | 2017-09-08 | Findmine | Methods, systems, and media for providing information based on grouping information |
US10657189B2 (en) | 2016-08-18 | 2020-05-19 | International Business Machines Corporation | Joint embedding of corpus pairs for domain mapping |
US10579940B2 (en) | 2016-08-18 | 2020-03-03 | International Business Machines Corporation | Joint embedding of corpus pairs for domain mapping |
US10642919B2 (en) | 2016-08-18 | 2020-05-05 | International Business Machines Corporation | Joint embedding of corpus pairs for domain mapping |
US11361242B2 (en) * | 2016-10-28 | 2022-06-14 | Meta Platforms, Inc. | Generating recommendations using a deep-learning model |
DE102016223193A1 (de) | 2016-11-23 | 2018-05-24 | Fujitsu Limited | Verfahren und Vorrichtung zum Komplettieren eines Wissensgraphen |
US10908616B2 (en) | 2017-05-05 | 2021-02-02 | Hrl Laboratories, Llc | Attribute aware zero shot machine vision system via joint sparse representations |
WO2019018022A2 (en) * | 2017-05-05 | 2019-01-24 | Hrl Laboratories, Llc | MACHINE VISION SYSTEM WITHOUT REFERENCE DATA THROUGH COMMON DISTRIBUTED REPRESENTATIONS |
EP3682370A4 (en) * | 2017-09-12 | 2021-06-09 | HRL Laboratories, LLC | VISIONIC SYSTEM WITHOUT SHOOTING SENSITIVE TO ATTRIBUTES THROUGH SHARED COMMON REPRESENTATIONS |
US10489690B2 (en) | 2017-10-24 | 2019-11-26 | International Business Machines Corporation | Emotion classification based on expression variations associated with same or similar emotions |
US20190188285A1 (en) * | 2017-12-19 | 2019-06-20 | Facebook, Inc. | Image Search with Embedding-based Models on Online Social Networks |
US11797838B2 (en) | 2018-03-13 | 2023-10-24 | Pinterest, Inc. | Efficient convolutional network for recommender systems |
US11372914B2 (en) | 2018-03-26 | 2022-06-28 | Microsoft Technology Licensing, Llc | Image annotation |
US11294974B1 (en) * | 2018-10-04 | 2022-04-05 | Apple Inc. | Golden embeddings |
US11636123B2 (en) * | 2018-10-05 | 2023-04-25 | Accenture Global Solutions Limited | Density-based computation for information discovery in knowledge graphs |
US11227189B2 (en) * | 2019-07-17 | 2022-01-18 | Walmart Apollo, Llc | Systems and methods for identifying items in a digital image |
CN110717377B (zh) * | 2019-08-26 | 2021-01-12 | 平安科技(深圳)有限公司 | 人脸驾驶风险预测模型训练及其预测方法及相关设备 |
US11574020B1 (en) * | 2019-12-12 | 2023-02-07 | Pinterest, Inc. | Identifying similar content in a multi-item embedding space |
US11544317B1 (en) * | 2020-08-20 | 2023-01-03 | Pinterest, Inc. | Identifying content items in response to a text-based request |
CN114117104B (zh) * | 2020-08-28 | 2023-06-16 | 四川大学 | 一种基于多关系感知推理的图像文本匹配方法 |
CN112668320B (zh) * | 2020-12-25 | 2024-02-02 | 平安科技(深圳)有限公司 | 基于词嵌入的模型训练方法、装置、电子设备及存储介质 |
US20230252032A1 (en) * | 2022-02-07 | 2023-08-10 | Maplebear Inc. (Dba Instacart) | Accounting for item attributes when selecting items satisfying a query based on item embeddings and an embedding for the query |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7171016B1 (en) * | 1993-11-18 | 2007-01-30 | Digimarc Corporation | Method for monitoring internet dissemination of image, video and/or audio files |
US6625581B1 (en) * | 1994-04-22 | 2003-09-23 | Ipf, Inc. | Method of and system for enabling the access of consumer product related information and the purchase of consumer products at points of consumer presence on the world wide web (www) at which consumer product information request (cpir) enabling servlet tags are embedded within html-encoded documents |
US6961712B1 (en) * | 1996-10-25 | 2005-11-01 | Ipf, Inc. | Consumer product information request (CPIR) enabling servlets and web-based consumer product information catalogs employing the same |
JP3500930B2 (ja) | 1997-09-22 | 2004-02-23 | ミノルタ株式会社 | キーワード付与方法およびキーワード自動付与装置 |
US6480841B1 (en) * | 1997-09-22 | 2002-11-12 | Minolta Co., Ltd. | Information processing apparatus capable of automatically setting degree of relevance between keywords, keyword attaching method and keyword auto-attaching apparatus |
US6304864B1 (en) * | 1999-04-20 | 2001-10-16 | Textwise Llc | System for retrieving multimedia information from the internet using multiple evolving intelligent agents |
GB2411014A (en) * | 2004-02-11 | 2005-08-17 | Autonomy Corp Ltd | Automatic searching for relevant information |
US20060031246A1 (en) * | 2004-08-04 | 2006-02-09 | Grayson Loren P | Universal database method and system |
US8838591B2 (en) * | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
US20070130112A1 (en) * | 2005-06-30 | 2007-06-07 | Intelligentek Corp. | Multimedia conceptual search system and associated search method |
EP1840764A1 (en) * | 2006-03-30 | 2007-10-03 | Sony France S.A. | Hybrid audio-visual categorization system and method |
CN100401302C (zh) | 2006-09-14 | 2008-07-09 | 浙江大学 | 基于标注重要性次序的图像语义自动标注方法 |
JP2009028290A (ja) | 2007-07-27 | 2009-02-12 | Panasonic Corp | 洗濯機 |
WO2009035108A1 (ja) * | 2007-09-14 | 2009-03-19 | The University Of Tokyo | 対応関係学習装置および方法ならびに対応関係学習用プログラム、アノテーション装置および方法ならびにアノテーション用プログラム、および、リトリーバル装置および方法ならびにリトリーバル用プログラム |
US8326873B2 (en) * | 2008-01-09 | 2012-12-04 | Credit Suisse Securities (Usa) Llc | Enterprise architecture system and method |
GB2457267B (en) * | 2008-02-07 | 2010-04-07 | Yves Dassas | A method and system of indexing numerical data |
CN101587478B (zh) * | 2008-05-20 | 2013-07-24 | 株式会社理光 | 图像训练、自动标注、检索方法及装置 |
US7890512B2 (en) * | 2008-06-11 | 2011-02-15 | Microsoft Corporation | Automatic image annotation using semantic distance learning |
US20110184981A1 (en) * | 2010-01-27 | 2011-07-28 | Yahoo! Inc. | Personalize Search Results for Search Queries with General Implicit Local Intent |
-
2011
- 2011-02-01 JP JP2012551391A patent/JP5749279B2/ja active Active
- 2011-02-01 US US13/019,221 patent/US9110922B2/en active Active
- 2011-02-01 EP EP11703984A patent/EP2531936A1/en not_active Ceased
- 2011-02-01 AU AU2011210535A patent/AU2011210535B2/en active Active
- 2011-02-01 WO PCT/US2011/023398 patent/WO2011094757A1/en active Application Filing
- 2011-02-01 CN CN201180007972.8A patent/CN102782678B/zh active Active
- 2011-02-01 CA CA2786727A patent/CA2786727C/en active Active
Also Published As
Publication number | Publication date |
---|---|
CA2786727A1 (en) | 2011-08-04 |
EP2531936A1 (en) | 2012-12-12 |
WO2011094757A1 (en) | 2011-08-04 |
CN102782678B (zh) | 2016-03-16 |
AU2011210535B2 (en) | 2015-07-16 |
US20110191374A1 (en) | 2011-08-04 |
US9110922B2 (en) | 2015-08-18 |
CN102782678A (zh) | 2012-11-14 |
AU2011210535A1 (en) | 2012-08-02 |
CA2786727C (en) | 2017-08-29 |
JP2013519138A (ja) | 2013-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5749279B2 (ja) | アイテム関連付けのための結合埋込 | |
USRE47340E1 (en) | Image retrieval apparatus | |
US10387430B2 (en) | Geometry-directed active question selection for question answering systems | |
US9589208B2 (en) | Retrieval of similar images to a query image | |
RU2711125C2 (ru) | Система и способ формирования обучающего набора для алгоритма машинного обучения | |
Zhang et al. | Panorama: a data system for unbounded vocabulary querying over video | |
US10909442B1 (en) | Neural network-based artificial intelligence system for content-based recommendations using multi-perspective learned descriptors | |
WO2016025412A1 (en) | Generating and using a knowledge-enhanced model | |
US8243988B1 (en) | Clustering images using an image region graph | |
WO2013075272A1 (en) | Prototype-based re-ranking of search results | |
KR102222564B1 (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
Zhan et al. | Comprehensive distance-preserving autoencoders for cross-modal retrieval | |
US11809494B2 (en) | Information processing apparatus and information processing method | |
CN113918807A (zh) | 数据推荐方法、装置、计算设备及计算机可读存储介质 | |
Prasanth et al. | Effective big data retrieval using deep learning modified neural networks | |
US11755671B2 (en) | Projecting queries into a content item embedding space | |
TWI693524B (zh) | 專屬個性化圖片搜尋優化方法 | |
JP2020061147A (ja) | Cnn基盤イメージ検索方法および装置 | |
US11893012B1 (en) | Content extraction using related entity group metadata from reference objects | |
Senthil et al. | A content-based visual information retrieval approach for automated image annotation | |
JP6040141B2 (ja) | キーワード付与装置、キーワード付与方法及びプログラム | |
TW202004519A (zh) | 影像自動分類的方法 | |
Shirahama et al. | Hybrid negative example selection using visual and conceptual features | |
Marchese | The Internet Search Engines Based on Artificial Neural Systems Implemented in Hardware would Enable a Powerful and Flexible Context-Based Research of Professional and Scientific Documents | |
Kesare et al. | Query Adaptive Search System Based On Hamming Distance for Image Retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150402 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150501 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5749279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |