JP2023529939A - マルチモーダルｐｏｉ特徴の抽出方法及び装置 - Google Patents

Abstract

本開示は、人工知能分野のビッグデータ技術に関するマルチモーダルＰＯＩ特徴の抽出方法及び装置を開示する。具体的な実現方案は、画像特徴抽出モデルを使用してＰＯＩの画像から前記ＰＯＩの視覚特徴表現を抽出し、テキスト特徴抽出モデルを使用して前記ＰＯＩのテキスト情報からセマンティック特徴表現を抽出し、空間特徴抽出モデルを使用して前記ＰＯＩの空間位置情報から空間特徴表現を抽出し、前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、前記ＰＯＩのマルチモーダル特徴表現を取得する。本開示の実施例は、各ＰＯＩに対して様々なモーダルが融合した特徴ベクトル表現を抽出して、後続のＰＯＩ間の類似度計算に基礎を提供する方法を提供する。

Description

本出願は、出願日が２０２１年０３月２４日であり、出願番号が２０２１１０３１２７００．４であり、発明の名前が「マルチモーダルＰＯＩ特徴の抽出方法及び装置」である中国特許出願の優先権を主張する。
本開示は、コンピュータアプリケーション技術の分野に関し、特に人工知能の分野のビッグデータ技術に関する。

ＰＯＩ（ＰＯＩｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ、関心ポイント）は、地理情報システムにおいて、建物、商店、学校、バス停などの実際に存在する地理的エンティティであってもよい。地理情報システムにとって、ＰＯＩの数はシステム全体の価値をある程度表している。包括的なＰＯＩ情報は、地図情報システムを豊富する必須情報であり、一般的に、各ＰＯＩは、名前、座標、画像など、少なくとも様々なモーダルの情報を含む。これらの情報のデジタルメディアと表現方式は異なる。例えば、名前は一般的に特定の言語のテキストであり、座標は一般的に少なくとも２次元の数字であり、画像は画像形式である。したがって、マルチモーダルＰＯＩとは、複数のデジタルメディアによって説明される物理的エンティティを指す。

通常、ＰＯＩの情報はリレーショナルデータベースに記憶され、多くのアプリケーションシナリオでは、リレーショナルデータベースからＰＯＩの情報をクエリする必要がある。これには、マルチモーダルＰＯＩ類似度を迅速に計算する能力が必要であり、類似度の計算はＰＯＩ特徴に基づいているため、ＰＯＩ特徴をどのように抽出するかが鍵となる。

これに鑑みて、本開示は、マルチモーダルＰＯＩ特徴の抽出方法及び装置を提供する。

本開示の第１の態様によれば、マルチモーダルＰＯＩ特徴の抽出方法を提供し、
画像特徴抽出モデルを使用してＰＯＩの画像から前記ＰＯＩの視覚特徴表現を抽出するステップと、
テキスト特徴抽出モデルを使用して前記ＰＯＩのテキスト情報からセマンティック特徴表現を抽出するステップと、
空間特徴抽出モデルを使用して前記ＰＯＩの空間位置情報から空間特徴表現を抽出するステップと、
前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、前記ＰＯＩのマルチモーダル特徴表現を取得するステップと、を含む。

本開示の第２の態様によれば、マルチモーダルＰＯＩ特徴の抽出装置を提供し、
画像特徴抽出モデルを使用してＰＯＩの画像から前記ＰＯＩの視覚特徴表現を抽出するための視覚特徴抽出モジュールと、
テキスト特徴抽出モデルを使用して前記ＰＯＩのテキスト情報からセマンティック特徴表現を抽出するためのセマンティック特徴抽出モジュールと、
空間特徴抽出モデルを使用して前記ＰＯＩの空間位置情報から空間特徴表現を抽出するための空間特徴抽出モジュールと、
前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、前記ＰＯＩのマルチモーダル特徴表現を取得するための特徴融合モジュールと、を含む。

本開示の第３の態様によれば、電子機器を提供し、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが上記の方法を実行させる。

本開示の第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記の方法を実行させる。

本開示の第５の態様によれば、コンピュータプログラム製品であって、コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行される時に上記の方法を実現する。

以上の技術案から分かるように、本開示の実施例は、各ＰＯＩに対して様々なモーダルが融合した特徴ベクトル表現を抽出して、後続のＰＯＩ間の類似度計算に基礎を提供する方法を提供する。

本明細書で説明された内容は、本開示の実施例のキーまたは重要な特徴を特定することを意図しておらず、本開示の範囲を制限するためにも使用されないことを理解されたい。本開示の他の特徴は、以下の明細書を通じて容易に理解できる。

図面は、本出願をより良く理解するためのものであり、本出願を限定しない。
本開示の実施例により提供されるマルチモーダルＰＯＩ特徴の抽出方法のフローチャートである。 本開示の実施例により提供される画像特徴抽出モデルをトレーニングする概略図である。 本開示の実施例により提供される全接続ネットワークのトレーニングフローチャートである。 本開示の実施例により提供されるマルチモーダルＰＯＩ特徴の抽出装置の概略図である。 本開示の実施例を実現するための電子機器のブロック図である。

以下、図面に基づいて、本出願の例示の実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

従来の伝統的な類似度計算方式では、通常、２つのＰＯＩの画像を類似度計算し、２つのＰＯＩの名前を類似度計算し、次に、２つのＰＯＩの座標を類似度計算する。つまり、異なるモーダルの特徴に対してそれぞれ類似度の計算を行う必要があるため、計算複雑度が大きく、時間がかかる。この問題に対して、本開示の核心的なアイデアは、各ＰＯＩに対して様々なモーダルが融合した特徴表現を抽出し、それによって後続のＰＯＩ間の類似度計算に基礎を提供することである。以下、実施例を組み合わせて本開示により提供される方法を詳細に説明する。

図１は本開示の実施例により提供されるマルチモーダルＰＯＩ特徴の抽出方法のフローチャートである。当該方法の実行主体はマルチモーダルＰＯＩ特徴の抽出装置である。当該装置は、サーバ側に位置するアプリケーションとして具現化することができ、又はサーバ側に位置するアプリケーションのプラグイン又はソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などの機能ユニットとして具現化することもでき、又は、高い計算能力を備えるコンピュータ端末に配置することもでき、本発明の実施例はこれについて特に限定しない。図１に示すように、当該方法は、以下のステップ１０１～１０４を含むことができ、
１０１では、画像特徴抽出モデルを使用してＰＯＩの画像からＰＯＩの視覚特徴表現を抽出する。

１０２では、テキスト特徴抽出モデルを使用してＰＯＩのテキスト情報からセマンティック特徴表現を抽出する。

１０３では、空間特徴抽出モデルを使用してＰＯＩの空間位置情報から空間特徴表現を抽出する。

１０４では、ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、ＰＯＩのマルチモーダル特徴表現を取得する。

上記の実施例に示すステップ１０１～１０３は、１つの実現順序にすぎず、他の順序を使用して順次に実行することもでき、並列に実行することもできる。

以下は実施例をそれぞれ組み合わせて上記の各ステップを詳細に説明する。まず、上記のステップ１０１、すなわち「画像特徴抽出モデルを使用してＰＯＩ看板を含む画像からＰＯＩの視覚特徴表現を抽出する」について詳細に説明する。

ＰＯＩ情報内の画像は、通常、ＰＯＩ看板を含む画像である。例えば、ある店舗を撮影した実景図であり、当該実景図は当該店舗の看板を含み、当該看板は、通常、当該店舗の名前を含み、当該店舗のスローガンも含む。もう１つ例えば、ある建物を撮影した実景図であり、当該実景図は当該建物の看板を含み、当該看板は、通常、建物の名前である。もう１つ例えば、ある学校を撮影した実景図であり、当該実景図は当該学校の看板を含み、当該看板は、通常、学校の名前である。これらのＰＯＩ看板を含む画像は、ＰＯＩ情報の中では、比較的高い識別子を有するため、好ましい実施方式とし、本開示は、ＰＯＩ看板を含む画像からＰＯＩの視覚特徴表現を抽出することができる。

ＰＯＩ看板を含む画像からＰＯＩの視覚特徴表現を抽出する以外、他のタイプのＰＯＩ画像から抽出することもできる。例えば、顕著な形状を備える建物類ＰＯＩについて、当該建物の主体形状を含む画像から視覚特徴表現を抽出することができる。これらのＰＯＩの画像は、ＰＯＩデータベースから取得することができる。

その中の１つの好ましい実施方式として、本ステップは、具体的には、以下のステップＳ１１～Ｓ１２を含むことができ、
ステップＳ１１では、ターゲット検出技術を使用してＰＯＩ看板を含む画像から看板領域を抽出する。

本ステップでは、例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、見るのは一度きり）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ、シングルショットマルチボックス検出器）、Ｆａｓｔｅｒ ＲＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、高速化領域畳み込みニューラル ネットワーク）などのターゲット検出技術を使用してＰＯＩ看板を含む画像から看板領域を認識することができる、上記のターゲット検出技術に基づいて、さらに、ＦＰＮ（ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋｓ、フィーチャ ピラミッド ネットワーク）などの最適化方式を組み合わせることができる。これらのターゲット検出方法は現在比較的成熟した技術であり、ここでは詳しく説明しない。

ターゲット検出技術を使用する以外、他の方式を使用して看板領域を抽出することもできる。例えば、予めトレーニングされた看板判別モデルを使用することができる。まず、実景画像に対して領域分割を行うため、一般的に、実景画像内の看板は、１つの閉領域であるため、実景画像に対して領域の認識及び分割を行い、決定された閉領域を看板判別モデルに入力し、看板判別モデルによって当該閉領域が看板領域であるか否かの判別結果を出力することができる。

看板判別モデルは、実際には、１つの分類モデルであり、いくつかの実景画像を予め収集し、その中から看板領域と非看板領域をそれぞれ正、負サンプルとしてラベリングし、次に、分類モデルをトレーニングして当該看板判別モデルを取得することができる。

ステップＳ１２では、予めトレーニングされた画像特徴抽出モデルを使用して、看板領域からＰＯＩの視覚特徴表現を抽出する。

その中の画像特徴抽出モデルは、ディープニューラルネットワークに基づいて予めトレーニングして取得することができ、看板領域を画像特徴抽出モデルに入力した後、画像特徴抽出モデルが看板領域からＰＯＩの視覚特徴表現を抽出することができる。

次に、画像特徴抽出モデルのトレーニング過程について説明する。まず、トレーニングサンプルを取得することができる。本実施例では、画像特徴抽出モデルをトレーニングするために用いられるトレーニングサンプルを第1のトレーニングサンプルと呼ぶ。ただし、本開示に係る「第１」、「第２」などの表記は、数量、順序、大きさなどの限定的な役割ではなく、名前のみを区別するために用いられることを説明する必要がある。

上記の第１のトレーニングサンプルは、画像サンプルと画像サンプルに対するカテゴリラベルを含む。カテゴリに関するラベリングは、画像によって具現化されたオブジェクトであってもよく、例えば、猫を含む画像ラベリングについて、カテゴリは猫であり、犬を含む画像ラベリングについて、カテゴリは犬である。カテゴリのラベリングは、画像によって具現化されたオブジェクトの種類であってもよく、例えば、特定の具体的な病院を含む画像ラベリングについて、カテゴリは病院であり、特定の具体的な学校を含む画像ラベリングについて、カテゴリは学校である。

次に、画像サンプルをディープニューラルネットワークの入力とし、図２に示すように、画像サンプルに対するカテゴリラベルを分類ネットワークのターゲット出力とする。本実施例において、画像特徴抽出モデルのトレーニング過程では、２つのネットワーク、すなわち、ディープニューラルネットワークと分類ネットワークに関する。その中、ディープニューラルネットワークは、画像サンプルから視覚特徴表現を抽出した後に分類ネットワークに入力し、分類ネットワークは、視覚特徴表現に基づいて画像サンプルに対する分類結果を出力する。トレーニングターゲットは、分類ネットワークによって出力された分類結果と対応するカテゴリラベルとの差異を最小化する。トレーニングが終了した後、例えば、損失関数の値が予め設定された閾値より小さく、又は、トレーニング反復回数が予め設定された回数閾値に達する場合など、トレーニングされたディープニューラルネットワークを使用して画像特徴抽出モデルを取得する。つまり、トレーニング時にディープニューラルネットワークと分類ネットワークを使用するが、最終の画像特徴抽出モデルは、その中のディープニューラルネットワークのみを使用し、分類ネットワークは、ディープニューラルネットワークのトレーニングを支援するために使用される。

上記のトレーニング過程で使用されるディープニューラルネットワークは、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ、残差ネットワーク）５０、ＲｅｓＮｅｔ１０１、ＥｆｆｉｃｉｅｎｔＮｅｔ（高効率ネットワーク）などを使用することができるが、これらに限定されない。分類ネットワークで使用される損失関数は、Ｌａｒｇｅ－Ｓｏｆｔｍａｘ、Ａ－Ｓｏｆｔｍａｘ、ＡＭ－Ｓｏｆｔｍａｘ、ｃｏｓｆａｃｅ、ａｒｃｆａｃｅなどを使用することができるが、これらに限定されない。

上記のステップ１０２、すなわち「テキスト特徴抽出モデルを使用してＰＯＩのテキスト情報からセマンティック特徴表現を抽出する」を詳細に説明する。

本ステップに関するＰＯＩのテキスト情報は、ＰＯＩデータベースから取得したＰＯＩのテキスト情報であってもよい、例えば、ＰＯＩ名前、説明情報、評価情報などである。文字認識技術を使用してＰＯＩ看板を含む画像から認識されたＰＯＩのテキスト情報であってもよい。すなわち、ＰＯＩ看板を含む画像から看板領域を認識した後、次に、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学文字認識）を使用して看板領域からＰＯＩの名前、スローガンなどの文字をＰＯＩのテキスト情報として認識する。

本ステップで使用されるテキスト特徴抽出モデルは、以下の種類を使用することができるが、これらに限定されない。
第１の種類、Ｗｏｒｄｉｎｇ Ｅｍｂｅｄｄｉｎｇ（ワード埋め込み）モデル。

例えば、例えば、Ｗｏｒｄ２Ｖｅｃ（単語ベクトル）、ＧｌｏｖｅなどのＷｏｒｄｉｎｇ Ｅｍｂｅｄｄｉｎｇモデルを使用することができる。

第２の種類、事前トレーニング言語モデル。

例えば、Ｂｅｒｔ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ、トランスフォーマーからの双方向エンコーディング表現）、Ｅｒｎｉｅ（Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ ｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ、エンティティ情報による拡張言語表現）などの事前トレーニング言語モデルを使用することができる。

第３の種類、既存のＰＯＩテキストデータを使用して事前トレーニング言語モデルに対してｆｉｎｅ－ｔｕｎｅ（微調整）を行った後のモデル。

以下は、上記のステップ１０３、すなわち「空間特徴抽出モデルを使用してＰＯＩの空間位置情報から空間特徴表現を抽出する」を詳細に説明する。

本ステップに関するＰＯＩの空間位置情報は、主に、一定の形式を使用してＰＯＩの空間位置に対してラベリングを行う情報を指し、例えば、座標情報である。直接に空間特徴抽出モデルを使用してＰＯＩの空間位置情報に対して空間特徴表現を抽出することができる。

多くのＰＯＩの距離が実際には非常に近く、現在の測位精度はメートルレベルに制御できることを考慮すると、地図情報システムではｂｌｏｃｋ（土地区画）上で各ＰＯＩを分割することがより望ましい。したがって、本開示は、好ましい実施方式を提供し、具体的には、以下のステップＳ２１～Ｓ２２を含むことができ、
ステップＳ２１では、ＰＯＩの空間位置情報に対してハッシュ符号化を行って、ハッシュコードを取得する。

座標情報について、例えば、ｇｅｏｈａｓｈ（緯度と経度のアドレス符号化）を使用して符号化を行うことができる。ｇｏｅｈａｓｈは、１つの文字列を使用して経度と緯度２つの座標を表示し、ｇｏｅｈａｓｈ符号化をした後に、同じｂｌｏｃｋに位置する２つの座標のハッシュコードの前のいくつかのビットが同じであり、後のいくつかのビットのみが区別されるようにする。

ステップＳ２２では、空間特徴抽出モデルを使用してハッシュコードを空間特徴表現に変換する。

本ステップで使用される空間特徴抽出モデルは、Ｗｏｒｄ Ｅｍｅｄｄｉｎｇモデルを使用することができ、すなわち埋め込みの方式を使用してハッシュコードを定量化可能な空間特徴表現に変換することができる。

本実施例では、Ｗｏｒｄ Ｅｍｅｄｄｉｎｇモデルについて、類似度タスクを使用してさらにトレーニングすることができ、トレーニングターゲットは、位置的に近い２つのＰＯＩほど、Ｗｏｒｄｉｎｇ Ｅｍｂｅｄｄｉｎｇモデルによって出力された空間特徴表現間の類似度が高い。

以下は、上記のステップ１０４、すなわち「ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、ＰＯＩのマルチモーダル特徴表現を取得する」を詳細に説明する。

本ステップでは、上記のＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現直接をスプライシングし、スプライシングされた特徴をＰＯＩのマルチモーダル特徴表現とする。しかし、このような方式は硬く、学習能力が不足しており、表現も自然に正確ではない。

したがって、本開示は、好ましい融合方式を提供し、具体的には、以下のステップＳ３１～Ｓ３２を含むことができ、
ステップＳ３１では、ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、スプライシング特徴を取得する。

本ステップでは、視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を予め設定された順序に従って首尾スプライシングを行う。特徴表現のベクトル緯度は異なり、０などの予め設定された値を使用して補足することができる。

ステップＳ３２では、スプライシング特徴を予めトレーニングされた全接続ネットワーク（Ｆｕｌｌ Ｃｏｎｎｅｃｔｉｏｎ）に入力し、全接続ネットワークによって出力されたＰＯＩのマルチモーダル特徴表現を取得する。

以下は、上記の全接続ネットワークのトレーニング過程を詳細に説明する。図３に示すように、当該過程は、以下のステップを含むことができ、
３０１では、第２のトレーニングサンプルを取得し、第２のトレーニングサンプルは、ＰＯＩサンプルとＰＯＩサンプルに対するカテゴリラベルを含む。

いくつかの画像、テキスト、及び空間位置情報を有するＰＯＩをＰＯＩサンプルとして予め取得し、これらのＰＯＩのカテゴリをラベリングすることができる。例えば、ラベリングは、病院、建物、学校、バス停、店舗などである。これらのＰＯＩサンプルとそのカテゴリラベルを第２のトレーニングサンプルとし、特徴融合時に使用される全接続ネットワークをトレーニングするために使用される。

３０２では、画像特徴抽出モデルを使用してＰＯＩサンプルの画像からＰＯＩサンプルの視覚特徴表現を抽出する。

３０３では、テキスト特徴抽出モデルを使用してＰＯＩサンプルのテキスト情報からセマンティック特徴表現を抽出する。

３０４では、空間特徴抽出モデルを使用してＰＯＩサンプルの空間位置情報から空間特徴表現を抽出する。

上記のステップ３０２～ステップ３０４の特徴抽出方式は、前の方法の実施例の関連説明を参照し、ここでは詳しく説明しない。同様に示されたステップ３０２～３０４は、単なるその中の１つの実現順序であり、他の順序を使用して順次に実行することもでき、並列に実行することもできる。

３０５では、ＰＯＩサンプルの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、ＰＯＩサンプルのスプライシング特徴を取得する。

３０６では、ＰＯＩサンプルのスプライシング特徴を全接続ネットワークに入力し、全接続層によって出力されたＰＯＩサンプルのマルチモーダル特徴表現を取得し、マルチモーダル特徴表現を分類ネットワークに入力して、ＰＯＩサンプルのカテゴリラベルを分類ネットワークのターゲット出力とし、全接続ネットワークと分類ネットワークをトレーニングする。

その中、分類ネットワークで使用される損失関数は、Ｌａｒｇｅ－Ｓｏｆｔｍａｘ、Ａ－Ｓｏｆｔｍａｘ、ＡＭ－Ｓｏｆｔｍａｘ、ｃｏｓｆａｃｅ、ａｒｃｆａｃｅなどを使用することができるが、これらに限定されない。

上記のトレーニング過程では、全接続ネットワークと分類ネットワークを重点的にトレーニングし、損失関数の値を使用して全接続ネットワーク及び分類ネットワークのパラメータをアップデートする。画像特徴抽出モデル、テキスト特徴抽出モデル、及び空間特徴抽出モデルのモデルパラメータは、変更されずに保持することができ、上記のトレーニング過程のアップデートに参加することもできる。

上記の方法の実施例の方式を使用して各ＰＯＩに対して各ＰＯＩのマルチモーダル特徴表現をそれぞれ取得し、各ＰＯＩのマルチモーダル特徴表現をデータベースに記憶することができる。ＰＯＩのマルチモーダル特徴表現は、ＰＯＩ間の類似度計算を行うために使用されることができる。具体的なアプリケーション シナリオは、ＰＯＩの自動生成、インテリジェントな検索と推奨などを含むことができるが、これらに限定されない。

ＰＯＩの自動生成を例にとると、収集員又は収集装置は、ＰＯＩ看板を含む画像を撮影し、ＰＯＩの画像、名前、座標などの情報を保存する。履歴的収集された大量のＰＯＩデータは、本開示に記載された実施例の方式を使用してマルチモーダル特徴表現を抽出した後にデータベースに記憶し、例えば、分散ｒｅｄｉｓをマルチモーダル特徴表現の特徴ベースとして使用する。記憶構造は、ｋｅｙ（キー）－ｖａｌｕｅ（値）ペアの形式を使用することができる。

新たに収集されたＰＯＩデータについて、同様に本開示に記載された実施例の方式を使用してマルチモーダル特徴表現を抽出し、次に、マルチモーダル特徴表現を使用して特徴ベースで検索マッチングを行い、例えば、ＮＮ（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、最近傍検索）、ＡＮＮ（Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、近似最近傍検索）などの検索方式を使用する。検索過程は、新たに収集されたＰＯＩのマルチモーダル特徴表現とデータベースの既存のＰＯＩのマルチモーダル特徴表現との間の類似度の計算に基づいて、当該新たに収集されたＰＯＩデータが既存ＰＯＩのデータであるか否かを判断する。検索したがマッチングしないいくつかのＰＯＩデータ、又は、例えばテキストが認識されず、画像の解像度不足、間違った座標などによって引き起こされた自動化的に処理できないＰＯＩデータについて、人工プラットフォームに送信して作業する。

以上は、本開示により提供される方法の詳細な説明であり、以下は、実施例を組み合わせて本開示により提供される装置を詳細に説明する。

図４は本開示の実施例により提供されるマルチモーダルＰＯＩ特徴の抽出装置の概略図である。図４に示すように、当該装置は、視覚特徴抽出モジュール４０１、セマンティック特徴抽出モジュール４０２、空間特徴抽出モジュール４０３、及び特徴融合モジュール４０４を含むことができ、第１のモデルトレーニングユニット４０５、テキスト取得ユニット４０６、第２のモデルトレーニングユニット４０７、及び類似度計算ユニット４０８をさらに含むこともできる。各構成ユニットの主な機能は、以下であり、
視覚特徴抽出モジュール４０１は、画像特徴抽出モデルを使用してＰＯＩの画像からＰＯＩの視覚特徴表現を抽出するために用いられる。

セマンティック特徴抽出モジュール４０２は、テキスト特徴抽出モデルを使用してＰＯＩのテキスト情報からセマンティック特徴表現を抽出するために用いられる。

空間特徴抽出モジュール４０３は、空間特徴抽出モデルを使用してＰＯＩの空間位置情報から空間特徴表現を抽出するために用いられる。

特徴融合モジュール４０４は、ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、ＰＯＩのマルチモーダル特徴表現を取得するために用いられる。

好ましい実施方式とし、視覚特徴抽出モジュール４０１は、ターゲット検出技術を使用してＰＯＩ看板を含む画像から看板領域を抽出し、予めトレーニングされた画像特徴抽出モデルを使用して看板領域からＰＯＩの視覚特徴表現を抽出することができる。

第１のモデルトレーニングユニット４０５は、以下の方式で予めトレーニングして画像特徴抽出モデルを取得し、前記方式は、第１のトレーニングサンプルを取得し、第１のトレーニングサンプルは、画像サンプルと、画像サンプルに対するカテゴリラベルと、を含み、画像サンプルをディープニューラルネットワークの入力とし、画像サンプルに対するカテゴリラベルを分類ネットワークのターゲット出力とし、ディープニューラルネットワークと分類ネットワークをトレーニングし、ディープニューラルネットワークは、画像サンプルから視覚特徴表現を抽出した後に分類ネットワークに入力し、分類ネットワークは、視覚特徴表現に基づいて画像サンプルに対する分類結果を出力し、トレーニングが終了した後、トレーニングされたディープニューラルネットワークを使用して画像特徴抽出モデルを取得する。

テキスト取得ユニット４０６は、ＰＯＩデータベースからＰＯＩのテキスト情報を取得し、及び／又は、文字認識技術を使用してＰＯＩ看板を含む画像からＰＯＩのテキスト情報を認識して取得するために用いられる。

その中、テキスト特徴抽出モデルは、Ｗｏｒｄ Ｅｍｂｅｄｄｉｎｇモデル、事前トレーニング言語モデル、又は既存のＰＯＩテキストデータを使用して事前トレーニング言語モデルを微調整して取得したモデルを含むことができるが、これらに限定されない。

好ましい実施方式とし、空間特徴抽出モジュール４０３は、具体的には、ＰＯＩの空間位置情報に対してハッシュ符号化を行って、ハッシュコードを取得し、空間特徴抽出モデルを使用してハッシュコードを空間特徴表現に変換するために用いられる。

その中、空間特徴抽出モデルはＷｏｒｄ Ｅｍｂｅｄｄｉｎｇモデルを含むことができる。

好ましい実施方式とし、特徴融合モジュール４０４は、具体的には、ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、スプライシング特徴を取得し、スプライシング特徴を予めトレーニングされた全接続ネットワークに入力し、全接続ネットワークによって出力されたＰＯＩのマルチモーダル特徴表現を取得するために用いられることができる。

第２のモデルトレーニングユニット４０７は、以下の方式で予めトレーニングして全接続ネットワークを取得するために用いられ、前記方式は、
第２のトレーニングサンプルを取得し、第２のトレーニングサンプルは、ＰＯＩサンプルとＰＯＩサンプルに対するカテゴリラベルを含み、画像特徴抽出モデルを使用してＰＯＩサンプルの画像からＰＯＩサンプルの視覚特徴表現を抽出し、テキスト特徴抽出モデルを使用してＰＯＩサンプルのテキスト情報からセマンティック特徴表現を抽出し、空間特徴抽出モデルを使用してＰＯＩサンプルの空間位置情報から空間特徴表現を抽出し、ＰＯＩサンプルの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、ＰＯＩサンプルのスプライシング特徴を取得し、ＰＯＩサンプルのスプライシング特徴を全接続ネットワークに入力し、全接続層によって出力されたＰＯＩサンプルのマルチモーダル特徴表現を取得し、マルチモーダル特徴表現を分類ネットワークに入力して、ＰＯＩサンプルのカテゴリラベルを分類ネットワークのターゲット出力とし、全接続ネットワークと分類ネットワークをトレーニングする。

類似度計算ユニット４０８は、ＰＯＩのマルチモーダル特徴表現に基づいて、ＰＯＩ間の類似度を計算するために用いられる。

本明細書の各実施例は、すべて漸進的な方式を使用して説明し、各実施例間の同一および類似の部分は、互いに参照すればよく、各実施例は、すべて他の実施例との違いについて重点的に説明する。特に、装置の実施例は、方法の実施例に基本的に類似するため、説明は比較的に簡単であり、関連するところは、方法の実施例の部分の説明を参照すればよい。

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム製品をさらに提供する。

図５に示すように、本開示の実施例に係る電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様の計算デバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実現を制限することを意図したものではない。

図５に示すように、機器５００は計算ユニット５０１を含み、計算ユニット５０１は、読み取り専用メモリ（ＲＯＭ）５０２に記憶されているコンピュータプログラムまたは記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にローディングされたコンピュータプログラムに基づいて、様々な適切な動作と処理を実行することができる。ＲＡＭ５０３には、機器５００が動作するに必要な様々なプログラムとデータも記憶することができる。計算ユニット５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４を介してお互いに接続される。入出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続される。

機器５００内の複数のコンポーネントは、Ｉ／Ｏインターフェース５０５に接続されており、キーボード、マウスなどの入力ユニット５０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット５０７と、ディスク、光ディスクなどの記憶ユニット５０８と、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット５０９と、を含む。通信ユニット５０９は、機器５００が、インターネットなどのコンピュータネットワーク、および／または様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

計算ユニット５０１は、様々な処理と計算能力を備える汎用および／または専用の処理コンポーネントである。計算ユニット５０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット５０１は、マルチモーダルＰＯＩ特徴の抽出方法などの上記の様々な方法と処理を実行する。例えば、いくつかの実施例では、マルチモーダルＰＯＩ特徴の抽出方法は、記憶ユニット５０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。

いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ５０２および／または通信ユニット５０９を介して機器５００にローディングおよび／またはインストールされる。コンピュータプログラムがＲＡＭ５０３にローディングされて計算ユニット５０１によって実行される場合、上記のマルチモーダルＰＯＩ特徴の抽出方法の一つまたは複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット５０１は、他の任意の適切な方式（例えば、ファームウェアによって）を介してマルチモーダルＰＯＩ特徴の抽出方法を実行するように構成されることができる。

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ローディングプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

本開示の方法を実施するためのプログラムコードは、一つまたは複数のプログラミング言語の任意の組み合わせを使用して作成することができる。これらのプログラムコードは、プログラムコードがプロセッサまたはコントローラによって実行される時にフローチャートおよび／またはブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供することができる。プログラムコードは、完全に機械上で実行されたり、部分的に機械上で実行されたり、独立したソフトウェアパッケージとして部分的に機械上で実行され、部分的にリモート機械上実行されたり、または完全にリモート機械またはサーバ上で実行されたりすることができる。

本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、または機器の使用、または命令実行システム、装置または機器と組み合わせて使用するプログラムを含むか、または記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置または機器、または上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、一つまたは複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ またはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記の内容の任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、を含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記の具体的な実施方式は、本開示に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれなければならない。

Claims (23)

1. マルチモーダルＰＯＩ特徴の抽出方法であって、
   画像特徴抽出モデルを使用してＰＯＩの画像から前記ＰＯＩの視覚特徴表現を抽出するステップと、
   テキスト特徴抽出モデルを使用して前記ＰＯＩのテキスト情報からセマンティック特徴表現を抽出するステップと、
   空間特徴抽出モデルを使用して前記ＰＯＩの空間位置情報から空間特徴表現を抽出するステップと、
   前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、前記ＰＯＩのマルチモーダル特徴表現を取得するステップと、を含む、
   マルチモーダルＰＯＩ特徴の抽出方法。
2. 前記画像特徴抽出モデルを使用してＰＯＩの画像から前記ＰＯＩの視覚特徴表現を抽出するステップは、
   ターゲット検出技術を使用してＰＯＩ看板を含む画像から看板領域を抽出するステップと、
   予めトレーニングされた画像特徴抽出モデルを使用して前記看板領域から前記ＰＯＩの視覚特徴表現を抽出するステップと、を含む、
   請求項１に記載のマルチモーダルＰＯＩ特徴の抽出方法。
3. 前記画像特徴抽出モデルは、以下の方式で予めトレーニングして取得し、前記方式は、
   第１のトレーニングサンプルを取得し、前記第１のトレーニングサンプルは、画像サンプルと、画像サンプルに対するカテゴリラベルと、を含み、
   前記画像サンプルをディープニューラルネットワークの入力とし、前記画像サンプルに対するカテゴリラベルを分類ネットワークのターゲット出力とし、前記ディープニューラルネットワークと前記分類ネットワークをトレーニングし、前記ディープニューラルネットワークは、前記画像サンプルから視覚特徴表現を抽出した後に前記分類ネットワークに入力し、前記分類ネットワークは、前記視覚特徴表現に基づいて前記画像サンプルに対する分類結果を出力し、
   トレーニングが終了した後、トレーニングされた前記ディープニューラルネットワークを使用して前記画像特徴抽出モデルを取得する、
   請求項１又は２に記載のマルチモーダルＰＯＩ特徴の抽出方法。
4. 前記ＰＯＩのテキスト情報は、
   ＰＯＩデータベースから取得した前記ＰＯＩのテキスト情報、及び／又は、
   文字認識技術を使用してＰＯＩ看板を含む画像から認識された前記ＰＯＩのテキスト情報を含む、
   請求項１に記載のマルチモーダルＰＯＩ特徴の抽出方法。
5. 前記テキスト特徴抽出モデルは、
   ワード埋め込み（Ｗｏｒｄ Ｅｍｂｅｄｄｉｎｇ）モデル、事前トレーニング言語モデル、又は既存のＰＯＩテキストデータを使用して事前トレーニング言語モデルを微調整して取得したモデルを含む、
   請求項１に記載のマルチモーダルＰＯＩ特徴の抽出方法。
6. 空間特徴抽出モデルを使用して前記ＰＯＩの空間位置情報から空間特徴表現を抽出するステップは、
   前記ＰＯＩの空間位置情報に対してハッシュ符号化を行って、ハッシュコードを取得するステップと、
   空間特徴抽出モデルを使用して前記ハッシュコードを空間特徴表現に変換するステップと、を含む、
   請求項１に記載のマルチモーダルＰＯＩ特徴の抽出方法。
7. 前記空間特徴抽出モデルはワード埋め込みモデルを含む、
   請求項１又は６に記載のマルチモーダルＰＯＩ特徴の抽出方法。
8. 前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、前記ＰＯＩのマルチモーダル特徴表現を取得するステップは、
   前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、スプライシング特徴を取得するステップと、
   前記スプライシング特徴を予めトレーニングされた全接続ネットワークに入力し、前記全接続ネットワークによって出力された前記ＰＯＩのマルチモーダル特徴表現を取得するステップと、を含む、
   請求項１に記載のマルチモーダルＰＯＩ特徴の抽出方法。
9. 前記全接続ネットワークは、以下の方式で予めトレーニングして取得し、前記方式は、
   第２のトレーニングサンプルを取得し、前記第２のトレーニングサンプルは、ＰＯＩサンプルと前記ＰＯＩサンプルに対するカテゴリラベルを含み、
   前記画像特徴抽出モデルを使用して前記ＰＯＩサンプルの画像から前記ＰＯＩサンプルの視覚特徴表現を抽出し、
   前記テキスト特徴抽出モデルを使用して前記ＰＯＩサンプルのテキスト情報からセマンティック特徴表現を抽出し、
   空間特徴抽出モデルを使用して前記ＰＯＩサンプルの空間位置情報から空間特徴表現を抽出し、
   前記ＰＯＩサンプルの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、前記ＰＯＩサンプルのスプライシング特徴を取得し、
   前記ＰＯＩサンプルのスプライシング特徴を全接続ネットワークに入力して、全接続層によって出力された前記ＰＯＩサンプルのマルチモーダル特徴表現を取得し、
   前記マルチモーダル特徴表現を分類ネットワークに入力して、前記ＰＯＩサンプルのカテゴリラベルを前記分類ネットワークのターゲット出力とし、前記全接続ネットワークと前記分類ネットワークをトレーニングする、
   請求項８に記載のマルチモーダルＰＯＩ特徴の抽出方法。
10. ＰＯＩのマルチモーダル特徴表現に基づいて、ＰＯＩ間の類似度を計算するステップをさらに含む、
    請求項１に記載のマルチモーダルＰＯＩ特徴の抽出方法。
11. マルチモーダルＰＯＩ特徴の抽出装置であって、
    画像特徴抽出モデルを使用してＰＯＩの画像から前記ＰＯＩの視覚特徴表現を抽出するための視覚特徴抽出モジュールと、
    テキスト特徴抽出モデルを使用して前記ＰＯＩのテキスト情報からセマンティック特徴表現を抽出するためのセマンティック特徴抽出モジュールと、
    空間特徴抽出モデルを使用して前記ＰＯＩの空間位置情報から空間特徴表現を抽出するための空間特徴抽出モジュールと、
    前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現を融合して、前記ＰＯＩのマルチモーダル特徴表現を取得するための特徴融合モジュールと、を含む、
    マルチモーダルＰＯＩ特徴の抽出装置。
12. 前記視覚特徴抽出モジュールは、具体的には、ターゲット検出技術を使用してＰＯＩ看板を含む画像から看板領域を抽出し、予めトレーニングされた画像特徴抽出モデルを使用して前記看板領域から前記ＰＯＩの視覚特徴表現を抽出するために用いられる、
    請求項１１に記載のマルチモーダルＰＯＩ特徴の抽出装置。
13. 第１のモデルトレーニングユニットをさらに含み、
    前記第１のモデルトレーニングユニットは、以下の方式で予めトレーニングして前記画像特徴抽出モデルを取得するために用いられ、前記方式は、第１のトレーニングサンプルを取得し、前記第１のトレーニングサンプルは、画像サンプルと、画像サンプルに対するカテゴリラベルと、を含み、前記画像サンプルをディープニューラルネットワークの入力とし、前記画像サンプルに対するカテゴリラベルを分類ネットワークのターゲット出力とし、前記ディープニューラルネットワークと前記分類ネットワークをトレーニングし、前記ディープニューラルネットワークは、前記画像サンプルから視覚特徴表現を抽出した後に前記分類ネットワークに入力し、前記分類ネットワークは、前記視覚特徴表現に基づいて前記画像サンプルに対する分類結果を出力し、トレーニングが終了した後、トレーニングされた前記ディープニューラルネットワークを使用して前記画像特徴抽出モデルを取得する、
    請求項１１又は１２に記載のマルチモーダルＰＯＩ特徴の抽出装置。
14. 前記抽出装置は、テキスト取得ユニットをさらに含み、
    前記テキスト取得ユニットは、ＰＯＩデータベースから前記ＰＯＩのテキスト情報を取得し、及び／又は、文字認識技術を使用してＰＯＩ看板を含む画像から前記ＰＯＩのテキスト情報を認識して取得するために用いられる、
    請求項１１に記載のマルチモーダルＰＯＩ特徴の抽出装置。
15. 前記テキスト特徴抽出モデルは、
    ワード埋め込みモデル、事前トレーニング言語モデル、又は既存のＰＯＩテキストデータを使用して事前トレーニング言語モデルを微調整して取得したモデルを含む、
    請求項１１に記載のマルチモーダルＰＯＩ特徴の抽出装置。
16. 前記空間特徴抽出モジュールは、具体的には、前記ＰＯＩの空間位置情報に対してハッシュ符号化を行って、ハッシュコードを取得し、空間特徴抽出モデルを使用して前記ハッシュコードを空間特徴表現に変換するために用いられる、
    請求項１１に記載のマルチモーダルＰＯＩ特徴の抽出装置。
17. 前記空間特徴抽出モデルはワード埋め込みモデルを含む、
    請求項１１又は１６に記載のマルチモーダルＰＯＩ特徴の抽出装置。
18. 前記特徴融合モジュールは、具体的には、前記ＰＯＩの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、スプライシング特徴を取得し、前記スプライシング特徴を予めトレーニングされた全接続ネットワークに入力し、前記全接続ネットワークによって出力された前記ＰＯＩのマルチモーダル特徴表現を取得するために用いられる、
    請求項１１に記載のマルチモーダルＰＯＩ特徴の抽出装置。
19. 第２のモデルトレーニングユニットをさらに含み、
    前記第２のモデルトレーニングユニットは、以下の方式で予めトレーニングして前記全接続ネットワークを取得するために用いられ、前記方式は、
    第２のトレーニングサンプルを取得し、前記第２のトレーニングサンプルは、ＰＯＩサンプルと前記ＰＯＩサンプルに対するカテゴリラベルを含み、前記画像特徴抽出モデルを使用して前記ＰＯＩサンプルの画像から前記ＰＯＩサンプルの視覚特徴表現を抽出し、前記テキスト特徴抽出モデルを使用して前記ＰＯＩサンプルのテキスト情報からセマンティック特徴表現を抽出し、空間特徴抽出モデルを使用して前記ＰＯＩサンプルの空間位置情報から空間特徴表現を抽出し、前記ＰＯＩサンプルの視覚特徴表現、セマンティック特徴表現、及び空間特徴表現をスプライシングして、前記ＰＯＩサンプルのスプライシング特徴を取得し、前記ＰＯＩサンプルのスプライシング特徴を全接続ネットワークに入力して、全接続層によって出力された前記ＰＯＩサンプルのマルチモーダル特徴表現を取得し、前記マルチモーダル特徴表現を分類ネットワークに入力して、前記ＰＯＩサンプルのカテゴリラベルを前記分類ネットワークのターゲット出力とし、前記全接続ネットワークと前記分類ネットワークをトレーニングする、
    請求項１８に記載のマルチモーダルＰＯＩ特徴の抽出装置。
20. ＰＯＩのマルチモーダル特徴表現に基づいて、ＰＯＩ間の類似度を計算するための類似度計算ユニットをさらに含む、
    請求項１１に記載のマルチモーダルＰＯＩ特徴の抽出装置。
21. 電子機器であって、
    少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
    前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが請求項１～１０のいずれかの一つに記載のマルチモーダルＰＯＩ特徴の抽出方法を実行する、
    電子機器。
22. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１～１０のいずれかの一つに記載のマルチモーダルＰＯＩ特徴の抽出方法を実行させる、
    コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。
23. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサによって実行される時に請求項１～１０のいずれかの一つに記載のマルチモーダルＰＯＩ特徴の抽出方法を実現する、
    コンピュータプログラム。

Images