JP7439153B2 - 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み - Google Patents

Description

本明細書で説明される実施形態は、一般に、場所認識のための方法及び装置、並びに場所認識のためにグラフ埋め込みネットワークをトレーニングするための方法及び装置に関する。

視覚的な場所認識では、カメラの現在のビューが与えられると、カメラのロケーションを決定することを備える。場所認識は、コンピュータビジョン及びロボット工学における重要な課題であり、限定はしないが、全自動運転及び拡張現実を含む、幅広い用途に適用可能である。

視覚的な場所認識に関する既知のアプローチでは、画像検索タスクとしてこの課題を定式化（formulate the problem）している。このアプローチは、一般に、キャプチャされた画像から特徴を抽出することを伴う。次いで、キャプチャされた画像の特徴は、参照データセット内の画像から抽出された特徴と比較され、ここで、参照データセット内の各画像は、場所を識別する情報（例えば、ＧＰＳ座標）に関連付けられている。このアプローチでは、キャプチャされた画像に関連付けられた場所は、抽出された特徴に基づいて、参照データセット内のどの画像が、キャプチャされた画像に最も視覚的に類似しているかを決定することによって取得される。

場所認識のための視覚的な特徴ベースのアプローチは、一般に、キャプチャされた画像と、参照データセット内の関連付けられた画像との間の外観変化に苦慮する。これらの変化は、照明及び外観変化（例えば、１年の季節変動によるもの）、並びにキャプチャされた画像と参照画像との間の視点変動によるものであり得る。この点を踏まえると、視覚的な場所認識に対して新しいアプローチが必要とされる。

配置は、単なる例として成され且つ図面と共に考慮される以下の発明を実施するための形態から、より完全に理解及び認識される。

図１Ａは、一例によるロボット１００を示す。 図１Ｂは、視覚的な場所認識の例となるユースケースを示す。 図２は、一実施形態による視覚的な場所認識の方法を示す。 図３は、一例による「Ｍａｓｋ Ｒ－ＣＮＮ」を使用したインスタンスセグメンテーションの一実装形態を示す。 図４は、一例による検出のセットを生成するための方法を示す。 図５Ａは、正距円筒画像の一例を示す。 図５Ｂは、一実施形態に従って生成されたインスタンスセグメンテーションの視覚的な表現を示す。 図５Ｃは、一実施形態に従って生成された深度情報の視覚的な表現を示す。 図６Ａは、一実施形態に従って重ね合わされたノード及びエッジを有するシーンの３Ｄ表現を示す。 図６Ｂは、一例によるシーングラフの２Ｄ視覚化を示す。 図７は、一実施形態によるグラフ埋め込みネットワークを示す。 図８は、一実施形態によるグラフ埋め込みネットワーク７０１の伝播層７０３によって行われる方法を示す。 図９は、一実施形態によるグラフ埋め込みネットワークをトレーニングする方法を示す。 図１０は、一実施形態による「ＧｒａｐｈＶＬＡＤｔ」の再現率（recalls）及び各検証タイプについての「ＯｍｎｉＣｌｅｖｒ」データセットでの「ＮｅｔＶＬＡＤｔ」を示す。 図１１は、一実施形態によるシステムを示す。 図１２は、実施形態に従って方法を実施するために使用され得るハードウェアの概略図を示す。

第１の態様によれば、場所認識のためのコンピュータ実装方法が提供される。方法は、第１のシーンの画像を識別する情報を取得することと、画像を識別する情報における複数のピクセルクラスタを識別することと、複数のピクセルクラスタは、第１のピクセルクラスタと、第２のピクセルクラスタと、を備え、画像を識別する情報から特徴ベクトルのセットを生成することと、特徴ベクトルのセットは、第１のピクセルクラスタに関連付けられた第１の特徴ベクトルと、第２のピクセルクラスタに関連付けられた第２の特徴ベクトルと、を備え、シーンのグラフを生成することと、グラフは、第１のピクセルクラスタを表す第１のノードと、第１のノードは、第１の特徴ベクトルに関連付けられており、第２のピクセルクラスタを表す第２のノードと、第２のノードは、第２の特徴ベクトルに関連付けられている、を備え、第１のピクセルクラスタに関連付けられた第１の特性が、第２のピクセルクラスタに関連付けられた第２の特性に類似していると決定することに応答して、第１のノードと第２のノードとの間に第１のエッジを追加することと、グラフのベクトル表現を生成することと、グラフのベクトル表現と、参照ベクトル表現との間の類似性の尺度（a measure of similarity）を計算することと、ここにおいて、参照ベクトル表現は、第２のシーンに関連付けられており、類似性の尺度が閾値より小さいと決定することに応答して、第１のシーンと第２のシーンとが、同じ場所に関連付けられていると決定することと、を備える。

一実施形態では、ピクセルクラスタは、ピクセルのグループである。

一実施形態では、複数のピクセルクラスタを識別することは、複数のオブジェクトインスタンスを識別することを備え、ここにおいて、第１のピクセルクラスタは、第１のオブジェクトインスタンスに対応し、第２のピクセルクラスタは、第２のオブジェクトインスタンスに対応する。

一実施形態では、画像を識別する情報における複数のオブジェクトインスタンスを識別することは、複数のオブジェクトインスタンスを識別するために、正距円筒画像（equirectangular images）でトレーニングされた機械学習モデルを使用することを備える。

一実施形態では、オブジェクトインスタンスは、オブジェクトの存在状況（an occurrence）であり、オブジェクトは、物理的オブジェクトである。

一実施形態では、特徴ベクトルは、オプションでオブジェクトである、ピクセルクラスタを表す数値的特徴のｎ次元ベクトルである。

一実施形態では、第１の特性は、第１のピクセルクラスタの３Ｄ座標位置であり、第２の特性は、第２のピクセルクラスタの３Ｄ座標位置であり、第１のピクセルクラスタの３Ｄ座標位置と第２のピクセルクラスタの３Ｄ座標位置との間の距離が距離閾値より小さいとき、第１の特性は、第２の特性に類似している。

一実施形態では、距離を決定することは、ユークリッド距離を決定することを備える。

一実施形態では、距離閾値は、３メートルである。

一実施形態では、第１のピクセルクラスタが、第１のオブジェクトインスタンスに対応し、第２のピクセルクラスタが、第２のオブジェクトインスタンスに対応し、第１の特性は、第１のオブジェクトインスタンスに関連付けられた第１のクラスラベルであり、第２の特性は、第２のオブジェクトインスタンスに関連付けられた第２のクラスラベルであり、ここにおいて、第１のクラスラベルが第２のクラスラベルと同じである（即ち、第１のオブジェクトインスタンスと第２のオブジェクトインスタンスとが、オブジェクトの同じクラスに関連する）とき、第１の特性は、第２の特性に類似している。

一実施形態では、第１のピクセルクラスタが、第１のオブジェクトインスタンスに対応し、第２のピクセルクラスタが、第２のオブジェクトインスタンスに対応し、それぞれ、第１の特性は、第１のオブジェクトインスタンスに関連付けられた第１のクラスラベルであり、第２の特性は、第２のオブジェクトインスタンスに関連付けられた第２のクラスラベルであり、ここにおいて、第１のクラスラベルと第２のクラスラベルとが、第１のクラスのグループに属するとき、第１の特性は、第２の特性に類似している（例えば、第１のクラスのグループが｛「椅子」、「テーブル」｝を備えるとき、第１の特性「椅子」は、第２の特性「テーブル」に類似している）。

一実施形態では、画像は、複数のピクセルを備え、画像を識別する情報は、複数のピクセルにおける各ピクセルについてのＲＧＢ値を備える。

一実施形態では、方法は、カメラを使用して、オプションでカメラを使用して写真を撮影することによって、第１のシーンの画像を識別する情報をキャプチャすることを更に備える。

一実施形態では、画像は、シーンの視覚的な表現であり、シーンの画像は、複数のピクセルに分割され、ここにおいて、画像を識別する情報は、各ピクセルに関連付けられた値（例えば、ＲＧＢ値）を備え、ここで、各ピクセルについての値は、カメラを使用してシーンのピクチャを撮影し、カメラ内のセンサを読み取ることによって値を取得することによって生成される。

一実施形態では、方法は、類似性の尺度が閾値より小さいと決定することに応答して、第１のシーンの位置が、第２のシーンに関連付けられた位置であるというインジケーションを出力することを更に備える。

一実施形態では、方法は、ロボットによって行われ、方法は、屋内ナビゲーションのために現在の位置のインジケーションを使用することを更に備える。

一実施形態では、グラフ表現は、複数のノードと、オプションで、これらノードを接続している複数のエッジと、を備える。

一実施形態では、グラフのベクトル表現は、数値を使用してグラフの特徴（即ち、ノード、エッジ、及びノード間の空間的関係）を表す数値ベクトルである。

一実施形態では、グラフは、シーンのグラフ表現である。

一実施形態では、グラフのベクトル表現と、参照ベクトル表現との間の類似性の尺度は、２つのベクトル間のユークリッド距離である。

一実施形態では、方法は、参照セットから参照グラフ表現を取得することを更に備え、参照セットは、複数の他の参照グラフ表現を備える。

一実施形態では、方法は、グラフのベクトル表現と、参照セット内の各参照グラフ表現との間の類似性の尺度を計算することと、最も高い類似性を有するＮ個の参照グラフ表現をマッチとして選択することと、を更に備える。オプションで、ここにおいて、Ｎは、１又は５である。

一実施形態では、場所は、ロケーションである。

一実施形態では、グラフのベクトル表現は、グラフ埋め込みベクトルと同じである。

一実施形態では、画像は、複数のピクセルを備え、複数のピクセルは、第１のピクセルクラスタに関連付けられた第１のセットのピクセルと、第２のピクセルクラスタに関連付けられた第２のセットのピクセルと、を備え、特徴ベクトルのセットを生成することは、第１のセットのピクセルにおける第１のピクセルに関連付けられた第３の特徴ベクトルを生成することと、第１のセットのピクセルにおける第２のピクセルに関連付けられた第４の特徴ベクトルを生成することと、第３の特徴ベクトル及び第４の特徴ベクトルを集約することによって、第１の特徴ベクトルを生成することと、を備える。

一実施形態では、第１のピクセル及び第２のピクセルは、異なるピクセルである。

一実施形態では、第３の特徴ベクトル及び第４の特徴ベクトルを集約することは、第３の特徴ベクトルと第４の特徴ベクトルとを合計することを備える。

一実施形態では、グラフのベクトル表現を生成することは、第１のノードベクトルを生成することと、ここにおいて、第１のノードベクトルは、第１のノードに関連付けられており、第２のノードベクトルを生成することと、ここにおいて、第２のノードベクトルは、第２のノードに関連付けられており、第１のノードベクトルと第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成することと、を備える。

一実施形態では、シーンのグラフは、第１のノードに接続されたエッジを備えておらず、ここにおいて、第１のノードベクトルを生成することは、第１のノードベクトルを、第１の特徴ベクトルに等しく設定することを備える。

一実施形態では、グラフにおける第２のノードは、第１のエッジによって、グラフにおける第１のノードに接続されており、第１のノードベクトルを生成することは、第１のノードベクトルを、第１の特徴ベクトルに等しく設定することと、第１のノードベクトル及び第２のノードベクトルに基づいて、第２のノードと第１のノードとの間の第１のメッセージを生成することと、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することと、を備える。

一実施形態では、第１のメッセージは、フィギュラティブメッセージ（figurative message）であり、即ち、第１のメッセージは、値の行列である。

一実施形態では、第１のメッセージは、機械学習モデルを使用して生成される。

一実施形態では、第１のノードベクトルを、第１の特徴ベクトルに等しく設定することは、時間ｔについての第１のノードベクトルの値を設定し、ここにおいて、第１のノードベクトルを更新することは、時間ｔ＋１についての第１のノードベクトルの値を設定する。

一実施形態では、第２のノードと第１のノードとの間の第１のメッセージを生成することは、第１の機械学習モデルを使用して、第１のノードベクトル及び第２のノードベクトルに基づいて、第１のセットのゲーティング重みを生成することと、第１のゲーティングされたベクトルを形成するために、第１のノードベクトルと第１のセットのゲーティング重みとを乗算することによって、第１のノードベクトルをゲーティングすることと、第２の機械学習モデルを使用して、第１のノードベクトル及び第２のノードベクトルに基づいて、第２のセットのゲーティング重みを生成することと、第２のゲーティングされたベクトルを形成するために、第２のノードベクトルと第２のセットのゲーティング重みとを乗算することによって、第２のノードベクトルをゲーティングすることと、第１のゲーティングされたベクトルと第２のゲーティングされたベクトルとの合計に基づいて、第１のメッセージを生成することと、を備える。一実施形態では、乗算は、要素ごとの乗算（element-wise multiplication）である。

一実施形態では、第１の機械学習モデル及び第２の機械学習モデルは、トレーニング可能である。

一実施形態では、方法は、第１のゲーティングされたベクトル及び第２のゲーティングされたベクトルをシグモイド関数に通すことと、第１のメッセージを生成するために、結果を合計することと、を更に備える。

一実施形態では、第１の機械学習モデル及び第２の機械学習モデルは、単一の線形層を備える。

一実施形態では、シーンのグラフは、第３のピクセルクラスタを表す第３のノードを更に備え、第３のノードは、第３の特徴ベクトルに関連付けられており、第３のノードは、第２のエッジによって、第１のノードに接続されており、方法は、第３のノードベクトルを生成することと、第３のノードベクトルは、第３のノードに関連付けられており、第１の機械学習モデルを使用して、第１のノードベクトル及び第３のノードベクトルに基づいて、第３のセットのゲーティング重みを生成し、第３のゲーティングされたベクトルを形成するために、第１のノードベクトルと第３のセットのゲーティング重みとを乗算することによって、第１のノードベクトルをゲーティングし、第２の機械学習モデルを使用して、第１のノードベクトル及び第３のノードベクトルに基づいて、第４のセットのゲーティング重みを生成し、第４のゲーティングされたベクトルを形成するために、第３のノードベクトルと第４のセットのゲーティング重みとを乗算することによって、第３のノードベクトルをゲーティングし、第３のゲーティングされたベクトルと第４のゲーティングされたベクトルとの合計に基づいて、第２のメッセージを生成する、ことによって、第１のノードベクトル及び第３のノードベクトルに基づいて、第３のノードと第１のノードとの間の第２のメッセージを生成することと、を更に備え、ここにおいて、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することは、第１のノードベクトルの値及び第１のメッセージと第２のメッセージとの合計に基づいて、第１のノードベクトルを更新することを備える。

一実施形態では、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することは、第３の機械学習モデルを使用して、第１のノードベクトル及び第１のメッセージに基づいて、第５のセットのゲーティング重みを生成することと、第５のゲーティングされたベクトルを形成するために、第１のノードベクトルと第５のセットのゲーティング重みとを乗算することによって、第１のノードベクトルをゲーティングすることと、第４の機械学習モデルを使用して、第１のノードベクトル及び第１のメッセージに基づいて、第６のセットのゲーティング重みを生成することと、第６のゲーティングされたベクトルを形成するために、第１のメッセージと第６のセットのゲーティング重みとを乗算することによって、第１のメッセージをゲーティングすることと、第５のゲーティングされたベクトルと第６のゲーティングされたベクトルとの合計に基づいて、第１のノードベクトルを更新することと、を備える。

一実施形態では、第３の機械学習モデル及び第４の機械学習モデルは、単一の線形層を備える。

一実施形態では、第１のノードベクトルと第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成することは、第５の機械学習モデルを使用して、第１のノードベクトルに基づいて、第７のセットのゲーティング重みを生成することと、第６の機械学習モデルを使用して、第１のノードベクトルに基づいて、第１のノードベクトルの第１のノード表現を生成することと、最終的な第１のノード表現を取得するために、第７のセットのゲーティング重みと第１のノードベクトルの第１のノード表現とを乗算することと、第５の機械学習モデルを使用して、第２のノードベクトルに基づいて、第８のセットのゲーティング重みを生成することと、第６の機械学習モデルを使用して、第２のノードベクトルに基づいて、第２のノードベクトルの第２のノード表現を生成することと、最終的な第２のノード表現を取得するために、第８のセットのゲーティング重みと第２のノードベクトルの第２のノード表現とを乗算することと、最終的な第１のノード表現と最終的な第２のノード表現とを合計することによって、クエリグラフ表現を生成することと、を備える。一実施形態では、第５の機械学習モデル及び第６の機械学習モデルは、単一の線形層を備える。

一実施形態では、第５の機械学習モデル及び第６の機械学習モデルは、最終的な第１のノード表現及び最終的な第２のノード表現が、単一列を有する行列をそれぞれ備えるように、行カーネル（row kernels）を実装する。一実施形態では、クエリグラフ表現を生成することは、最終的な第１のノード表現と最終的な第２のノード表現との合計を決定することと、クエリグラフ表現を形成するために、合計の次元数を削減することと、を備える。

一実施形態では、合計の次元数を削減することは、主成分分析（Principal Component Analysis）を使用することを備える。

一実施形態では、主成分分析は、第７の機械学習モデルを使用して実装される。

一実施形態では、第１のノードベクトルを生成することは、第１のノードベクトルを更新することに応答して、時間値を増分することと、時間値が時間閾値未満であるかどうかを決定することと、時間値が時間閾値未満であると決定することに応答して、第１のノードベクトル及び第２のノードベクトルに基づいて、第２のノードと第１のノードとの間の第１のメッセージを再生成することと、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することと、を更に備える。

一実施形態では、方法は、時間値が時間閾値に等しいと決定することに応答して、第１のノードベクトルと第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成することを更に備える。

一実施形態では、画像は、正距円筒画像である。

一実施形態では、正距円筒画像は、水平方向に３６０度及び垂直方向に１８０度に及ぶ画像である。

一実施形態では、正距円筒画像は、入力画像の正距円筒投影（equirectangular projection）である。

一実施形態では、入力画像は、全方位画像である。

一実施形態では、全方位画像は、全方位カメラから取得される。

一実施形態では、画像を識別する情報における複数のピクセルクラスタを識別することは、画像に対してインスタンスセグメンテーションを行うことによって、第１の検出のセットを生成することと、第１の検出のセットは、第１のピクセルクラスタを備え、回転させた画像を形成するために、画像を回転させることと、回転させた画像に対してインスタンスセグメンテーションを行うことによって、第２の検出のセットを生成することと、第２の検出のセットは、第２のピクセルクラスタを備え、複数のピクセルクラスタを形成するために、第１の検出のセットと第２の検出のセットとを組み合わせることと、を備える。

一実施形態では、複数のピクセルクラスタを識別することは、複数のオブジェクトインスタンスを識別することを備え、第１のピクセルクラスタは、第１のオブジェクトインスタンスに対応し、ここにおいて、第１の検出のセットは、第１のオブジェクトインスタンス（及び同等に第１のピクセルクラスタ）に関連付けられた第１のオブジェクトネススコア（first objectness score）を備え、第１の検出のセットを組み合わせることは、第１のオブジェクトネススコアがオブジェクトネス閾値より大きいかどうかを決定することと、第１のオブジェクトネススコアがオブジェクトネス閾値より大きいと決定することに応答して、第１のピクセルクラスタを複数のピクセルクラスタに追加することと、を備える。

一実施形態では、複数のピクセルクラスタを識別することは、複数のオブジェクトインスタンスを識別することを備え、第１のピクセルクラスタは、第１のオブジェクトインスタンスであり、第１の検出のセットは、第１のオブジェクト境界ボックスと、第１のオブジェクトインスタンスに関連付けられた第１のオブジェクトネススコアと、を備え、第２の検出のセットは、第２のオブジェクト境界ボックスと、第２のオブジェクトインスタンスに関連付けられた第２のオブジェクトネススコアと、を備え、第１の検出のセットと第２の検出のセットとを組み合わせることは、第１の検出のセットと第２の検出のセットとを備える組み合わされたリストを形成することと、第２のオブジェクトネススコアを第１のオブジェクトネススコアと比較することと、第１のオブジェクトネススコアが第２のオブジェクトネススコアより高いと決定することに応答して、第１のオブジェクト境界ボックスを最終リストに追加することと、第１のオブジェクト境界ボックス及び第２のオブジェクト境界ボックスに基づいて、ＩｏＵ（Intersection Over Union）値を生成することと、ＩｏＵ値がＩｏＵ閾値より大きいと決定することに応答して、組み合わされたリストから第２のオブジェクトインスタンスを除去することと、を備える。

一実施形態では、画像は、垂直軸を中心に（即ち、水平面において）１８０度回転される。

一実施形態では、第１の特徴ベクトルは、局所集約記述子のベクトル（Vector of Locally Aggregated Descriptors）を使用して表される。

一実施形態では、特徴ベクトルのセットを生成することは、機械学習モデルを使用して、第１のシーンの画像を識別する情報に基づいて、第１の特徴ベクトルを生成することを備える。

一実施形態では、機械学習モデルは、特徴抽出層とＶＬＡＤ層とを備え、ここにおいて、特徴抽出層は、画像から特徴を抽出するように構成されており、ＶＬＡＤ層は、各特徴を局所集約記述子のベクトルとして表すように構成されている。

一実施形態では、特徴抽出層は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を備える。

一実施形態では、局所集約記述子のベクトルにおける第１のエントリが、クラスタ中心と、特徴抽出層によって抽出された第１の特徴との間のベクトル差分（即ち、残差）を示し、ここにおいて、クラスタ中心は、特徴空間におけるある点を表す。

一実施形態では、特徴空間は、特徴の各可能な値を備える。

一実施形態では、クラスタ中心は、トレーニング可能である。

一実施形態では、第１のピクセルクラスタに関連付けられた第１の特性が、第２のピクセルクラスタに関連付けられた第２の特性に類似していると決定することは、第１のピクセルクラスタに関連付けられた第１のセットの３次元座標を決定することと、第２のピクセルクラスタに関連付けられた第２のセットの３次元座標を決定することと、第１のセットの３次元座標と第２のセットの３次元座標との間の距離を計算することと、距離が距離閾値より小さいとき、第１の特性が第２の特性に類似していると決定することと、を備える。

一実施形態では、距離は、ユークリッド距離である。

一実施形態では、第１のピクセルクラスタに関連付けられた第１のセットの３次元座標を決定することは、第１のピクセルクラスタの深度を推定することと、深度及び画像を識別する情報に基づいて、第１のセットの３次元座標を生成することと、を備える。

一実施形態では、第１のピクセルクラスタは、第１のオブジェクトインスタンスに関連付けられており、深度を推定することは、１）機械学習モデルを使用して深度を生成すること、２）センサから第１のオブジェクトインスタンスの深度測定値を取得し、深度測定値に等しい深度を割り当てること、又は３）画像を識別する情報から深度を取得すること、ここにおいて、画像を識別する情報は、各ピクセルに関連付けられた深度測定値を備える、のうちの少なくとも１つを備える。

第２の態様によれば、プロセッサによって実行されると、プロセッサに上記方法を実行させるコンピュータプログラム命令を備える非一時的なコンピュータ可読媒体が提供される。

第３の態様によれば、上記方法を行う／実装するように構成された装置が提供される。

第４の態様によれば、場所認識のためにグラフマッチングネットワークをトレーニングするためのコンピュータ実装方法が提供され、ここにおいて、グラフマッチングネットワークは、機械学習モデルを備え、コンピュータ実装方法は、トレーニングトリプレットを取得することと、トレーニングトリプレットは、クエリグラフと、ポジティブグラフと、ネガティブグラフと、を備え、機械学習モデルを使用して、クエリグラフのクエリベクトル表現を生成することと、機械学習モデルを使用して、ポジティブグラフのポジティブベクトル表現を生成することと、機械学習モデルを使用して、ネガティブグラフのネガティブベクトル表現を生成することと、クエリベクトル表現とポジティブベクトル表現との間の第１の類似性を決定することと、クエリベクトル表現とネガティブベクトル表現との間の第２の類似性を決定することと、第１の類似性及び第２の類似性に基づいて、トリプレット損失（triplet loss）を生成することと、トリプレット損失に基づいて、機械学習モデルをトレーニングすることと、を備える。

一実施形態では、クエリグラフは、第１のシーンに関連付けられており、ポジティブグラフは、第２のシーンに関連付けられており、ネガティブグラフは、第３のシーンに関連付けられており、ここにおいて、第１のシーン及び第２のシーンは、同じ場所に関連付けられており、第１のシーン及び第３のシーンは、異なる場所に関連付けられている。

一実施形態では、トリプレット損失に基づいて、機械学習モデルをトレーニングすることは、誤差逆伝播法及び勾配降下法を使用して、機械学習モデルの重みを決定することを備える。

一実施形態では、トリプレット損失は、下記に従って計算される：

第５の態様によれば、場所認識のためにグラフマッチングネットワークをトレーニングする上記方法を行う／実装するように構成された装置が提供される。

第６の態様によれば、プロセッサによって実行されると、プロセッサに、場所認識のためにグラフマッチングネットワークをトレーニングする方法を実行させるコンピュータプログラム命令を備える非一時的なコンピュータ可読媒体が提供される。

第７の態様によれば、場所認識のための装置が提供され、装置は、第１のシーンの画像を識別する情報を取得することと、画像を識別する情報における複数のピクセルクラスタを識別することと、複数のピクセルクラスタは、第１のピクセルクラスタと、第２のピクセルクラスタと、を備え、画像を識別する情報から特徴ベクトルのセットを生成することと、特徴ベクトルのセットは、第１のピクセルクラスタに関連付けられた第１の特徴ベクトルと、第２のピクセルクラスタに関連付けられた第２の特徴ベクトルと、を備え、シーンのグラフを生成することと、グラフは、第１のピクセルクラスタを表す第１のノードと、第１のノードは、第１の特徴ベクトルに関連付けられており、第２のピクセルクラスタを表す第２のノードと、第２のノードは、第２の特徴ベクトルに関連付けられている、を備え、第１のピクセルクラスタに関連付けられた第１の特性が、第２のピクセルクラスタに関連付けられた第２の特性に類似していると決定することに応答して、第１のノードと第２のノードとの間に第１のエッジを追加することと、グラフのベクトル表現を生成することと、グラフのベクトル表現と、参照ベクトル表現との間の類似性の尺度を計算することと、ここにおいて、参照ベクトル表現は、第２のシーンに関連付けられており、類似性の尺度が閾値より小さいと決定することに応答して、第１のシーンと第２のシーンとが、同じ場所に関連付けられていると決定することと、を行うように構成されている。

一実施形態では、画像は、複数のピクセルを備え、複数のピクセルは、第１のピクセルクラスタに関連付けられた第１のセットのピクセルと、第２のピクセルクラスタに関連付けられた第２のセットのピクセルと、を備え、装置は、特徴ベクトルのセットを生成するとき、第１のセットのピクセルにおける第１のピクセルに関連付けられた第３の特徴ベクトルを生成することと、第１のセットのピクセルにおける第２のピクセルに関連付けられた第４の特徴ベクトルを生成することと、第３の特徴ベクトル及び第４の特徴ベクトルを集約することによって、第１の特徴ベクトルを生成することと、を行うように更に構成されている。一実施形態では、装置は、グラフのベクトル表現を生成するとき、第１のノードベクトルを生成することと、ここにおいて、第１のノードベクトルは、第１のノードに関連付けられており、第２のノードベクトルを生成することと、ここにおいて、第２のノードベクトルは、第２のノードに関連付けられており、第１のノードベクトルと第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成することと、を行うように更に構成されている。

一実施形態では、グラフにおける第２のノードは、第１のエッジによって、グラフにおける第１のノードに接続されており、装置は、第１のノードベクトルを生成するとき、第１のノードベクトルを、第１の特徴ベクトルに等しく設定することと、第１のノードベクトル及び第２のノードベクトルに基づいて、第２のノードと第１のノードとの間の第１のメッセージを生成することと、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することと、を行うように更に構成されている。

一実施形態では、装置は、第２のノードと第１のノードとの間の第１のメッセージを生成するとき、第１の機械学習モデルを使用して、第１のノードベクトル及び第２のノードベクトルに基づいて、第１のセットのゲーティング重みを生成することと、第１のゲーティングされたベクトルを形成するために、第１のノードベクトルと第１のセットのゲーティング重みとを乗算することによって、第１のノードベクトルをゲーティングすることと、第２の機械学習モデルを使用して、第１のノードベクトル及び第２のノードベクトルに基づいて、第２のセットのゲーティング重みを生成することと、第２のゲーティングされたベクトルを形成するために、第２のノードベクトルと第２のセットのゲーティング重みとを乗算することによって、第２のノードベクトルをゲーティングすることと、第１のゲーティングされたベクトルと第２のゲーティングされたベクトルとの合計に基づいて、第１のメッセージを生成することと、を行うように更に構成されている。

一実施形態では、シーンのグラフは、第３のピクセルクラスタを表す第３のノードを更に備え、第３のノードは、第３の特徴ベクトルに関連付けられており、第３のノードは、第２のエッジによって、第１のノードに接続されており、装置は、第３のノードベクトルを生成することと、第３のノードベクトルは、第３のノードに関連付けられており、第１の機械学習モデルを使用して、第１のノードベクトル及び第３のノードベクトルに基づいて、第３のセットのゲーティング重みを生成し、第３のゲーティングされたベクトルを形成するために、第１のノードベクトルと第３のセットのゲーティング重みとを乗算することによって、第１のノードベクトルをゲーティングし、第２の機械学習モデルを使用して、第１のノードベクトル及び第３のノードベクトルに基づいて、第４のセットのゲーティング重みを生成し、第４のゲーティングされたベクトルを形成するために、第３のノードベクトルと第４のセットのゲーティング重みとを乗算することによって、第３のノードベクトルをゲーティングし、第３のゲーティングされたベクトルと第４のゲーティングされたベクトルとの合計に基づいて、第２のメッセージを生成する、ことによって、第１のノードベクトル及び第３のノードベクトルに基づいて、第３のノードと第１のノードとの間の第２のメッセージを生成することと、を行うように更に構成されており、ここにおいて、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することは、第１のノードベクトルの値及び第１のメッセージと第２のメッセージとの合計に基づいて、第１のノードベクトルを更新することを備える。

一実施形態では、装置は、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新するとき、第３の機械学習モデルを使用して、第１のノードベクトル及び第１のメッセージに基づいて、第５のセットのゲーティング重みを生成することと、第５のゲーティングされたベクトルを形成するために、第１のノードベクトルと第５のセットのゲーティング重みとを乗算することによって、第１のノードベクトルをゲーティングすることと、第４の機械学習モデルを使用して、第１のノードベクトル及び第１のメッセージに基づいて、第６のセットのゲーティング重みを生成することと、第６のゲーティングされたベクトルを形成するために、第１のメッセージと第６のセットのゲーティング重みとを乗算することによって、第１のメッセージをゲーティングすることと、第５のゲーティングされたベクトルと第６のゲーティングされたベクトルとの合計に基づいて、第１のノードベクトルを更新することと、を行うように更に構成されている。

一実施形態では、装置は、第１のノードベクトルと第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成するとき、第５の機械学習モデルを使用して、第１のノードベクトルに基づいて、第７のセットのゲーティング重みを生成することと、第６の機械学習モデルを使用して、第１のノードベクトルに基づいて、第１のノードベクトルの第１のノード表現を生成することと、最終的な第１のノード表現を取得するために、第７のセットのゲーティング重みと第１のノードベクトルの第１のノード表現とを乗算することと、第５の機械学習モデルを使用して、第２のノードベクトルに基づいて、第８のセットのゲーティング重みを生成することと、第６の機械学習モデルを使用して、第２のノードベクトルに基づいて、第２のノードベクトルの第２のノード表現を生成することと、最終的な第２のノード表現を取得するために、第８のセットのゲーティング重みと第２のノードベクトルの第２のノード表現とを乗算することと、最終的な第１のノード表現と最終的な第２のノード表現とを合計することによって、クエリグラフ表現を生成することと、を行うように更に構成されている。一実施形態では、第５の機械学習モデル及び第６の機械学習モデルは、最終的な第１のノード表現及び最終的な第２のノード表現が、単一列を有する行列をそれぞれ備えるように、行カーネルを実装する。

一実施形態では、装置は、クエリグラフ表現を生成するとき、最終的な第１のノード表現と最終的な第２のノード表現との合計を決定することと、クエリグラフ表現を形成するために、合計の次元数を削減することと、を行うように更に構成されている。

一実施形態では、装置は、第１のノードベクトルを生成するとき、第１のノードベクトルを更新することに応答して、時間値を増分することと、時間値が時間閾値未満であるかどうかを決定することと、時間値が時間閾値未満であると決定することに応答して、第１のノードベクトル及び第２のノードベクトルに基づいて、第２のノードと第１のノードとの間の第１のメッセージを再生成することと、第１のノードベクトルの値及び第１のメッセージに基づいて、第１のノードベクトルを更新することと、を行うように更に構成されている。

一実施形態では、画像は、正距円筒画像である。

一実施形態では、装置は、画像を識別する情報における複数のピクセルクラスタを識別するとき、画像に対してインスタンスセグメンテーションを行うことによって、第１の検出のセットを生成することと、第１の検出のセットは、第１のピクセルクラスタを備え、回転させた画像を形成するために、画像を回転させることと、回転させた画像に対してインスタンスセグメンテーションを行うことによって、第２の検出のセットを生成することと、第２の検出のセットは、第２のピクセルクラスタを備え、複数のピクセルクラスタを形成するために、第１の検出のセットと第２の検出のセットとを組み合わせることと、を行うように更に構成されている。

一実施形態では、第１の特徴ベクトルは、局所集約記述子のベクトルを使用して表される。

一実施形態では、装置は、第１のピクセルクラスタに関連付けられた第１の特性が、第２のピクセルクラスタに関連付けられた第２の特性に類似していると決定するとき、第１のピクセルクラスタに関連付けられた第１のセットの３次元座標を決定することと、第２のピクセルクラスタに関連付けられた第２のセットの３次元座標を決定することと、第１のセットの３次元座標と第２のセットの３次元座標との間の距離を計算することと、距離が距離閾値より小さいとき、第１の特性が第２の特性に類似していると決定することと、を行うように更に構成されている。

一実施形態では、装置は、第１のピクセルクラスタに関連付けられた第１のセットの３次元座標を決定するとき、第１のピクセルクラスタの深度を推定することと、深度及び画像を識別する情報に基づいて、第１のセットの３次元座標を生成することと、を行うように更に構成されている。

第８の態様によれば、場所認識のためにグラフマッチングネットワークをトレーニングするための装置が提供され、ここにおいて、グラフマッチングネットワークは、機械学習モデルを備え、装置は、トレーニングトリプレットを取得することと、トレーニングトリプレットは、クエリグラフと、ポジティブグラフと、ネガティブグラフと、を備え、機械学習モデルを使用して、クエリグラフのクエリベクトル表現を生成することと、機械学習モデルを使用して、ポジティブグラフのポジティブベクトル表現を生成することと、機械学習モデルを使用して、ネガティブグラフのネガティブベクトル表現を生成することと、クエリベクトル表現とポジティブベクトル表現との間の第１の類似性を決定することと、クエリベクトル表現とネガティブベクトル表現との間の第２の類似性を決定することと、第１の類似性及び第２の類似性に基づいて、トリプレット損失を生成することと、トリプレット損失に基づいて、機械学習モデルをトレーニングすることと、を行うように構成されている。

一実施形態では、装置は、トリプレット損失に基づいて、機械学習モデルをトレーニングするとき、誤差逆伝播法及び勾配降下法を使用して、機械学習モデルの重みを決定することを行うように更に構成されている。

一実施形態では、トリプレット損失は、下記に従って計算される：

第９の態様によれば、場所認識のためのコンピュータ実装方法が提供される。コンピュータ実装方法は、第１のシーンの画像を識別する情報を取得することと、画像を識別する情報における複数のオブジェクトインスタンスを識別することと、複数のオブジェクトインスタンスは、第１のオブジェクトインスタンスと、第２のオブジェクトインスタンスと、を備え、画像を識別する情報から特徴ベクトルのセットを生成することと、特徴ベクトルのセットは、第１のオブジェクトインスタンスに関連付けられた第１の特徴ベクトルと、第２のオブジェクトインスタンスに関連付けられた第２の特徴ベクトルと、を備え、シーンのグラフを生成することと、グラフは、第１のオブジェクトインスタンスを表す第１のノードと、第１のノードは、第１の特徴ベクトルに関連付けられており、第２のオブジェクトインスタンスを表す第２のノードと、第２のノードは、第２の特徴ベクトルに関連付けられている、を備え、第１のオブジェクトインスタンスと第２のオブジェクトインスタンスとの間の距離を決定し、距離が距離閾値より小さいと決定することに応答して、第１のノードと第２のノードとの間に、グラフに第１のエッジを追加することと、グラフのベクトル表現を生成することと、グラフのベクトル表現と、参照ベクトル表現との間の類似性の尺度を計算することと、ここにおいて、参照ベクトル表現は、第２のシーンに関連付けられており、類似性の尺度が第２の閾値より小さいと決定することに応答して、第１のシーンと第２のシーンとが、同じ場所に関連付けられていると決定することと、を備える。

第１０の態様によれば、場所認識のための装置が提供され、装置は、第１のシーンの画像を識別する情報を取得することと、画像を識別する情報における複数のオブジェクトインスタンスを識別することと、複数のオブジェクトインスタンスは、第１のオブジェクトインスタンスと、第２のオブジェクトインスタンスと、を備え、画像を識別する情報から特徴ベクトルのセットを生成することと、特徴ベクトルのセットは、第１のオブジェクトインスタンスに関連付けられた第１の特徴ベクトルと、第２のオブジェクトインスタンスに関連付けられた第２の特徴ベクトルと、を備え、シーンのグラフを生成することと、グラフは、第１のオブジェクトインスタンスを表す第１のノードと、第１のノードは、第１の特徴ベクトルに関連付けられており、第２のオブジェクトインスタンスを表す第２のノードと、第２のノードは、第２の特徴ベクトルに関連付けられている、を備え、第１のオブジェクトインスタンスと第２のオブジェクトインスタンスとの間の距離を決定し、距離が距離閾値より小さいと決定することに応答して、第１のノードと第２のノードとの間に、グラフに第１のエッジを追加することと、グラフのベクトル表現を生成することと、グラフのベクトル表現と、参照ベクトル表現との間の類似性の尺度を計算することと、ここにおいて、参照ベクトル表現は、第２のシーンに関連付けられており、類似性の尺度が第２の閾値より小さいと決定することに応答して、第１のシーンと第２のシーンとが、同じ場所に関連付けられていると決定することと、を行うように構成されている。

導入として、本明細書で説明される方法の例となるユースケースが提示される。以下の例となるユースケースは、建物内でのロボットシステムの自律ナビゲーションに関連するが、本明細書で説明される方法は、異なる用途のために使用され得ることが強調される。例えば、本明細書で説明される視覚的な場所認識の方法は、自動車／ドローンの位置推定及び／又は制御のための車両位置特定（vehicle localization）のために使用され得る。

図１Ａは、一例によるロボット１００を示す。ロボット１００は、ホロノミック駆動装置等の駆動手段１０１を備える。駆動手段１０１は、例えば、ロボット１００が屋内環境を動き回るときに、ロボット１００の動きを制御する。

ロボット１００は、信号を送信及び受信するためにアンテナ１０３に通信可能に結合されたワイヤレス入力／出力ポート１０２を更に備える。入力／出力ポート１０２は、無線信号、好ましくは短距離無線通信信号を送信及び受信するように構成されている。

ロボット１００は、不揮発性メモリ１０５に結合されたマイクロプロセッサ１０４を更に備える。マイクロプロセッサ１０４は、不揮発性メモリ１０５に記憶された命令を実行するように構成されている。これらの命令の実行は、ロボット１００に、限定はしないが、本明細書で説明される視覚的な場所認識の方法を含む、本明細書で説明される方法のステップのうちのいくつかを行わせる。

例となるロボット１００は、ロボットの環境の画像を取得するように構成されたカメラ１０６を更に備える。特に、カメラは、ロボットの局所環境のピクチャ（即ち、視覚的な表現）をキャプチャするように構成されている。一例では、ピクチャは、複数のピクセルを備え、各ピクセルは、データ値に関連付けられており、これは、ロボットの局所環境の視覚的な表現を生成するために使用され得る（例えば、赤緑青（Red-Green-Blue）の値、ＹＵＶ－クロミナンス値及びルミナンス値等）。

図１Ｂは、視覚的な場所認識の例となるユースケースを示す。図１Ｂに示される例となる方法は、建物内をナビゲートしているロボット（例えば、図１Ａのロボット）のコンテキストにおいて説明される。この例では、ナビゲーションの成功には、ロボットがその目的地までの経路を決定し得るように、ロボットが建物内でのその位置を位置特定することを必要とする。方法は、ステップ１５０において、ロボット１００が位置情報の要求を受信することから開示する。例えば、要求は、そこに向かってナビゲートする行き先目的地を受信することに応答して、ロボット１００自体によって生成され得る。

ステップ１５１において、ロボットは、その環境の視覚的な表現をキャプチャする。一例では、視覚的な表現は、ロボット１００のカメラ１０６を使用して取得される。

ステップ１５２において、ロボット１００は、ステップ１５１において取得された視覚的な表現（即ち、画像データ）を使用して、視覚的な場所認識を行う。視覚的な場所認識は、本明細書で説明される方法に従って行われる。視覚的な場所認識の出力は、ステップ１５１においてキャプチャされた画像の場所を識別する情報を含み得る。例えば、ロボット１００は、屋内環境の画像を備える参照データセットを維持し得、ここで、各画像は、場所／ロケーションを識別する情報（例えば、「建物Ｘ、３階、部屋Ｆ」）に関連付けられている。一例では、本明細書で説明される視覚的な場所認識の方法は、ステップ１５１においてロボット１００のカメラ１０６によってキャプチャされた画像に最も類似している、参照データセット内の画像を識別するように構成されている。参照セットからのマッチした画像に基づいて、ロボット１００は、現在の位置を決定する。

ステップ１５３において、ロボット１００は、要求元に応答を提供し、ここで、応答は、ステップ１５２において取得された位置情報を備える。一例では、要求元１００もまた、このロボット（即ち、ロボット１００によって実行されている異なるプロセス）である。更なる例では、ロボット１００は、目的地行き先までのルートをプロットするために、ステップ１５３から受信された位置情報を使用する。その後、ロボット１００は、目的地行き先まで（例えば、駆動手段１０１を使用して移動することによって）ナビゲートする。

図２は、一実施形態による視覚的な場所認識の方法を示す。方法は、ステップ２０１において、正距円筒画像を取得することによって開始する。

一例では、正距円筒画像を取得することは、画像データを取得し、正距円筒画像を生成すること（即ち、画像データの正距円筒投影）を備える。図５Ａは、正距円筒画像の一例を示す。

画像データを取得することは、多くの形態をとり得る。一例では、画像データを取得することは、全方位画像を表す情報を受信することを備える。画像データは、画像における各ピクセルについてのＲＧＢ値を含む。当技術分野で知られているように、全方位画像は、ほぼ球全体をカバーするか、又は撮像装置を取り囲む水平面において少なくとも一周（at least a full circle）をカバーする画像である。オプションで、全方位画像を表す情報は、全方位カメラ等の全方位撮像装置によって生成される。全方位カメラの例は、限定はしないが、ＧｏＰｒｏ（登録商標）Ｍａｘ、Ｉｎｓｔａ３６０及びＲｉｃｏｈ（登録商標）Ｔｈｅｔａを含む。

この例では、全方位画像を表す情報を取得した後、方法は、正距円筒投影を使用して、全方位画像を正距円筒画像に変換することを更に備える。当技術分野で知られているように、正距円筒画像は、水平方向に３６０度及び垂直方向に１８０度をカバーする（即ち、それについての画像データを含む）矩形画像（オプションで、幅対高さ比が２：１のもの）である。

別の例では、画像データを取得し、正距円筒画像を生成することは、（例えば、ピンホールカメラ等の透視カメラから）複数の画像を取得し、これら画像をつなぎ合わせることによって、正距円筒画像を生成することを備える。

別の例では、画像データは、魚眼カメラから取得される。当技術分野で知られているように、魚眼カメラは、超広角レンズを備える。

完全な正距円筒画像（即ち、画像の全角度範囲（例えば、水平方向に３６０度及び垂直方向に１８０度）に関連付けられた画像データ（例えば、ピクセル値）を有する画像）を生成することが有利であるが、（例えば、入力画像データが正距円筒画像の一部について欠落している）不完全な正距円筒画像が、ステップ２０１において生成され得ることが強調される。

別の例では、ステップ２０１は、（例えば、ストレージから、又は受信された要求の一部として）正距円筒画像を直接取得することを備える。

方法は、ステップ２０２に進む。ステップ２０２は、ステップ２０１において生成された正距円筒画像に対してインスタンスセグメンテーションを行うことを備える。

次に、図２の方法は、オブジェクトインスタンスが検出されて、画像内のピクセルをグループ化するために使用される、特定の例を使用して説明される。しかしながら、本発明は、そのように限定されるものではないことが、いかなる疑義も避けるために強調される。特に、より一般的な例では、入力画像内のピクセルは、ピクセルのクラスタ（即ち、換言すれば、ピクセルクラスタ）を形成するために、共にグループ化される。一例では、ピクセルクラスタは、オブジェクトインスタンスを表す。代替の例では、画像内のピクセルは、人間によって一般に理解されるであろう用語としてのオブジェクト（即ち、見て触れることができる物質）に関連付けられていること以外の基準を使用して、共にグループ化される。

以下で説明される特定の例では、インスタンスセグメンテーションを行うことは、画像内のオブジェクトのインスタンスを識別し、各識別されたオブジェクトインスタンスに関連付けられている、正距円筒画像のピクセルを識別することを備える。以下でより詳細に説明されるように、画像セグメンテーションコンポーネントによって識別されるオブジェクトのクラス（即ち、タイプ）は、「本棚」、「椅子」、「ドア」、「テーブル」等を含み得る。図５Ｂは、一実施形態に従って生成されたインスタンスセグメンテーションの視覚的な表現を示す。

一例では、インスタンスセグメンテーションは、インスタンスセグメンテーションコンポーネントを使用して行われる。インスタンスセグメンテーションコンポーネントは、画像を識別する情報（例えば、ＲＧＢ値）を受信することと、検出されたオブジェクトインスタンスに関連付けられたオブジェクトマスク（即ち、入力画像内のどのピクセルが、識別されたオブジェクトインスタンスに対応するかのインジケーション）に加えて、入力画像内で検出されたオブジェクトの各インスタンスを識別する情報を出力することと、を行うように構成されている。

オプションで、インスタンスセグメンテーションコンポーネントは、機械学習モデルを使用して、オブジェクトマスク及び各オブジェクトインスタンスを識別する情報を生成するように構成されている。一例では、入力画像は、正距円筒画像である。このケースでは、機械学習モデルは、オブジェクトインスタンス及びそれらの関連付けられたオブジェクトマスクを検出するために、正距円筒画像に基づいてトレーニングされる。

別の例では、インスタンスセグメンテーションは、参照により本明細書に組み込まれる「K. He, G. Gkioxari, P. Dolla’r and R. Girshick, “Mask R-CNN,” 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980-2988, doi: 10.1109/ICCV.2017.322」に記載されている「Ｍａｓｋ Ｒ－ＣＮＮ」に従って行われる。

以下の例では「Ｍａｓｋ Ｒ－ＣＮＮ」が詳細に説明されるが、いかなる疑義も避けるために、インスタンスレベルセグメンテーションへの他のアプローチが代わりに使用され得ることが強調される。例えば、参照により本明細書に組み込まれる「Alejandro Newell, Zhiao Huang, & Jia Deng. (2017). Associative Embedding: End-to-End Learning for Joint Detection and Grouping, https://arxiv.org/abs/1611.05424」に記載されている「連想埋め込み（Associate Embedding）」が、ピクセルを異なるインスタンスにクラスタ化するために代わりに使用され得る。インスタンスレベルセグメンテーションのために使用され得る別の例となるアプローチが、参照により本明細書に組み込まれる「Bert De Brabandere, Davy Neven, & Luc Van Gool. (2017). Semantic Instance Segmentation with a Discriminative Loss Function, https://arxiv.org/abs/1708.02551」に記載されている「識別損失（Discriminate Loss）」を含む。

当技術分野で知られているように、画像は、インスタンスレベルセグメンテーション又はセマンティックセグメンテーションを使用してセグメント化され得る。簡潔に説明すると、セマンティックセグメンテーションは、全てのピクセルをクラスラベル（例えば、「テーブル」）に関連付ける。対照的に、インスタンスセグメンテーションは、同じクラスの複数のオブジェクトを、別個の個々のオブジェクト（例えば、第１の「テーブル」、第２の「テーブル」等）として扱う。インスタンスセグメンテーションは、シーンにおけるジオメトリック情報（即ち、オブジェクトが同じクラスのものであり得る場合でも、オブジェクト間の関係）を適正にキャプチャするために、本明細書の方法において使用される。

簡潔に説明すると、「Ｍａｓｋ Ｒ－ＣＮＮ」は、画像の表現を入力としてとるように構成されており且つオブジェクトを識別し、各候補オブジェクトについて、クラスラベル、オブジェクト境界ボックスを識別する情報、及びオブジェクトマスクを生成するように構成されている、領域ベースの畳み込みニューラルネットワーク（ＣＮＮ）を使用する技法である。

当技術分野で知られているように、オブジェクトマスクは、オブジェクトの空間レイアウトを識別し、画像（又は、その一部）におけるどのピクセル（例えば、オブジェクト境界ボックス内のどのピクセル）が、識別されたオブジェクトに関連付けられているかを識別する情報を備える。

本明細書で開示される例に従ってトレーニングされた「Ｍａｓｋ Ｒ－ＣＮＮ」によって識別されるオブジェクトの例となるクラスラベルは、限定はしないが、「梁」、「ボード」、「本棚」、「天井」、「椅子」、「扉」、「床」、「テーブル」、「壁」、「窓」及び「不明」を含む。

図３は、一例による「Ｍａｓｋ Ｒ－ＣＮＮ」を使用したインスタンスセグメンテーションの実装形態を示す。ステップ３０１において、候補オブジェクト境界ボックス（「関心領域（Regions of Interest）」とも呼ばれる）と、関連付けられたオブジェクトネススコアとが生成される。

「Ｍａｓｋ Ｒ－ＣＮＮ」は、２つの段階で構成されている。第１段階（ステップ３０１）は、候補オブジェクト境界ボックス（関心領域とも呼ばれる）を提案するように構成された領域提案ネットワーク（ＲＰＮ：Region Proposal Network）である。領域提案ネットワーク（ＲＰＮ）は、完全畳み込みネットワークを使用して実装され、画像を入力としてとり、出力として、候補オブジェクト境界ボックス及び関連付けられたオブジェクトネス信頼スコア（即ち、候補オブジェクト境界ボックスが、背景ではなくオブジェクトクラスのセットに属しているという信頼性の尺度）を生成する。領域提案ネットワーク（ＲＰＮ）の実装形態は、参照により本明細書に組み込まれる「S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In NIPS, 2015」に記載されている。

ステップ３０２において、クラスラベルが、各関心領域（ＲｏＩ）について生成される。ステップ３０３において、オブジェクトマスクが、各関心領域（ＲｏＩ）について生成される。

上記の２段階アナロジーを使用すると、第２段階は、各識別された関心領域（ＲｏＩ）について、クラスラベル及び境界ボックスオフセットを識別することを備える。第２段階は、各関心領域（ＲｏＩ）についてのオブジェクトマスクを並行して生成することを更に備える。

「Ｍａｓｋ Ｒ－ＣＮＮ」は、関心領域（ＲｏＩ）と特徴マップとの間の位置ずれ（misalignments）を最小限にするような方法で、各候補オブジェクト境界ボックスから特徴を抽出するために、「ＲｏＩＡｌｉｇｎ」層を使用する。「ＲｏＩＡｌｉｇｎ」層の実装形態が、参照により本明細書に組み込まれる「Mask R-CNN, 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980-2988, doi: 10.1109/ICCV.2017.322」において提供されている。

「Ｍａｓｋ Ｒ－ＣＮＮ」の第２段階は、「ＲｏＩＡｌｉｇｎ」を使用して、各候補オブジェクト境界ボックスに関連付けられた画像データから特徴を抽出し、抽出された特徴に対して分類及びオブジェクト境界ボックス回帰（classification and object bounding box regression）を行うことを備える。分類及び境界ボックス回帰の実装形態が、同じく参照により本明細書に組み込まれる「R. Girshick, “Fast R-CNN,” 2015 IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1440-1448, doi: 10.1109/ICCV.2015.169」を参照する「Mask R-CNN, 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980-2988, doi: 10.1109/ICCV.2017.322」において提供されている。

分類及びオブジェクト境界ボックス回帰と並行して、「Ｍａｓｋ Ｒ－ＣＮＮ」の第２段階はまた、「ＲｏＩＡｌｉｇｎ」層の出力に基づいて、各識別された関心領域（ＲｏＩ）についてオブジェクトマスクを予測する（即ち、ステップ３０３）。一実施形態では、「Ｍａｓｋ Ｒ－ＣＮＮ」は、完全畳み込みネットワークを使用して、各関心領域（ＲｏＩ）についてオブジェクトマスクを生成する。当技術分野で知られているように、完全畳み込みネットワークは、（プーリングに加えて）畳み込み及び逆畳み込みのみを行う（人工）ニューラルネットワークを含む。換言すれば、完全畳み込みネットワークは、畳み込みニューラルネットワークにおいて見られるような、いかなる全結合層も含まない。各関心領域（ＲｏＩ）について生成されたオブジェクトマスクは、オブジェクトのインスタンスに関連付けられている、画像のピクセルを識別する。

一例では、完全畳み込みネットワークは、同じく参照により本明細書に組み込まれる「J. Long, E. Shelhamer, and T. Darrell. Fully convolutional networks for semantic segmentation. In CVPR, 2015」を参照する「Ｍａｓｋ Ｒ－ＣＮＮ」に記載されているように実装される。

様々な事前トレーニングされたモデルが「Ｍａｓｋ Ｒ－ＣＮＮ」のために存在する。しかしながら、これらのモデルは、平面画像を備えるデータセットでトレーニングされている（例えば、「Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays,Pietro Perona, Deva Ramanan, Piotr Dollar,´ and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, pages 740-755, 2014」に記載されている「ＣＯＣＯ」データセットに基づいてトレーニングされている）。平面画像でトレーニングされた機械学習モデルを使用することは、正距円筒画像について不安定なセグメンテーション結果を生じることが分かった。

一例では、「Ｍａｓｋ Ｒ－ＣＮＮ」は、正距円筒画像を備えるトレーニングセットを使用して、画像セグメンテーションのためにトレーニングされる。この目的のための例となるトレーニングセットが、参照により本明細書に組み込まれる「Iro Armeni, Sasha Sax, Amir R. Zamir, and Silvio Savarese. (2017). Joint 2D-3D-Semantic Data for Indoor Scene Understanding」に記載されている「Ｓｔａｎｆｏｒｄ－２Ｄ３ＤＳ」データセットの少なくとも一部を備える。

「Ｓｔａｎｆｏｒｄ－２Ｄ３ＤＳ」データセットは、正距円筒画像と、関連付けられた意味的にセグメント化された画像と、を備える。「Ｓｔａｎｆｏｒｄ－２Ｄ３ＤＳ」データセットは、１３個のオブジェクトクラスを使用し、それらは、「天井」、「床」、「壁」、「梁」、「柱」、「窓」、「扉」、「テーブル」、「椅子」、「ソファ」、「本棚」、「ボード」及び「クラッタ（clutter）」（「不明」とも呼ばれる）である。その結果、「Ｓｔａｎｆｏｒｄ－２Ｄ３ＤＳ」を使用してトレーニングされた機械学習モデルは、オブジェクトの１３個のクラスを検出することが可能である。とはいえ、いかなる疑義も避けるために、異なるクラスを有する異なるデータセットが、機械学習モデルをトレーニングするために使用され得ることが強調される。「Ｍａｓｋ Ｒ－ＣＮＮ」をトレーニングする一例が、参照により本明細書に組み込まれる「Mask R-CNN, 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980-2988, doi: 10.1109/ICCV.2017.322」に記載されている。

ステップ３０４において、検出のセットが生成される。一例では、検出のセットは、各識別されたオブジェクトインスタンスについてのクラスラベルと、関連付けられたオブジェクトマスクと、関連付けられたオブジェクトネススコアと、関連付けられたオブジェクト境界ボックスと、を備える。

上記を要約すると、「Ｍａｓｋ Ｒ－ＣＮＮ」は、入力として画像を識別する情報（例えば、ＲＧＢピクセル値）を受け取るように構成されており、且つ関心領域（ＲｏＩ）を識別する候補オブジェクト境界ボックスと、検出されたオブジェクトインスタンスが属するクラスを識別するクラスラベルと、識別されたオブジェクトインスタンスに関連付けられている、入力画像のピクセルを識別するオブジェクトマスクと、候補境界ボックスに関連付けられたオブジェクトネス信頼スコアと、を出力するように構成されている。

上述されたように、全方位画像は、水平面の周囲３６０度に及ぶ。しかしながら、全方位画像の正距円筒投影は、（例えば、Ｙ緯度軸に沿って、即ち、換言すれば、正距円筒画像の垂直エッジにおいて）シーンにおける不連続性（discontinuity）を生じる。この不連続性は、インスタンスセグメンテーションの精度を低減し、いくつかのオブジェクトインスタンスが検出されないことをもたらし得る。

この点を踏まえ、正距円筒画像をセグメント化するときに、この不連続性の影響を低減させるアプローチが、以下に説明される。以下の例は、「Ｍａｓｋ Ｒ－ＣＮＮ」の出力を使用して提示されるが、以下のアプローチは、出力が候補オブジェクト境界ボックス及び関連付けられたオブジェクトネス信頼スコアを備えるという前提で、任意の画像セグメンテーション技法の出力と共に使用され得ることが理解されよう。

図４は、一例による検出のセットを生成するための方法を示す。一例では、インスタンスセグメンテーションを行うことは、２つの検出のセットを生成することを備える。検出のセットは、関心領域（ＲｏＩ）を識別するオブジェクト境界ボックスと、オブジェクト境界ボックスに関連付けられたオブジェクトネス信頼スコアと、を備える。検出のセットはまた、検出されたオブジェクトインスタンスが属するクラスを識別するクラスラベルと、識別されたオブジェクトインスタンスに関連付けられている、入力画像のピクセルを識別するオブジェクトマスクと、を備える。

ステップ４０１は、入力画像の「元の（original）」正距円筒投影に対してインスタンスセグメンテーションを行うことによって、第１の検出のセットを生成することを備える。

ステップ４０２において、入力画像は、垂直軸を中心に回転される。回転に続いて、ステップ４０３において、「元の」正距円筒投影を回転させたバージョンに基づいて、第２の検出のセットが生成される。一例では、「元の」正距円筒投影は、元の正距円筒投影を回転させたバージョンを生成するために、垂直軸を中心に（即ち、水平面において）１８０度回転される。一般に、「元の」投影でのオブジェクトにおける不連続性は、回転させたバージョンでは生じないであろうという前提で、他の角度での回転もまた可能である。

第１のセットの投影及び第２のセットの投影は、最終的な検出のセットを生成するために比較される。ステップ４０４において、最終的な検出のセットが、ＮＭＳ（Non-Maximum Suppression）を使用して、第１の検出のセット及び第２の検出のセットをフィルタリングすることによって生成される。

当技術分野で知られているように、ＮＭＳ（Non-Maximum Suppression）は、オブジェクト検出器の予測をフィルタリングするための技法である。ＮＭＳ（Non-Maximum Suppression）を使用して検出をフィルタリングすることは、第１の検出のセット及び第２の検出のセットからオブジェクト境界ボックスの組み合わされたリストを生成することを備える。次に、最も高いオブジェクトネス信頼スコアに関連付けられている、組み合わされたリストからのオブジェクト境界ボックスが選択され、オブジェクト境界ボックスの最終リストに追加される。方法は、選択されたオブジェクト境界ボックス及び組み合わされたリスト中の各残りのオブジェクト境界ボックスについてのＩｏＵ（Intersection Over Union）値を計算することを更に備える。一例では、ＩｏＵ（Intersection Over Union）値は、比較されている各オブジェクト境界ボックスに共通のピクセルの数を決定し、これを比較されているオブジェクト境界ボックスの和集合によってカバーされるピクセルの数で除算することによって計算される。ＩｏＵ（Intersection Over Union）が、第１の閾値より大きい場合には、比較に使用されている（組み合わされたリストからの）オブジェクト境界ボックスは、組み合わされたリストから除去される。方法は、組み合わされたリストから、最も高いオブジェクトネス信頼スコアに関連付けられている新しいオブジェクト境界ボックスを選択し、この候補を最終リストに追加し、組み合わされたリストから、第１の閾値より大きいＩｏＵ（Intersection Over Union）値を有する残りのオブジェクト境界ボックスを除去することによって繰り返す。第１の閾値は、ＩｏＵ（Intersection Over Union）閾値とも呼ばれる。一実施形態では、ＩｏＵ閾値は、０．５に設定される。

オプションで、第１の検出のセット及び第２の検出のセットは、第２の閾値よりも大きいオブジェクトネス信頼スコアに関連付けられたオブジェクト境界ボックスのみが、ＮＭＳ（Non-Maximum Suppression）による後続のフィルタリングのために、組み合わされたリストに追加されるように、オブジェクト境界ボックスの組み合わされたリストを形成する前にフィルタリングされる。一例では、第２の閾値（オブジェクトネス信頼閾値とも呼ばれる）は、０．７以上のオブジェクトネス信頼スコアである。

最終リスト中のオブジェクト境界ボックスは、オブジェクトマスク及びクラスラベルにそれぞれ関連付けられている。これらは、第１／第２の検出のセットにおけるオブジェクト境界ボックスに関連付けられたものと同じオブジェクトマスク及びクラスラベルである。

ステップ４０５は、最終的な検出のセットを出力することを備える。

次いで、インスタンスセグメンテーションの出力（即ち、ステップ２０２の出力）が、検出の最終リストに基づいて生成される。リマインダとして、インスタンスセグメンテーションの出力は、入力画像内で検出された各オブジェクトインスタンスを識別する出力情報、及び検出されたオブジェクトインスタンスに関連付けられたオブジェクトマスク（即ち、入力画像内のどのピクセルが、識別されたオブジェクトインスタンスに対応するかのインジケーション）を備える。

別の例では、ステップ２０２におけるインスタンスセグメンテーションの出力は、第１の検出のセットのみに基づいて（即ち、図４に関連して説明されるような、「元の」画像を回転させたバージョンに基づいて第２の検出のセットを生成することなしに）生成される。

図２に戻る。ステップ２０３において、方法は、深度情報を取得する。以下の説明からより明らかになるように、オブジェクト間のカメラの不変な関係（camera invariant relationships）を抽出することは、部分的には、入力画像を３Ｄジオメトリにリフトすることによって達成される。ピクセルの深度が既知である場合、２Ｄ正距円筒入力画像に基づいて３Ｄシーンを生成することが可能である。この点を踏まえると、ステップ２０３は、２Ｄ正距円筒入力画像のピクセルについての深度情報を取得することを備える。図５Ｃは、一実施形態に従って生成された深度情報の視覚的な表現を示す。

深度情報は、多くの方法で取得され得る。一例では、シーンの深度情報は、ＬｉＤＡＲ（光による検知と測距）を使用して取得される。別の例では、深度情報は、ステップ２０１において取得された画像データから直接取得される。特に、画像データが深度情報を備える（例えば、画像データがＲＧＢＤ（赤、緑、青、深度）フォーマットで提供される）場合、ステップ２０３における深度情報は、ステップ２０１において取得された画像データから直接取得される。一例では、ステップ２０１において取得される情報は、ＲＧＢＤカメラによってキャプチャされる。

別の例では、深度情報は、入力画像の正距円筒投影から深度マップ（即ち、各ピクセルが深度値に関連付けられている入力画像の表現）を生成することによって（即ち、明示的な深度データを提供されることなく）取得される。

オプションで、深度マップは、機械学習モデルを使用して生成される。例となる機械学習モデルは、参照により本明細書に組み込まれる「Nikolaos Zioulis, Antonis Karakottas, Dimitrios Zarpalas,and Petros Daras. Omnidepth: Dense depth estimation for in-doors spherical panoramas. In ECCV, pages 448-465, 2018」に記載されている「ＲｅｃｔＮｅｔ」である。

簡潔に説明すると、「ＲｅｃｔＮｅｔ」は、オートエンコーダ構造に従う畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャであり、ここで、エンコーダは、入力の空間次元をより小さいサイズの表現に徐々に削減することによって、入力をエンコードし、デコーダは、この表現をアップスケーリングすることによって、所望の出力に回帰させる。「ＲｅｃｔＮｅｔ」の様々な層が、３６０度画像から深度マップを生成するために設計されてきた。

一例では、「ＲｅｃｔＮｅｔ」への入力は、ステップ２０１において生成された正距円筒画像であり、「ＲｅｃｔＮｅｔ」の出力は、正距円筒入力画像における各ピクセルを深度値に関連付ける深度マップである。

更なる例では、機械学習モデル、特に「ＲｅｃｔＮｅｔ」は、入力画像及び関連付けられた深度マップを備える「Ｓｔａｎｆｏｒｄ－２Ｄ３ＤＳ」データセットの少なくとも一部でトレーニングされる。オプションで、正距円筒画像は、「ＲｅｃｔＮｅｔ」への入力として提供される前に、５１２×２５６ピクセルにスケーリングされる。

画像データから深度情報を取得することは、「ＲｅｃｔＮｅｔ」に関連して上述したが、正距円筒投影から深度マップを生成するための任意の技法が代わりに使用され得ることが理解されよう。

図２に戻ると、ステップ２０４において、方法は、ステップ２０３において生成された深度マップを使用して、正距円筒画像における各ピクセルの３Ｄロケーションを生成する。

一例では、正距円筒画像のピクセルロケーションは、最初に球座標に変換される。当技術分野で知られているように、球座標系は、３次元空間のための座標系であり、ここで、点の位置は、半径方向距離（ρ）、方位角（θ）及び極角（φ）によって指定される。正距円筒画像のピクセルロケーションは、第１の変換を使用して、方位角（θ）及び極角（φ）に変換される。一例では、正距円筒画像がＷ×Ｈピクセルを備え、各ピクセルが画像座標（ｘ，ｙ）を有し、原点が画像の中心である場合には、θ＝２πｘ／Ｗ及びφ＝πｙ／Ｈである。

ステップ２０３において取得された深度情報は、各ピクセルについての半径方向距離（ρ）を決定するために使用される。結果として、各ピクセルは、完全な球座標に関連付けられる。次いで、球座標は、第２の変換を使用して、デカルト座標に変換される（例えば、ｘ＝ρｃｏｓφ ｓｉｎθ、ｙ＝ρｓｉｎφ ｓｉｎθ、ｚ＝ρｃｏｓθ）。

特定の例が上記で提供されたが、正距円筒画像のピクセルを３Ｄ（デカルト）座標に変換するための任意の方法が代わりに使用され得ることが理解されよう。別の例では、３Ｄデカルト座標は、参照により本明細書に組み込まれる「3D Geometry for Panorama, Jianxiong Xiao, Massachusetts Institute of Technology」に記載されているように生成される。

ステップ２０５において、方法は、入力画像の正距円筒投影から特徴を抽出する。当技術分野で知られているように、特徴抽出は、コンピュータビジョンパイプラインのコアコンポーネントであり、画像内のオブジェクトを明確に定義する有用な特徴を画像から抽出することを伴う。コンピュータビジョンでは、特徴は、オブジェクトを識別するために使用され得る測定可能なデータ片である。例えば、特徴は、画像内の別個の色であり得るか、又は線、エッジ、若しくは画像セグメント等の特定の形状であり得る。

ステップ２０５は、オプションで機械学習モデルを使用して、正距円筒画像における各ピクセルについて特徴を抽出することを備える。特徴抽出は「ＮｅｔＶＬＡＤ」に関連して詳細に説明されたが、疑義を避けるために、方法が、入力として、正距円筒画像を受け取り、出力として、正距円筒画像における各ピクセルについて、特徴マップを識別する情報を生成するという前提で、他の特徴抽出方法も使用され得ることに留意されたい。

一実施形態では、特徴抽出及びエンコーディングは、参照により本明細書に組み込まれる「Relja Arandjelovic, Petr Gronat, Akihiko Torii, Tomas Pa-jdla, and Josef Sivic. Netvlad: Cnn architecture for weakly supervised place recognition」に記載されている「ＮｅｔＶＬＡＤ」に基づいて行われる。有利には、「ＮｅｔＶＬＡＤ」は、場所認識のためにトレーニングされており、うまく機能することが分かっている。

「ＮｅｔＶＬＡＤ」は、（特徴抽出のための）畳み込みニューラルネットワークと、畳み込みニューラルネットワーク（ＣＮＮ）フレームワークにおいてＶＬＡＤを模倣するために、誤差逆伝播法を介してトレーニングすることに適したトレーニング可能なＶＬＡＤ層と、を備える。

ＶＬＡＤは、局所集約記述子のベクトル（ＶＬＡＤ）を表し、参照により本明細書に組み込まれる「H. J´egou, M. Douze, C. Schmid, and P. P´erez. Aggregating local descriptors into a compact image representation. In Proc. CVPR, 2010」に記載されている。簡潔に説明すると、ＶＬＡＤは、記述子プーリング方法を提供し、ここで、残差（特徴の記述子と、特徴空間のクラスタ中心との間の差分ベクトル）が生成される。形式的に、（例えば、前の特徴抽出ステップから）入力としてＮ個のＤ次元局所画像記述子｛ｘ_ｉ｝、及びＶＬＡＤパラメータとしてＫ個のクラスタ中心（「視覚的な単語（visual words）」）｛ｃ_ｋ｝を与えられると、出力ＶＬＡＤ画像表現Ｖは、Ｋ×Ｄ次元行列である。Ｖの（ｊ，ｋ）要素は、以下のように計算される：

ここで、ｘ_ｉ（ｊ）及びｃ_ｋ（ｊ）は、それぞれｉ番目の記述子及びｋ番目のクラスタ中心のｊ番目の次元であり、ａ_ｋ（ｘ_ｉ）は、ｋ番目の視覚的な単語に対する記述子ｘ_ｉのメンバーシップ（membership）を示し、即ち、それは、クラスタｃ_ｋが記述子ｘ_ｉに最も近いクラスタである場合は１であり、それ以外の場合は０である。

「ＮｅｔＶＬＡＤ」は、クラスタｃ_ｋに対する記述子ｘ_ｉの重みが、それらの近さに比例するが、他のクラスタ中心の近さと相対的であるように、重み関数（ａ_ｋ（ｘ_ｉ））を修正する。「ＮｅｔＶＬＡＤ」はまた、距離の大きさによる応答の減衰を制御するパラメータ（α）を導入する。更に、「ＮｅｔＶＬＡＤ」では、（そこから残差が計算される）クラスタのアンカー点がトレーニング可能である。標準のＶＬＡＤでは、アンカーは、データベースにわたって残差を均等に分布させるために、クラスタ中心として選択される。しかしながら、「ＮｅｔＶＬＡＤ」では、クラスタ中心は、異なる画像に属することが既知である２つの記述子間のドット積が小さくなる（即ち、その結果、異なる画像についての残差がより異なる）ようにトレーニングされ得る。

「ＮｅｔＶＬＡＤ」で使用されるＶＬＡＤ記述子は、次の通りである：

ここで、

「ＮｅｔＶＬＡＤ」では、｛ｗ_ｋ｝、｛ｂ_ｋ｝及び｛ｃ_ｋ｝は、トレーニング可能なパラメータである。

その結果、入力としてＮ個のＤ次元局所ピクセル記述子、及びＫ個の自動的に求められたクラスタ中心を与えられると、各ピクセルにおける「ＮｅｔＶＬＡＤ」の出力は、特徴空間における各クラスタ中心までの記述子距離に基づくＫ×Ｄ行列である。「ＮｅｔＶＬＡＤ」では、全てのピクセル行列は、単純に単一の行列に集約される。次いで、この行列は、平坦化され、画像検索のための画像埋め込みとして使用される。

しかしながら、本明細書で開示される方法では、全てのＮ個のピクセル行列を無秩序な方法で合計する代わりに、インスタンスレベル及びグラフレベルの集約が適用され得るように、空間的構造が維持される。したがって、本明細書で説明される例による修正された「ＮｅｔＶＬＡＤ」は、サイズＨ×Ｗの画像について、Ｈ×Ｗ×Ｋ×Ｄ特徴マップを生成する。即ち換言すれば、本明細書で修正された「ＮｅｔＶＬＡＤ」は、各ピクセルに関連付けられたＶＬＡＤ記述子を識別する情報を出力する。

上述されたように、例において使用される「ＮｅｔＶＬＡＤ」の実装形態は、特徴抽出のための畳み込みニューラルネットワーク（ＣＮＮ）を備える。オプションで、畳み込みニューラルネットワーク（ＣＮＮ）は、参照により本明細書に組み込まれている「K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In Proc. ICLR, 2015」に記載されている事前トレーニングされたＶＧＧ－１６バックボーンで実装される。一実施形態では、トレーニング可能なＶＬＡＤ層のための重みは、参照により本明細書に組み込まれる「Titus Cieslewski, Siddharth Choudhary, and Davide Scara-muzza. Data-efficient decentralized visual slam. In ICRA, pages 2466-2473. IEEE, 2018」で使用されているものと同じである。

一例では、ステップ２０１からの正距円筒画像は、入力として「ＮｅｔＶＬＡＤ」特徴抽出器に供給される前に、最初に２０４８×１０２４ピクセルにアップサンプリングされる。畳み込みニューラルネットワーク（ＣＮＮ）（即ち、ＶＧＧ－１６）の出力は、サイズが１２８×６４まで低減されたときに得られ、ここで、各ピクセルは、記述子６４×５１２を有する。

上記を要約する。ステップ２０２、２０３＆２０４、及び２０５の完了後、方法は、２０２からの正距円筒画像における各ピクセルについてのクラスラベルを示すオブジェクトマスクと、ステップ２０３＆２０４からの各ピクセルの３Ｄロケーションと、ステップ２０５からの各ピクセルに関連付けられた特徴ベクトルを識別する情報と、を生成した。

オプションで、ステップ２０２及び２０４は、サイズ変更ステップによってそれぞれ別々に後続され、ここで、情報は、各ステップ（即ち、２０２、２０４及び２０５）の出力画像サイズが同じになるようにサイズ変更される。例えば、特徴抽出が１２８×６４の出力サイズで「ＮｅｔＶＬＡＤ」を使用して行われる場合、ステップ２０２及び２０４の出力のサイズもまた、１２８×６４ピクセルにサイズ変更される。特に、インスタンスセグメンテーション情報及び深度情報が、「ＮｅｔＶＬＡＤ」空間次元（即ち、この例では１２８×６４）にマッチするようにサイズ変更される。オプションで、ダウンサンプリングが、最近傍ダウンサンプリングを使用して行われる。最近傍ダウンサンプリングでは、最初に、出力マップにおける各ピクセルの座標が決定される。次いで、各出力ピクセルについて、出力マップにおけるこの座標に最も近い入力ピクセルのピクセル値が、出力値として選択される。

ステップ２０２、２０３＆２０４、及び２０５は、これらのオペレーションが必ずしも互いの出力に依存せず、したがって、並列に実行され得ることを示すために、図２に並列に示されている。代替として、図２に示される各ブランチは、直列に実行され得る。

ステップ２０６において、方法は、シーングラフを生成する。シーングラフＧ＝（Ｖ，Ｅ）は、ノードの集合Ｖ及びエッジの集合Ｅとして表される。オプションで、各ノードｉ∈Ｖが、特徴ベクトルｘ_ｉに関連付けられており、各エッジ（ｉ，ｊ）∈Ｅが、特徴ベクトルｘ_ｉｊに関連付けられている。

ステップ２０６において、グラフのノードが生成される。グラフにおける各ノードは、ステップ２０２において検出されたオブジェクトインスタンスに関連付けられている。（ステップ２０２において生成されたオブジェクトマスクから識別される）オブジェクトに関連付けられた各ピクセルが決定され、決定されたピクセルに関連付けられた（ステップ２０５から識別される）対応する特徴ベクトルが、オブジェクトインスタンスについての単一の特徴ベクトルを決定するために、総和（summation）を通じて集約される。

（ステップ２０２において生成されたオブジェクトマスクから識別される）オブジェクトに関連付けられている（ステップ２０４において生成される）３Ｄ座標の各々もまた決定される。中央３Ｄ座標値が、オブジェクトに関連付けられた各ピクセルの３Ｄ座標に基づいて生成され、それによって、各オブジェクトインスタンスに関連付けられた単一の中央３Ｄ座標を生成している。

その結果、各オブジェクトがノードに関連付けられており、ノードに関連付けられた特徴ベクトルは、オブジェクトインスタンスの各ピクセルに関連付けられた特徴ベクトルの合計であり、ノードはまた、３Ｄ座標に関連付けられており、ここで、３Ｄ座標は、オブジェクトインスタンスに関連付けられた３Ｄ座標の中央値である。

その後、ノード間のエッジが構築される。一例では、距離（オプションで、ユークリッド距離）が距離閾値より小さい場合、エッジがノード間に追加される。識別されたエッジに関連付けられた記述子（即ち、特徴ベクトルｘ_ｉｊ）はない。有利には、良好なパフォーマンスが、３メートルの距離閾値で達成される。

別の例では、エッジは、異なる基準に基づいて、ノード間に追加される。一例では、各ノードが、オブジェクトインスタンスに関連付けられており、各オブジェクトインスタンスが、クラスラベルに関連付けられている。このケースでは、第１のノード及び第２のノードに関連付けられたオブジェクトインスタンスが同じクラスラベルを有する場合、これらノード間にエッジが追加される（例えば、「椅子」クラスのインスタンスに関連付けられている２つのノード間にエッジが追加される）。

更なる例では、２つのノードがクラスのグループからのクラスラベルに関連付けられている場合、これらノード間にエッジが追加される。例えば、クラスのグループが、｛「椅子」、「テーブル」｝を備える場合、「椅子」クラスラベルを有するオブジェクトインスタンスに関連付けられた第１のノードと、「テーブル」クラスラベルを有するオブジェクトインスタンスに関連付けられた第２のノードとの間にエッジが追加される。

より一般的には、一例では、２つのノードの関連付けられたオブジェクトインスタンスが、類似特性（例えば、３Ｄ座標、既知の関連ラベル、ラベルの類似性）を有する場合、２つのノード間にエッジが追加される。更なる例では、ノード特性のペアワイズチェックに基づいて、エッジがノード間に生成される。

図６Ａは、一実施形態に従って重ね合わされたノード及びエッジを有するシーンの３Ｄ表現を示す。図６Ｂは、一例によるシーングラフの２Ｄ表現を示す。とはいえ、本明細書で説明される方法は、３Ｄシーングラフを使用することが強調される。

図２に戻る。シーングラフを生成すると、方法は、ステップ２０７に進む。

ステップ２０７において、生成されたシーングラフを（例えば、画像認識のための）後続の比較のために使用され得るベクトルに変換することによって、グラフ埋め込みが生成される。オプションで、グラフ埋め込みは、グラフ埋め込みネットワークによって生成される。

図７は、一実施形態によるグラフ埋め込みネットワークを示す。図７は、エンコーダ７０２と、伝播層７０３と、グラフアグリゲータ７０４と、を備えるグラフ埋め込みネットワーク７０１を示す。図７は、エンコーダ７０２と、伝播層７０３と、グラフアグリゲータ７０４とを別個のコンポーネントとして示しているが、それらの機能が１つのコンポーネントに組み合わされ得ることが理解されよう。

エンコーダ７０２は、ステップ２０６において生成されたシーングラフからのノード特徴及びエッジ特徴を、それぞれ

にマッピングするように構成されており、ここで、

は、ｉ番目のノードに関連付けられた初期（即ち、時間＝０）ノードベクトルであり、ここで、ｉ∈Ｖであり、Ｖは、グラフを形成するノードの集合である。初期ノードベクトル

は、ｉ番目のノードに関連付けられた特徴ベクトルｘ_ｉに等しく設定されており

一方、エッジベクトル

（ノードｉとノードｊとの間のエッジを表す）は、未使用である。

上述されたように、各ノードは、シーン（即ち、入力画像）におけるオブジェクトに関連付けられており、一例では、ノードに関連付けられた特徴ベクトルは、オブジェクトに関連付けられた各ピクセルにおける「ＮｅｔＶＬＡＤ」記述子の集約である（即ち、Ｋ×Ｄ行列としてＤ次元の特徴を有するＫ個のクラスタの留数（residues）の合計である）。その結果、この例では、初期ノードベクトル

は、Ｋ×Ｄ行列である。有利には、ピクセル当たりの特徴マップを抽出するために「ＮｅｔＶＬＡＤ」を使用することは、既に豊富な（already rich）エンコーディングをもたらす。

エンコーダ７０２は、各ノードについての初期ノードベクトル

を伝播層７０３に伝達する。伝播層の機能は、ｉ番目のノードのためのノードベクトルｈ

に関連して説明され、ここで、ｉ∈Ｖであり、Ｖは、グラフを形成するノードの集合である。しかしながら、同じ機能は、ノードの集合における他のノードにも適用されることが理解されよう。

伝播層７０３は、ノードの新しい表現を生成するために、ノードを接続しているエッジに沿って、グラフのノード間の（比喩的に）メッセージの受渡しを行うように構成されている。上述されたように、グラフ埋め込みネットワーク７０１の目的は、グラフ表現を後続の比較のために使用され得るベクトルに変換することである。以下でより詳細に説明されるように、グラフ埋め込みネットワークは、類似のシーンを表す２つの入力グラフが、非類似のシーンを表す２つの入力グラフから生成される出力ベクトルよりも、より類似した出力ベクトルを作り出すようにトレーニングされる。伝播層は、各ノードに関連付けられた特徴ベクトルを、最終的なノード表現に変換するプロセスを制御し、これら最終的なノード表現は、最終的なグラフ表現を生成するために最終的に使用される。

図８は、一実施形態によるグラフ埋め込みネットワーク７０１の伝播層７０３によって行われる方法を示す。ステップ８０１において、ノードｉについての初期ノードベクトル

が取得される。上述されたように、初期ノードベクトル

は、エンコーダ７０２によって出力される。一例では、ノードｉについての初期ノードベクトル

を取得することは、初期ノードベクトル

を、ｉ番目のノードに関連付けられた特徴ベクトルｘ_ｉ（特徴行列とも呼ばれる）に等しく設定することを備える。

加えて、ステップ８０１はまた、ノードｉに接続しているエッジＥ_ｉを識別する情報を取得することを備える。一例では、ノードｉに接続しているエッジを識別する情報は、シーングラフから取得される。

ステップ８０２において、ノードｉに接続している任意のエッジが存在するかどうか（即ち、任意のエッジ（ｊ，ｉ）が存在するかどうか）を決定する。ノードｉを別のノードに接続している少なくとも１つのエッジがある場合には、方法は、ステップ８０３に進む。

ステップ８０３において、メッセージｍ_ｊ→ｉが、下記に従って、ノードｉに接続している各エッジについて生成される：

ここで：
σ（ｘ）は、ロジスティックシグモイド関数

であり、
ＭＬＰ_ｇａｔｅ（ｘ）は、入力ｘに基づいてゲーティング重みを生成するように構成された多層パーセプトロンであり、

は、要素ごとの乗算である。

上記式から明らかであるように、ｆ_ｍ（メッセージ関数とも呼ばれる）は、ゲーティング関数の合計を使用する。当技術分野で知られているように、ゲーティング関数は、入力のどの割合が出力されるかを制御するように構成されている。これは、ゲーティング重み

とノードベクトル

との要素ごとの乗算によって達成される。ゲーティング重みは、入力に基づいて、機械学習モデルによって生成される。上記の例では、ゲーティング重みは、入力

に基づいて、多層パーセプトロンによって生成され、ここで、

は、ｉ番目のノードについての現在のノードベクトルであり、

は、ｊ番目のノードについての現在のノードベクトルである。

は、メッセージ（したがって、ｍ）を生成するプロセス中に、ｉ番目のノードからのノードベクトルをゲーティングするためのゲーティング重みを生成する多層パーセプトロンを表す。多層パーセプトロンは、

がｉ番目のノードについての現在のノードベクトルであり、

がｊ番目のノードについての現在のノードベクトルである、入力に基づいて、（出力において）ゲーティング重みを生成するために、トレーニング可能な重みを有する。同様に、

もまた、トレーニング可能な重みを有する。

有利には、各ノードベクトルについての表現をゲーティングすることによって、及びどのようにゲーティングを適用するかを学習することによって、メッセージ関数は、より信頼性の高い特徴をアクティブ化する。

ステップ８０３において、メッセージが、ｉ番目のノードに接続している各エッジについて生成される。例えば、ｉ番目のノードがエッジによって２つの他のノードｊ_１及びｊ_２に接続されているケースでは、２つのメッセージが、下記に従って計算される：

しかしながら、ｆ_ｍにおける多層パーセプトロン重みの重みは、ノードに関係なく同じである（即ち、

の学習可能な重みは、ｊによって変化しない）。その結果、この例では、同じ

が、ｍ_ｊ１→ｉとｍ_ｊ２→ｉとの両方のために使用される。当然ながら、

への入力が異なることになるので、

によって作り出されるゲーティング重み（即ち、出力）は、異なり得ることが理解されよう。

ｉ番目のノードに接続している各エッジについてのメッセージを生成した後、方法は、ステップ８０４に進む。ステップ８０４において、更新されたノードベクトルが、下記に従って生成される：

ここで、Ｅ_ｉ⊂Ｅであり、ｉ番目のノードに接続している全てのエッジ（ｊ，ｉ）を含み、ここで、Ｅは、シーングラフにおけるエッジの集合であり、

は、Ｅ_ｉのカーディナリティ（cardinality）（即ち、ノードｉに接続しているエッジの数）である。上記から明らかであるように、ノード関数ｆ_ｎは、パラメータとして、ステップ８０３において生成されたメッセージの合計をとる。

ノード関数ｆ_ｎは、ゲーティング重みを生成するために異なる多層パーセプトロン

を使用することを除いて、メッセージ関数ｆ_ｍに類似する。ノード関数ｆ_ｎは、下記によって与えられる：

の両方が、学習可能な重みを有する。

更新されたノードベクトル

を生成した後、方法は、ステップ８０５に進み、ここで、時間ｔ＋１が、時間閾値Ｔに等しいかどうかを決定する。時間が時間閾値に等しくない場合には、方法は、ステップ８０７に進み、ここで、最終的なノード表現

が、伝播層７０３によって出力される。時間ｔ＋１が時間閾値に等しくない（即ち、時間が時間閾値Ｔ未満である）場合には、方法は、ステップ８０８に進み、ここで、時間ステップが増分され（即ち、ｔ＝ｔ＋１）、次いで、ステップ８０２に進み、ここで、更新されたノードベクトルが計算される。

ステップ８０２に戻る。ステップ８０２において、ｉ番目のノードに接続しているエッジ（ｊ，ｉ）がないことが決定された場合には、方法は、ステップ８０６に進み、ここで、更新されたノードベクトル

は、現在のノードベクトル

に等しく設定される。上述されたように、方法は、その後、ステップ８０５に進む。

図８は、グラフの単一のノード（即ち、ｉ番目のノード）に関連して示されているが、方法は、グラフにおける各ノードｉについての最終的なノード表現

を生成するように適合され得ることが理解されよう。即ち、各ノードについて図８に示される方法を繰り返すことによって、又は図８のステップを適合させることによってであり、その結果、各オペレーションが、グラフにおける各ノードｉにわたって行われる。

異なるエッジを説明したときに、メッセージ関数ｆ_ｍに関連して説明されたように、ノードにわたって更新を生成するとき、同じ多層パーセプトロン（即ち、同じ重みを有する）が、グラフにおける各ノードｉについて使用される。換言すれば、

の重みは、全てのｉについて同じであり、ここで、ｉ∈Ｖである。

要約すると、グラフ埋め込みネットワークのトレーニング可能なパラメータは、

の重みである。一実施形態では、上記で参照された様々な多層パーセプトロンの重みは、経時的に固定されている（即ち、時間ｔと共に変化しない）。有利には、経時的に同じパラメータを使用することは、必要とされるトレーニングの量を低減させる。別の実施形態では、多層パーセプトロンの重みは、経時的に変化する。

図７に戻ると、伝播層７０３は、伝播層７０３の出力に基づいて、グラフにおける各ノードｉについての最終的なノード表現

を出力するように構成されている。特に、グラフアグリゲータ７０４は、グラフにおける各ノードｉについての最終的なノード表現

に基づいて、グラフ表現ｈ_Ｇを生成するように構成されている。

一実施形態では、グラフアグリゲータ７０４は、下記に従ってグラフレベル表現を計算する：

ここで、ＭＬＰ_ｇａｔｅ及びＭＬＰ_ｎｏｄｅの両方が、（特徴ベクトルにおけるＫ個のクラスタの）各クラスタの特徴で畳み込まれる行カーネルである。ＭＬＰ_ｇａｔｅは、行カーネルによって、入力、即ち、ｉ番目のノードの最終的な表現

を畳み込むことによって、その出力としてゲート重みを生成するように構成された多層パーセプトロンである。同様に、ＭＬＰ_ｎｏｄｅは、行カーネルによって、入力、即ち、ｉ番目のノードの最終的な表現

を畳み込むことによって、出力を生成するように構成された多層パーセプトロンである。ロジスティックシグモイド関数が、ＭＬＰ_ｇａｔｅの出力に適用され、次いで、この出力は、ＭＬＰ_ｎｏｄｅの出力と要素ごとに乗算される。

ノード特徴

は、ノードに関連付けられた特徴ベクトル（即ち、ｘ_ｉ）と同じ次元を有し、これは、それがＤ次元の特徴を有するＫ個のクラスタを表すので、Ｋ×Ｄである。有利には、行カーネル（例えば、１×Ｄ行列）を使用することは、畳み込みが各クラスタ内で行われることを意味し、これは、ノード表現をＫ×１行列に削減しながらも、データにおける構造を保持するのに役立つ。

このオペレーションは、ノードの集合Ｖにおける各ノードｉについて行われ、各ノードについての出力は合計される。次いで、変換に基づく主成分分析（ＰＣＡ）が、シーンの最終的なコンパクト記述子を取得するために、合計に適用される。当技術分野で知られているように、主成分分析（ＰＣＡ）は、大きい変数集合を、この大きい集合における情報の大部分を依然として含むより小さいものに変換することによって、大きいデータセットの次元数を削減するために使用される次元削減方法である。

上述された例では、ＰＣＡベースの変換は、多層パーセプトロン（即ち、ＭＰＬ_Ｇ）を使用して実装される。ＰＣＡベースの変換を使用する一例が、「ＮｅｔＶｌａｄ」に記載されており、これは、上述されたように、参照により本明細書に組み込まれている。一実施形態では、ＭＰＬ_Ｇの重みは、予め決定されている（例えば、事前トレーニングされた「ＮｅｔＶｌａｄ」の重みの一部として取得される）。このケースでは、ＰＣＡベースの変換の重みは、他の重みがトレーニングされていたのと同時に、「ＮｅｔＶｌａｄ」システムのトレーニング中に生成された。

次元削減後、グラフアグリゲータ３０４は、グラフレベル表現ｈ_Ｇを出力する。

一例では、上述された多層パーセプトロン

の少なくともいくつか、オプションで全てが、単一の線形層を使用して実装される。更なる例では、多層パーセプトロンは、いくつか（例えば、１つ、２つ及び３つ）の伝播層をそれぞれ備える。

図２に戻ると、ステップ２０７においてグラフ埋め込みを生成した後、方法は、ステップ２０８に進む。

図２の方法は、推論に関連する。その結果、ステップ２０１における画像データは、画像データに対して場所認識及び／又は画像検索を行うためのクエリを受け取ることに応答して取得され得る。

ステップ２０８において、方法は、ステップ２０７において生成された入力画像のグラフ表現ｈ_Ｇと、画像の参照セットからの画像に関連付けられた複数のグラフ表現との間のユークリッド距離を決定する。

一例では、画像の参照セットが維持される。画像の参照セットは、複数の画像を備える。オプションで、各画像は、ロケーション情報に関連付けられている。一旦システムがトレーニングされると（例えば、一旦グラフ埋め込みネットワークがトレーニングされると）、グラフ埋め込みが、参照セット内の各画像について取得される。これは、ステップ２０１において、入力として画像を提供し、図２におけるステップ２０７から出力を取得することによって達成される。各画像に関連付けられたグラフ埋め込みは、参照セットの一部として記憶される。

推論中、ユークリッド距離は、クエリ画像に関連付けられたグラフ埋め込みと、参照セット内の各画像に関連付けられたグラフ埋め込みとの間で決定される。グラフ埋め込み間の最小のユークリッド距離に関連付けられた画像が、マッチした画像として選択され、画像検索の出力として提供される。オプションで、マッチした画像は、例えば、ステップ２０１を促した要求を受信することに応答して、ユーザに提供される。

システムが場所認識のために使用される場合、マッチした画像に関連付けられたロケーションが検索され、ロケーションはユーザに提供され、それによって、ステップ２０１において受信された入力画像に関連付けられた場所を識別する。

推論中、グラフ埋め込みネットワーク３０１のトレーニング可能な重み

は、予め決定されている。一実施形態では、推論は、システムをトレーニングすることに後続する（これは、以下でより詳細に説明される）。結果として、重みは、トレーニングフェーズ中に生成される。別の実施形態では、重みは、（例えば、異なる時間でのトレーニングフェーズから）事前計算され、（例えば、ストレージから検索されることによって）推論より前にシステムに提供される。

次に、グラフ埋め込みネットワークのトレーニング可能な重みをトレーニングすることを考慮する。トレーニングすることは、ベクトル表現を作り出すために、グラフ埋め込みネットワークの重みをトレーニングすることを備え、ここで、類似のシーンは、２つの非類似のシーンに関連付けられたベクトル表現よりも大きい類似性を有するベクトルに関連付けられている。

グラフ埋め込みネットワークが上記で説明されたように実装される一例では、グラフ埋め込みネットワークをトレーニングすることは、伝播層７０３の学習可能な重み

をトレーニングすることを備える。

疑義を避けるために、グラフ埋め込みネットワークをトレーニングすることは、特徴抽出のために使用される重み（例えば、「ＮｅｔＶＬＡＤ」パラメータ）、深度推定が機械学習モデルで実装される場合の、深度推定のために使用される重み、及びインスタンスセグメンテーションのために使用される重みをトレーニングすることを含まないことが強調される。上述されたように、これらのタスクの各々のために使用される重みは、予め決定され得、及び／又は、特に関連コンポーネントをトレーニングすることによって生成され得る。

図９は、一実施形態によるグラフ埋め込みネットワークをトレーニングする方法を示す。グラフ埋め込みネットワークをトレーニングすることは、ステップ９０１において、トレーニング可能な重み

を初期化することによって開始する。オプションで、トレーニング可能な重みは、ランダムな値で初期化される。

ステップ９０２において、方法は、トレーニングセットから、クエリグラフＧ_ｑと、ポジティブグラフＧ_ｐと、ネガティブグラフＧ_ｎと、を備えるトリプレットを取得する。トレーニングセットは、複数のトリプレットを備える。クエリグラフは、シーンのグラフ表現である。ポジティブグラフは、（例えば、同じ場所／ロケーションに関連付けられた）類似のシーンのグラフ表現である。ネガティブグラフは、（例えば、異なる場所／ロケーションに関連付けられた）非類似のシーンのグラフ表現である。様々なシーンのグラフ表現は、それぞれの画像に対してステップ２０１、２０２、２０３、２０４、２０５及び２０６を行うことによって取得され得る。

オプションで、グラフ埋め込みネットワークは、バッチトレーニング（即ち、より大きいトレーニングセットのサブセットでグラフ埋め込みネットワークをトレーニングすること）を使用してトレーニングされる。バッチトレーニングが使用されるとき、トリプレットは、トレーニングサンプルのバッチから取得される。一例では、バッチにおけるトレーニングサンプルの数は１６である。

グラフ埋め込みネットワークは、教師あり学習を使用してトレーニングされ、損失関数を最小化する重みのセットを学習するように構成されている。トレーニングセットからトリプレットを取得した後、方法は、ステップ９０３に進む。

ステップ９０３において、グラフ埋め込みベクトルが、クエリグラフＧ_ｑ、ポジティブグラフＧ_ｐ、及びネガティブグラフＧ_ｎの各々について生成される。グラフ埋め込みベクトルは、グラフ埋め込みネットワークの現在設定されている重み（これは、最初のトレーニングエポックについては、ステップ９０１からの初期化された重みである）を使用して、図２のステップ２０７に従って生成され、それによって、クエリグラフＧ_ｑ、ポジティブグラフＧ_ｐ、及びネガティブグラフＧ_ｎの各々についてのグラフ埋め込みベクトルを生成する。疑義を避けるために、グラフ埋め込みネットワークは、各グラフのベクトル表現を生成するために、同じトレーニング可能な重みを使用することが強調される。

ステップ９０４において、トリプレット損失が、クエリグラフＧ_ｑについて生成されたグラフ埋め込みベクトル

ポジティブグラフＧ_ｐについて生成されたグラフ埋め込みベクトル

及びネガティブグラフＧ_ｎについて生成されたグラフ埋め込みベクトル

に基づいて生成される。一例では、このトレーニング方法は、参照により本明細書に組み込まれる「Florian Schroff, Dmitry Kalenichenko, and James Philbin. Facenet: A unified embedding for face recognition and clustering. In CVPR, pages 815-823, 2015」に記載されているマージンベースのトリプレット損失を最適化する。

一例では、方法は、下記に従って計算されるマージンベースのトリプレット損失（即ち、ポジティブグラフに対するクエリグラフの類似性が、クエリグラフとネガティブグラフとの類似性よりもマージン分だけ大きくなることを必要とするトリプレット損失）を使用する：

ここで：

であり、クエリグラフについてのグラフ埋め込みベクトル

と、ポジティブグラフについてのグラフ埋め込みベクトル

との間のユークリッド距離の２乗を表し、
γは、マージンであり、オプションで１．０に設定されており、

は、トリプレットベースの損失が、損失の期待値であることを示す。一例では、トレーニングサンプルのセットが、均一にサンプリングされ、計算された損失の合計が、サンプル数によって正規化され、それによって、損失の期待値（即ち、平均損失）が結果として得られる。損失の期待値を生成するために使用されるサンプル数は、１以上である。

その結果、損失関数は、ｄ（Ｇ_ｑ，Ｇ_ｐ）が、マージンγ分だけｄ（Ｇ_ｑ，Ｇ_ｎ）より小さいとき、０の値を生成する。

ステップ９０４においてトリプレット損失を生成した後、方法は、ステップ９０５に進む。

ステップ９０５において、（トレーニング可能な重みの各々についての）トレーニング可能な重みに対する変更が、誤差逆伝播法を使用してトリプレット損失に基づいて決定される。

当技術分野で知られているように、「後方への誤差伝播」の略である誤差逆伝播法は、勾配降下法を使用する人工ニューラルネットワークの教師あり学習のためのアルゴリズムである。人工ニューラルネットワークと誤差関数とが与えられると、方法は、ニューラルネットワークの重みに関して誤差関数の勾配を計算し、学習率及び特定の重みについての計算された勾配に基づいて、重みデルタ（weight delta）（即ち、更新値）を生成する。

グラフ埋め込みネットワークにおける所与のトレーニング可能な重みについて、及び所与のトレーニングトリプレットについて、方法は、３つの調整値を生成するように構成されている。第１の調整値は、クエリグラフのベクトル表現

についての（with respect to）損失関数（Ｌ）の微分、及び所与の重み（ｗ）についてのベクトル表現

の微分に基づく。第２の調整値は、ポジティブグラフのベクトル表現

についての損失関数（Ｌ）の微分、及び所与の重み（ｗ）についてのベクトル表現

の微分に基づく。第３の調整値は、ネガティブグラフのベクトル表現

についての損失関数（Ｌ）の微分、及び所与の重み（ｗ）についてのベクトル表現

の微分に基づく。第１の調整値、第２の調整値及び第３の調整値は、トレーニングトリプレットに基づいて所与の重みについての最終的な調整値を決定するために平均化され得る。

様々なグラフのベクトル表現についての損失関数の微分は、上記損失関数（Ｌ）を微分することによって取得され得る。所与の重みについてのベクトル表現の微分は、連鎖律（chain rule）を使用して、及びグラフ埋め込みネットワークの構造に基づいて決定され得る。

グラフ埋め込みネットワークが、バッチトレーニングを使用してトレーニングされる場合、各トレーニング例についての調整値は、トレーニングエポックについての最終的な重み調整値を生成するために、バッチにわたって平均化されることが理解されよう。

ステップ９０６において、トレーニング可能な重みの各々は、ステップ９０５において決定された各重みに対する決定された変更に基づいて調整される。

一実施形態では、グラフ埋め込みネットワークをトレーニングすることは、オプションで学習率が１０^－４に設定されたＡｄａｍオプティマイザを使用する。当技術分野で知られているように、Ａｄａｍオプティマイザは、機械学習モデルをトレーニングするための確率的勾配降下法のための最適化アルゴリズムである。一例において使用されるＡｄａｍオプティマイザは、参照により本明細書に組み込まれる「Diederik P. Kingma, and Jimmy Ba. (2017). Adam: A Method for Stochastic Optimization」に記載されている。

グラフ埋め込みネットワークのトレーニング可能な重みを調整した後、トレーニング方法によって行われるトレーニングエポック数が１ずつ増分され（即ち、トレーニングエポック数＝トレーニングエポック数＋１）、方法は、ステップ９０７に進む。

ステップ９０７において、行われたトレーニングエポック数が、閾値トレーニングエポック数（最大トレーニングエポック）に等しいかどうかを決定する。当技術分野で知られているように、トレーニングエポックは、トレーニングデータセットのパス（即ち、データセット内のサンプルで機械学習モデルをトレーニングすることの繰り返し）を指す。バッチ学習が使用される場合、エポックは、バッチにおけるトレーニングサンプルの各々に基づいて完了されるトレーニングの反復を指す。一実施形態では、グラフマッチングネットワークは、最大１０００エポックまでトレーニングされる（即ち、最大トレーニングエポック＝１０００）。

最大エポック数に達していない場合、方法は、ステップ９０２に進む。最大エポック数に達した場合、方法は、ステップ９０８に進み、ここで、トレーニングは終了する。

オプションで、図９の方法を完了した後に学習された重みは、推論において将来使用するためにストレージに記憶される。

一実施形態（「ＧｒａｐｈＶＬＡＤ」と名付けられた）が、画像検索／場所認識についての他のアプローチに対して比較された。「ＧｒａｐｈＶＬＡＤ」では、特徴は、上述されたように、参照により本明細書に組み込まれる「Titus Cieslewski, Siddharth Choudhary, and Davide Scaramuzza. Data-efficient decentralized visual slam. In ICRA, pages 2466-2473. IEEE, 2018」で使用されているものと同じ重みで、事前トレーニングされたＶＧＧ－１６バックボーンでの「ＮｅｔＶＬＡＤ」を使用して抽出される。インスタンスセグメンテーション、３Ｄ座標生成、及び特徴抽出の出力は、必要に応じて１２８×６４ピクセルにサイズ変更される。グラフ埋め込みネットワーク７０１は、上述された特定の例に従って実装される。全ての評価において、グラフマッチングネットワーク７０１は、学習率が１０^－４に設定されたＡｄａｍオプティマイザを使用して、１６のバッチサイズで最大１０００エポックまでトレーニングされる。

「ＧｒａｐｈＶＬＡＤ」を評価するために、「ＯｍｎｉＣｌｅｖｒ」と名付けられた新しいデータセットが形成される。「ＯｍｎｉＣｌｅｖｒ」は、参照により本明細書に組み込まれる「Justin Johnson, Bharath Hariharan, Laurens VanDer Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In CVPR, pages 2901-2910, 2017」に記載されているＣｌｅｖｒデータセットから着想を得たものである。「ＯｍｎｉＣｌｅｖｒ」は、オブジェクトの構図（compositions）を有する合成環境の正距円筒画像を備える。

本明細書で提示される評価中、グラウンドトルースのインスタンスセグメンテーション及び深度情報が使用される（即ち、インスタンスセグメンテーション及び深度情報コンポーネントが完全な予測を生成する実施形態を作り出す）。

画像検索についての「Relja Arandjelovic, Petr Gronat, Akihiko Torii, Tomas Pa-jdla, and Josef Sivic. Netvlad: Cnn architecture for weakly supervised place recognition」に記載されている「ＮｅｔＶＬＡＤ」と、本明細書で説明される「ＧｒａｐｈＶＬＡＤ」とのパフォーマンスの比較を、下記表に示す。

上述されたように、「ＧｒａｐｈＶＬＡＤ」は、ノードにおいて「ＮｅｔＶＬＡＤ」特徴を有するシーングラフを生成し、ノードに関連付けられた中央３Ｄ座標が、閾値距離ｄより小さい距離で離れている場合、エッジがグラフのノード間に生成される。結果が、異なる距離閾値（即ち、変動するｄ）について生成された。３ｍのエッジを生成するための距離閾値（即ち、ｄ＝３ｍ、ノード間にエッジを確立するために、これらノードが３ｍ以下で離れていることを必要とする）が、最も良いパフォーマンスを示すことに留意されたい。

上記表では、組み合わされたオブジェクト分割（object split）及びカメラ分割（camera split）についての上位Ｎ個の検索された画像の再現率が報告されている。当技術分野で知られているように、再現率は、関連画像が上位Ｎ個の結果において検索された回数の（上記表ではパーセンテージとして表される）割合である。このケースでの関連画像は、同じ場所／ロケーションからの画像である。

「ＧｒａｐｈＶＬＡＤ」は、９２．１対７３．２のＲｅｃａｌｌ＠１で、「ＮｅｔＶＬＡＤ」を改善する。既製の「ＮｅｔＶＬＡＤ」は、実像で事前トレーニングされており、それは、ＯｍｎｉＣｌｅｖｒデータセットに対してうまく機能することは期待されていないことに留意されたい。したがって、「ＮｅｔＶＬＡＤ」は、ゼロから「ＯｍｎｉＣｌｅｖｒ」でトレーニングされた。ゼロから「ＯｍｎｉＣｌｅｖｒ」でトレーニングされた「ＮｅｔＶＬＡＤ」のこのインスタンスは、「ＮｅｔＶＬＡＤ_ｔ」として示されている。同様に、「ＧｒａｐｈＶＬＡＤ_ｔ」も、特徴抽出のために、これらの再トレーニングされたＮｅｔＶＬＡＤ特徴を使用する。

「ＮｅｔＶＬＡＤ_ｔ」については、Ｒｅｃａｌｌ＠１は、８３．２に改善し、一方、「ＧｒａｐｈＶＬＡＤ_ｔ」は、９３．２を記録した。全体的なパフォーマンスは、グラフ（それ自体）を使用することによって改善され、「ＧｒａｐｈＶＬＡＤ_ｔ」は、改善された「ＮｅｔＶＬＡＤ_ｔ」特徴から更に利益を享受することに留意されたい。

図１０は、各検証タイプについて「ＯｍｎｉＣｌｅｖｒ」データセットでの、一実施形態による「ＧｒａｐｈＶＬＡＤ_ｔ」の再現率及び「ＮｅｔＶＬＡＤ_ｔ」の再現率を示す。図１０は、「ＯｍｎｉＣｌｅｖｒ」検証セットの異なるグループでの「ＮｅｔＶＬＡＤ_ｔ」及び「ＧｒａｐｈＶＬＡＤ_ｔ」の受信者動作特性（ＲＯＣ：Receiver Operating Characteristic）曲線を示す。

静止シーン（「なし」で示される）は、画像検索が比較的容易であり、一方、オブジェクト運動及び変化等のオブジェクトダイナミックス（objects dynamics）は、より難易度の高いタスクを課す。ここで、「ＮｅｔＶＬＡＤ_ｔ」は、特にオブジェクトの追加又は削除に苦慮し、それぞれ７１．６及び６３．２のＲｅｃａｌｌ＠１が結果として得られる。対照的に、「ＧｒａｐｈＶＬＡＤ_ｔ」は、外観単独よりもロバストであるグラフ埋め込みから利益を享受し、追加及び削除について、それぞれ７８．４及び８０．４のはるかに優れたＲｅｃａｌｌ＠１が結果として得られる。オブジェクト運動は、より難易度が低いが、本明細書で開示される方法は、依然として「ＮｅｔＶＬＡＤ_ｔ」よりもパフォーマンスが優れている。

図１０に示される別の重要なファクタの評価（critical factor evaluation）は、特に参照セット及びクエリセットにわたる、カメラ運動によるビュー変動（view variation）である。「ＮｅｔＶＬＡＤ_ｔ」は、ロール回転及びズーム下のカメラについて特にパフォーマンスが悪いことが示されており、それぞれわずか７２．４及び８２．４のＲｅｃａｌｌ＠１に過ぎない。全く対照的に、「ＧｒａｐｈＶＬＡＤ_ｔ」は、それぞれ９６．０及び９５．２のＲｅｃａｌｌ＠１を実現し、我々の回転及び並進不変グラフ埋め込み（rotation and translation invariant graph embedding）から利益を享受している。同様に、並進パフォーマンスもまた、「ＧｒａｐｈＶＬＡＤ_ｔ」について改善されている。

グラフ類似性学習中のメッセージパッシングは、重要な役割を担う。具体的には、本明細書で説明される例では、我々は、我々のグラフにおけるエッジ距離閾値を介して、より大きい受容野（receptive field）を通じてコンテキストアウェアネスを制御する。上記表では、「ＧｒａｐｈＶＬＡＤ」は、変動する距離閾値ｄを使用して（事前トレーニングされた重みで）適用される。メッセージパッシングなし（ｄ＝０ｍ）では、Ｒｅｃａｌｌ＠１は９０．６に低減され、一方、ｄ＝１ｍは、パフォーマンスを９０．９に改善する。全体的には、最良のパフォーマンスは、効率を犠牲にして、エッジのより大きい集合で達成される。上記評価における最良の結果は、９２．１のＲｅｃａｌｌ＠１において、ｄ＝３ｍで達成される。したがって、近傍をアキュムレートすること（accumulating）は、有益であると考えられる。

「ＮｅｔＶＬＡＤ_ｔ」と比較して、本明細書で説明される例による「ＧｒａｐｈＶＬＡＤ_ｔ」は、難易度の高いシーン変化下でその強みを示す。特に、本明細書で開示される方法は、カメラ並進及び回転下での正しいマッチングを可能にする。更に、３Ｄ位置が推定され、グラフ構築において使用されるので、ズーミングによる外観歪みが対処される。最後に、新しいオブジェクトがシーンに追加されるとき、本明細書で開示される方法は、近くのオブジェクト間のメッセージパッシングにより、ダイナミックスに対してロバストである。

シーンをグラフとして表すことは、更なる利点を有する。例えば、シーンをグラフとして表すことは、ノード（即ち、オブジェクト）が、入力画像のシーングラフ表現へ追加され得るか、又はシーングラフ表現から除去され得るように、より容易な操作を可能にする。

一例では、（追加のオブジェクトに関連付けられた）追加のノードと、ノードをグラフの他のノードに接続するエッジとを追加するために、（例えば、ステップ２０６によって生成された）シーングラフを修正することを備える方法がある。このようにして、シーングラフは、ステップ２０１において取得された画像に存在していなかったオブジェクトを含めるように修正／拡張され得る。ノード間にエッジを追加することは、シーン内の追加のオブジェクトの位置を制御する。追加又は代替として、ステップ２０６によって生成されたシーングラフは、グラフ表現からノードを除去するために、（例えば、ステップ２０７において）グラフ埋め込みを生成する前に修正される。ノードを除去することは、例えば、ステップ２０１において取得された画像データが、参照セット内に存在しない可能性が高いであろう一時的なオブジェクトを含むことが知られている場合に有利であり得る。その結果、このノードを除去することによって、関連付けられたオブジェクトは、参照セット内のグラフ埋め込みとの類似性比較を行うときに考慮されないことになる。オプションで、修正／拡張されたシーングラフは、（シーングラフを生成する）ステップ２０６の出力に基づいて生成され、（グラフ埋め込みを生成する）ステップ２０７の入力に提供される。

図１１は、一実施形態によるシステムを示す。図１１は、画像フォーマッタ１１０１を備える場所認識システム１１００を示す。画像フォーマッタ１１０１は、ステップ２０１に関連して説明された機能を実装するように構成されている。場所認識システム１１００は、ステップ２０２に関連して説明された機能を実装するように構成されたインスタンスセグメンタ１１０２と、ステップ２０３に関連して説明された機能を実装するように構成された深度推定器１１０３と、ステップ２０４に関連して説明された機能を実装するように構成された３Ｄ座標生成器１１０４と、ステップ２０５に関連して説明された機能を実装するように構成された特徴抽出器１１０５と、ステップ２０６に関連して説明された機能を実装するように構成されたシーングラフ生成器１１０６と、ステップ２０７に関連して説明された機能を実装するように構成されたグラフ埋め込みネットワーク１１０７と、を更に備える。図１１はまた、ステップ２０８に関連して説明された機能を実装する（即ち、場所／ロケーションを決定するために、生成されたグラフ埋め込みと、参照セットからのグラフ埋め込みとの間の距離、オプションでユークリッド距離を決定する）ように構成された類似性検出器１１０８を示す。オプションで、場所認識システムは、図９に関連して説明された方法を実施するように構成されたトレーニングコンポーネント１１０９を更に備え得る。上記コンポーネントの各々は、互いに通信可能に結合されている。システムは、別個のコンポーネントとして上記に示されたが、これらコンポーネントの機能は、単一のコンポーネントに組み合わされ得ることが理解されよう。また、上記で説明された方法を実施するように構成されたシステムが開示される。

上記に提示された特定の例では、画像のピクセルは、検出されたオブジェクトインスタンスに従ってグループ化された。しかしながら、上述されたように、本発明はそのように限定されるものではない。より一般的には、本明細書の方法は、入力画像が複数のピクセルクラスタにグループ化される場合に使用され得る。このケースでは、各ピクセルクラスタの３Ｄ座標は、ピクセルクラスタがオブジェクトインスタンスである場合について上述されたように生成される。同様に、特徴は、ピクセルクラスタがオブジェクトインスタンスである場合について上述されたように、（例えば、ピクセルクラスタにおける各ピクセルに関連付けられた特徴ベクトルを合計することによって）各ピクセルクラスタについて抽出される。同様に、シーングラフは、各ノードがピクセルクラスタに対応する場合に生成される。

図１２は、実施形態に従って方法を実施するために使用され得るハードウェアの概略図を示す。ハードウェアは、コンピューティングシステム１２００を備える。この特定の例では、システムのコンポーネントは、共に説明される。しかしながら、これらコンポーネントは、必ずしもコロケートされていないことが理解されよう。

コンピューティングシステム１２００のコンポーネントは、限定はしないが、処理ユニット１２１３（さもなければ「プロセッサ」とも呼ばれる、中央処理ユニット、ＣＰＵ等）と、システムメモリ１２０１と、システムメモリ１２０１を含む様々なシステムコンポーネントを処理ユニット１２１３に結合するシステムバス１２１１と、を含む。システムバス１２１１は、様々なバスアーキテクチャ等のいずれかを使用する、メモリバス又はメモリコントローラ、周辺機器用バス及びローカルバスを含む、いくつかのタイプのバス構造のいずれかであり得る。コンピューティングシステム１２００はまた、システムバス１２１１に接続されたメモリ１２１５を備え得る。メモリ１２１５は、外部メモリであり得る。

システムメモリ１２０１は、揮発性メモリ／又は読み取り専用メモリ（ＲＯＭ）等の不揮発性メモリの形態でコンピュータ記憶媒体を備える。システムメモリ１２０１は、コンピュータ可読命令を記憶し、これは、処理ユニット１２１３（例えば、プロセッサ）によって実行されると、処理ユニット１２１３（「プロセッサ」とも呼ばれる）に、本明細書で説明された機能を実施させ、特に、図２（推論）及び図９（トレーニング）に関連して説明されたように方法を実施する。

システムメモリ１２０１はまた、処理ユニット１２１３によって使用されている、オペレーティングシステム１２０５と、アプリケーションプログラム１２０７と、プログラムデータ１２０９と、を備え得る。一実施形態では、システムメモリ１２０１はまた、スタートアップ中等に、コンピュータ内の要素間での情報の転送に役立つルーチンを含む、基本入出力システム（ＢＩＯＳ）１２０３を備え、これは、典型的に、システムメモリ１２０１に記憶されている。

コンピューティングシステムは、システムバス１２１１に通信可能に接続されているインターフェース１２２５を更に備える。一例では、インターフェース１２２５は、特に他のデバイスから情報を受信し、また他のデバイスに情報を送信するための、ワイヤード接続及び／又はワイヤレス接続を介して通信するための機能を備える。追加又は代替として、インターフェース１２２５は、入力（例えば、シーンの画像）を受け取るためのカメラ入力と、ユーザに場所認識／画像検索の結果を提供するための出力と、を備える。別の例では、インターフェース１２２５は、ユーザがシステムと対話することを可能にする様々な形態でのユーザインターフェースであり得る。例えば、コマンド及び／又は質問を生成し、応答を受信することによってである。

図１２の例では、ビデオインターフェース１２１７が提供される。ビデオインターフェース１２１７は、グラフィックス処理メモリ１２２１に通信可能に接続されているグラフィックス処理ユニット（ＧＰＵ）１２１９を備える。

グラフィックス処理ユニット（ＧＰＵ）１２１９は、データ並列オペレーションへのその適合により、ニューラルネットワークトレーニング等の、機械学習モデルのトレーニングに特に良く適している。したがって、一実施形態では、機械学習モデルをトレーニングするための処理は、ＣＰＵ１２１３とＧＰＵ１２１９との間で分割され得る。

いくつかの実施形態では、異なるハードウェアが、機械学習モデルをトレーニングするため、及び状態更新を行うために使用され得ることに留意されたい。例えば、機械学習モデルのトレーニングは、１つ以上のローカルデスクトップ若しくはワークステーションコンピュータ上で行われ得るか、又はクラウドコンピューティングシステムのデバイス上で行われ得、これは、１つ以上のディスクリートデスクトップ又はワークステーションＧＰＵ、１つ以上のディスクリートデスクトップ又はワークステーションＣＰＵ、例えば、ＰＣ指向のアーキテクチャを有するプロセッサ、及び大容量の揮発性システムメモリ、例えば、１６ＧＢ以上を含み得る。一方で、例えば、機械学習モデルのパフォーマンス（即ち、推論）は、他のハードウェアを使用し得る。

図１２は、本明細書で説明された方法を実施するために使用され得るハードウェアの特定の例を示すが、これは一例に過ぎず、他の配置も使用され得ることが理解されよう。

上述されたように、本明細書で提示された例は、画像検索及び場所認識のために使用され得る。例となるユースケースは、ロボット／自動車／ドローンの位置推定及び／又は制御のための車両位置特定を含む。オプションで、画像は、スマートフォン、カメラ、及び／又はロボットから取得され、方法は、スマートフォン、カメラ、及び／又はロボットによって行われる。本明細書で開示される方法は、オブジェクトダイナミックス及びカメラの動きによって引き起こされる外観変化にロバストである。更なるユースケースは、車載カメラ及びドローンに搭載されたカメラを含み、これらは、様々な回転にさらされる。更に、トレーニングのために抽象データを使用することは、容易な拡張を可能にする。

ある特定の配置が説明されたが、これら配置は、例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書で説明された発明概念は、様々な他の形態で実装され得る。加えて、本明細書で説明された特定の実装形態に対する様々な省略、置換及び変更が、以下の特許請求の範囲において定義される保護の範囲から逸脱することなく行われ得る。

Claims (23)

1. 場所認識のためのコンピュータ実装方法であって、
   第１のシーンの画像を識別する情報を取得することと、ここで、前記画像は複数のピクセルを備え、前記情報はピクセルごとの値を備え、
   前記画像を識別する前記情報における複数のピクセルクラスタを識別することと、前記画像は前記複数のピクセルクラスタにグループ化され、前記複数のピクセルクラスタは、第１のピクセルクラスタと、第２のピクセルクラスタと、を備え、ここで、ピクセルクラスタは１以上のピクセルからなり、
   前記画像を識別する前記情報から、ピクセルクラスタの特徴を数値により示す特徴ベクトルのセットを生成することと、前記特徴ベクトルのセットは、前記第１のピクセルクラスタに関連付けられた第１の特徴ベクトルと、前記第２のピクセルクラスタに関連付けられた第２の特徴ベクトルと、を備え、
   前記第１のシーンのグラフを生成することと、前記グラフは、複数のノードと、ある条件を満たす場合に２つのノードを接続するエッジと、を備え、前記第１のピクセルクラスタを表す第１のノードと、前記第１のノードは、前記第１の特徴ベクトルに関連付けられており、前記第２のピクセルクラスタを表す第２のノードと、前記第２のノードは、前記第２の特徴ベクトルに関連付けられている、を備え、
   前記第１のピクセルクラスタに関連付けられた第１の特性が、前記第２のピクセルクラスタに関連付けられた第２の特性に類似していることが前記条件であり、この条件を満たすと決定することに応答して、前記第１のノードと前記第２のノードとの間に第１のエッジを追加することと、ここで、前記特性は、ピクセルクラスタの座標位置、又はピクセルクラスタに関連付けられたオブジェクトのクラスのラベルであり、前記特性が前記座標位置の場合は２つのピクセルクラスタの座標位置が近いほど２つのピクセルクラスタの特性が類似し、前記特性がクラスの前記ラベルの場合は２つのラベルが同じクラスのグループに属すれば２つのラベルの特性は類似し、
   前記グラフのベクトル表現を生成することと、前記ベクトル表現は、前記ノードと前記エッジとの空間的関係、及びノード間の空間的関係をベクトルにより表し、
   前記グラフの前記ベクトル表現と、参照ベクトル表現との間の類似性の尺度を互いのベクトルにより計算することと、ここにおいて、前記参照ベクトル表現は、第２のシーンに関連付けられており、
   前記類似性の尺度が閾値より小さいと決定することに応答して、前記第１のシーンと前記第２のシーンとが、同じ場所に関連付けられていると決定することと、
   を備え、
   前記グラフの前記ベクトル表現を生成することは、
   第１のノードベクトルを生成することと、ここにおいて、前記第１のノードベクトルは、前記第１のノードに関連付けられており、
   第２のノードベクトルを生成することと、ここにおいて、前記第２のノードベクトルは、前記第２のノードに関連付けられており、
   前記グラフにおける前記第２のノードは、前記第１のエッジによって、前記グラフにおける前記第１のノードに接続されており、前記第１のノードベクトルを生成することは、
   前記第１のノードベクトルを、前記第１の特徴ベクトルに等しく設定することと、
   前記第１のノードベクトル及び前記第２のノードベクトルに基づいて、前記第２のノードと前記第１のノードとの間の第１のメッセージを生成することと、ここで、前記第１のメッセージは、前記第１のノードベクトル及び前記第２のノードベクトルがどの割合で出力されるかを制御し、
   前記第１のノードベクトルの値及び前記第１のメッセージに基づいて、前記第１のノードベクトルを更新することと、
   を備えるコンピュータ実装方法。
2. 前記画像は、複数のピクセルを備え、前記複数のピクセルは、前記第１のピクセルクラスタに関連付けられた第１のセットのピクセルと、を備え、前記特徴ベクトルのセットを生成することは、
   前記第１のセットのピクセルにおける第１のピクセルに関連付けられた第３の特徴ベクトルを生成することと、
   前記第１のセットのピクセルにおける第２のピクセルに関連付けられた第４の特徴ベクトルを生成することと、
   前記第３の特徴ベクトル及び前記第４の特徴ベクトルを総和することによって、前記第１の特徴ベクトルを生成することと、
   を備える、請求項１に記載のコンピュータ実装方法。
3. 前記第１のノードベクトルと前記第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成することと、ここで、前記クエリグラフ表現は、あるシーンのグラフ表現を示す、
   を備える、請求項１又は２に記載のコンピュータ実装方法。
4. 前記第２のノードと前記第１のノードとの間の前記第１のメッセージを生成することは、
   第１の機械学習モデルを使用して、前記第１のノードベクトル及び前記第２のノードベクトルにより決定される第１のセットのゲーティング重みを生成することと、
   前記第１のノードベクトルと前記第１のセットのゲーティング重みとを乗算して、第１のゲーティングされたベクトルを形成することによって、前記第１のノードベクトルをゲーティングすることと、
   第２の機械学習モデルを使用して、前記第１のノードベクトル及び前記第２のノードベクトルにより決定される第２のセットのゲーティング重みを生成することと、
   前記第２のノードベクトルと前記第２のセットのゲーティング重みとを乗算して、第２のゲーティングされたベクトルを形成することによって、前記第２のノードベクトルをゲーティングすることと、
   前記第１のゲーティングされたベクトルと前記第２のゲーティングされたベクトルとの合計に基づいて、前記第１のメッセージを生成することと、
   を備える、請求項３に記載のコンピュータ実装方法。
5. 前記第１のシーンの前記グラフは、第３のピクセルクラスタを表す第３のノードを更に備え、前記第３のノードは、第５の特徴ベクトルに関連付けられており、前記第３のノードは、第２のエッジによって、前記第１のノードに接続されており、
   前記方法は、
   第３のノードベクトルを生成することと、前記第３のノードベクトルは、前記第３のノードに関連付けられており、
   前記第１の機械学習モデルを使用して、前記第１のノードベクトル及び前記第３のノードベクトルにより決定される第３のセットのゲーティング重みを生成し、
   前記第１のノードベクトルと前記第３のセットのゲーティング重みとを乗算して、第３のゲーティングされたベクトルを形成することによって、前記第１のノードベクトルをゲーティングし、
   前記第２の機械学習モデルを使用して、前記第１のノードベクトル及び前記第３のノードベクトルにより決定される第４のセットのゲーティング重みを生成し、
   前記第３のノードベクトルと前記第４のセットのゲーティング重みとを乗算して、第４のゲーティングされたベクトルを形成することによって、前記第３のノードベクトルをゲーティングし、
   前記第３のゲーティングされたベクトルと前記第４のゲーティングされたベクトルとの合計に基づいて、第２のメッセージを生成する、
   ことによって、前記第１のノードベクトル及び前記第３のノードベクトルに基づいて、前記第３のノードと前記第１のノードとの間の前記第２のメッセージを生成することと、
   を更に備え、
   前記第１のノードベクトルの前記値及び前記第１のメッセージに基づいて、前記第１のノードベクトルを更新することは、
   前記第１のノードベクトルの前記値及び前記第１のメッセージと前記第２のメッセージとの合計に基づいて、前記第１のノードベクトルを更新することを備える、
   請求項４に記載のコンピュータ実装方法。
6. 前記第１のノードベクトルの前記値及び前記第１のメッセージに基づいて、前記第１のノードベクトルを更新することは、
   第３の機械学習モデルを使用して、前記第１のノードベクトル及び前記第１のメッセージにより決定される第５のセットのゲーティング重みを生成することと、
   前記第１のノードベクトルと前記第５のセットのゲーティング重みとを乗算して、第５のゲーティングされたベクトルを形成することによって、前記第１のノードベクトルをゲーティングすることと、
   第４の機械学習モデルを使用して、前記第１のノードベクトル及び前記第１のメッセージにより決定される第６のセットのゲーティング重みを生成することと、
   前記第１のメッセージと前記第６のセットのゲーティング重みとを乗算して、第６のゲーティングされたベクトルを形成することによって、前記第１のメッセージをゲーティングすることと、
   前記第５のゲーティングされたベクトルと前記第６のゲーティングされたベクトルとの合計に基づいて、前記第１のノードベクトルを更新することと、
   を備える、請求項４又は５に記載のコンピュータ実装方法。
7. 前記第１のノードベクトルと前記第２のノードベクトルとの前記合計に基づいて、前記クエリグラフ表現を生成することは、
   第５の機械学習モデルを使用して、前記第１のノードベクトルにより決定される第７のセットのゲーティング重みを生成することと、
   第６の機械学習モデルを使用して、前記第１のノードベクトルに基づいて、前記第１のノードベクトルの第１のノード表現を生成することと、
   最終的な第１のノード表現を取得するために、前記第７のセットのゲーティング重みと前記第１のノードベクトルの前記第１のノード表現とを乗算することと、
   前記第５の機械学習モデルを使用して、前記第２のノードベクトルにより決定される第８のセットのゲーティング重みを生成することと、
   前記第６の機械学習モデルを使用して、前記第２のノードベクトルに基づいて、前記第２のノードベクトルの第２のノード表現を生成することと、
   最終的な第２のノード表現を取得するために、前記第８のセットのゲーティング重みと前記第２のノードベクトルの前記第２のノード表現とを乗算することと、
   前記最終的な第１のノード表現と前記最終的な第２のノード表現とを合計することによって、前記クエリグラフ表現を生成することと、
   を備える、請求項３乃至６のいずれか一項に記載のコンピュータ実装方法。
8. 前記第５の機械学習モデル及び前記第６の機械学習モデルは、前記最終的な第１のノード表現及び前記最終的な第２のノード表現が、単一列を有する行列をそれぞれ備えるように、行カーネルを実装する、請求項７に記載のコンピュータ実装方法。
9. 前記クエリグラフ表現を生成することは、
   前記最終的な第１のノード表現と前記最終的な第２のノード表現との合計を決定することと、
   前記クエリグラフ表現を形成するために、前記合計の次元数を削減することと、
   を備える、請求項７又は８に記載のコンピュータ実装方法。
10. 前記第１のノードベクトルを生成することは、
    前記第１のノードベクトルを更新することに応答して、時間値を増分することと、
    前記時間値が時間閾値未満であるかどうかを決定することと、
    前記時間値が前記時間閾値未満であると決定することに応答して、
    前記第１のノードベクトル及び前記第２のノードベクトルに基づいて、前記第２のノードと前記第１のノードとの間の前記第１のメッセージを再生成することと、
    前記第１のノードベクトルの前記値及び前記第１のメッセージに基づいて、前記第１のノードベクトルを更新することと、
    を更に備える、請求項１に記載のコンピュータ実装方法。
11. 前記画像は、正距円筒画像である、請求項１乃至１０のいずれか一項に記載のコンピュータ実装方法。
12. 前記画像を識別する前記情報における前記複数のピクセルクラスタを識別することは、
    前記画像に対してインスタンスセグメンテーションを行うことによって、第１の検出のセットを生成することと、前記第１の検出のセットは、前記第１のピクセルクラスタを備え、
    回転させた画像を形成するために、前記画像を回転させることと、
    前記回転させた画像に対してインスタンスセグメンテーションを行うことによって、第２の検出のセットを生成することと、前記第２の検出のセットは、前記第２のピクセルクラスタを備え、
    前記複数のピクセルクラスタを形成するために、前記第１の検出のセットと前記第２の検出のセットとを組み合わせることと、
    を備える、請求項１１に記載のコンピュータ実装方法。
13. 前記第１の特徴ベクトルは、局所集約記述子のベクトルを使用して表される、請求項１乃至１２のいずれか一項に記載のコンピュータ実装方法。
14. 前記第１のピクセルクラスタに関連付けられた前記第１の特性が、前記第２のピクセルクラスタに関連付けられた前記第２の特性に類似していると決定することは、
    前記第１のピクセルクラスタに関連付けられた第１のセットの３次元座標を決定することと、
    前記第２のピクセルクラスタに関連付けられた第２のセットの３次元座標を決定することと、
    前記第１のセットの３次元座標と前記第２のセットの３次元座標との間の距離を計算することと、
    前記距離が距離閾値より小さいとき、前記第１の特性が前記第２の特性に類似していると決定することと、
    を備える、請求項１乃至１３のいずれか一項に記載のコンピュータ実装方法。
15. 前記第１のピクセルクラスタに関連付けられた第１のセットの３次元座標を決定することは、
    前記第１のピクセルクラスタの深度を推定することと、
    前記深度及び前記画像を識別する前記情報に基づいて、前記第１のセットの３次元座標を生成することと、
    を備える、請求項１４に記載のコンピュータ実装方法。
16. プロセッサによって実行されると、前記プロセッサに、請求項１乃至１５のいずれか一項に記載の方法を実行させるコンピュータプログラム命令を備える非一時的なコンピュータ可読媒体。
17. 場所認識のための装置であって、前記装置は、
    第１のシーンの画像を識別する情報を取得することと、ここで、前記画像は複数のピクセルを備え、前記情報はピクセルごとの値を備え、
    前記画像を識別する前記情報における複数のピクセルクラスタを識別することと、前記画像は前記複数のピクセルクラスタにグループ化され、前記複数のピクセルクラスタは、第１のピクセルクラスタと、第２のピクセルクラスタと、を備え、ここで、ピクセルクラスタは１以上のピクセルからなり、
    前記画像を識別する前記情報から、ピクセルクラスタの特徴を数値により示す特徴ベクトルのセットを生成することと、前記特徴ベクトルのセットは、前記第１のピクセルクラスタに関連付けられた第１の特徴ベクトルと、前記第２のピクセルクラスタに関連付けられた第２の特徴ベクトルと、を備え、
    前記第１のシーンのグラフを生成することと、前記グラフは、複数のノードと、ある条件を満たす場合に２つのノードを接続するエッジと、を備え、前記第１のピクセルクラスタを表す第１のノードと、前記第１のノードは、前記第１の特徴ベクトルに関連付けられており、前記第２のピクセルクラスタを表す第２のノードと、前記第２のノードは、前記第２の特徴ベクトルに関連付けられている、を備え、
    前記第１のピクセルクラスタに関連付けられた第１の特性が、前記第２のピクセルクラスタに関連付けられた第２の特性に類似していることが前記条件であり、この条件を満たすと決定することに応答して、前記第１のノードと前記第２のノードとの間に第１のエッジを追加することと、ここで、前記特性は、ピクセルクラスタの座標位置、又はピクセルクラスタに関連付けられたオブジェクトのクラスのラベルであり、前記特性が前記座標位置の場合は２つのピクセルクラスタの座標位置が近いほど２つのピクセルクラスタの特性が類似し、前記特性がクラスの前記ラベルの場合は２つのラベルが同じクラスのグループに属すれば２つのラベルの特性は類似し、
    前記グラフのベクトル表現を生成することと、前記ベクトル表現は、前記ノードと前記エッジとの空間的関係、及びノード間の空間的関係をベクトルにより表し、
    前記グラフの前記ベクトル表現と、参照ベクトル表現との間の類似性の尺度を互いのベクトルにより計算することと、ここにおいて、前記参照ベクトル表現は、第２のシーンに関連付けられており、
    前記類似性の尺度が閾値より小さいと決定することに応答して、前記第１のシーンと前記第２のシーンとが、同じ場所に関連付けられていると決定することと、
    を行うように構成され、
    前記装置は、前記グラフの前記ベクトル表現を生成するとき、
    第１のノードベクトルを生成することと、ここにおいて、前記第１のノードベクトルは、前記第１のノードに関連付けられており、
    第２のノードベクトルを生成することと、ここにおいて、前記第２のノードベクトルは、前記第２のノードに関連付けられており、
    を行うように更に構成され、
    前記グラフにおける前記第２のノードは、前記第１のエッジによって、前記グラフにおける前記第１のノードに接続されており、前記装置は、前記第１のノードベクトルを生成するとき、
    前記第１のノードベクトルを、前記第１の特徴ベクトルに等しく設定することと、
    前記第１のノードベクトル及び前記第２のノードベクトルに基づいて、前記第２のノードと前記第１のノードとの間の第１のメッセージを生成することと、ここで、前記第１のメッセージは、前記第１のノードベクトル及び前記第２のノードベクトルがどの割合で出力されるかを制御し、
    前記第１のノードベクトルの値及び前記第１のメッセージに基づいて、前記第１のノードベクトルを更新することと、
    を行うように更に構成されている、装置。
18. 前記画像は、複数のピクセルを備え、前記複数のピクセルは、前記第１のピクセルクラスタに関連付けられた第１のセットのピクセルと、を備え、前記装置は、前記特徴ベクトルのセットを生成するとき、
    前記第１のセットのピクセルにおける第１のピクセルに関連付けられた第３の特徴ベクトルを生成することと、
    前記第１のセットのピクセルにおける第２のピクセルに関連付けられた第４の特徴ベクトルを生成することと、
    前記第３の特徴ベクトル及び前記第４の特徴ベクトルを総和することによって、前記第１の特徴ベクトルを生成することと、
    を行うように更に構成されている、請求項１７に記載の装置。
19. 前記装置は、前記グラフの前記ベクトル表現を生成するとき、
    前記第１のノードベクトルと前記第２のノードベクトルとの合計に基づいて、クエリグラフ表現を生成することと、ここで、前記クエリグラフ表現は、あるシーンのグラフ表現を示す、
    を行うように更に構成されている、請求項１７又は１８に記載の装置。
20. 前記装置は、前記第２のノードと前記第１のノードとの間の前記第１のメッセージを生成するとき、
    第１の機械学習モデルを使用して、前記第１のノードベクトル及び前記第２のノードベクトルにより決定される第１のセットのゲーティング重みを生成することと、
    前記第１のノードベクトルと前記第１のセットのゲーティング重みとを乗算して、第１のゲーティングされたベクトルを形成することによって、前記第１のノードベクトルをゲーティングすることと、
    第２の機械学習モデルを使用して、前記第１のノードベクトル及び前記第２のノードベクトルにより決定される第２のセットのゲーティング重みを生成することと、
    前記第２のノードベクトルと前記第２のセットのゲーティング重みとを乗算して、第２のゲーティングされたベクトルを形成することによって、前記第２のノードベクトルをゲーティングすることと、
    前記第１のゲーティングされたベクトルと前記第２のゲーティングされたベクトルとの合計に基づいて、前記第１のメッセージを生成することと、
    を行うように更に構成されている、請求項１９に記載の装置。
21. 前記第１のシーンの前記グラフは、第３のピクセルクラスタを表す第３のノードを更に備え、前記第３のノードは、第５の特徴ベクトルに関連付けられており、前記第３のノードは、第２のエッジによって、前記第１のノードに接続されており、
    前記装置は、
    第３のノードベクトルを生成することと、前記第３のノードベクトルは、前記第３のノードに関連付けられており、
    前記第１の機械学習モデルを使用して、前記第１のノードベクトル及び前記第３のノードベクトルにより決定される第３のセットのゲーティング重みを生成し、
    前記第１のノードベクトルと前記第３のセットのゲーティング重みとを乗算して、第３のゲーティングされたベクトルを形成することによって、前記第１のノードベクトルをゲーティングし、
    前記第２の機械学習モデルを使用して、前記第１のノードベクトル及び前記第３のノードベクトルにより決定される第４のセットのゲーティング重みを生成し、
    前記第３のノードベクトルと前記第４のセットのゲーティング重みとを乗算して、第４のゲーティングされたベクトルを形成することによって、前記第３のノードベクトルをゲーティングし、
    前記第３のゲーティングされたベクトルと前記第４のゲーティングされたベクトルとの合計に基づいて、第２のメッセージを生成する、
    ことによって、前記第１のノードベクトル及び前記第３のノードベクトルに基づいて、前記第３のノードと前記第１のノードとの間の前記第２のメッセージを生成することと、
    を行うように更に構成されており、
    前記第１のノードベクトルの前記値及び前記第１のメッセージに基づいて、前記第１のノードベクトルを更新することは、前記第１のノードベクトルの前記値及び前記第１のメッセージと前記第２のメッセージとの合計に基づいて、前記第１のノードベクトルを更新することを備える、
    請求項２０に記載の装置。
22. 場所認識のためにグラフマッチングネットワークをトレーニングするためのコンピュータ実装方法であって、ここにおいて、前記グラフマッチングネットワークは、請求項４又は５に記載のコンピュータ実装方法に使用される前記第１の機械学習モデル又は前記第２の機械学習モデル、請求項６に記載のコンピュータ実装方法に使用される前記第３の機械学習モデル又は前記第４の機械学習モデル、又は、請求項７に記載のコンピュータ実装方法に使用される前記第５の機械学習モデル又は前記第６の機械学習モデル、のうちのいずれか１つの機械学習モデルを備え、前記グラフマッチングネットワークをトレーニングするためのコンピュータ実装方法は、
    トレーニングトリプレットを取得することと、前記トレーニングトリプレットは、クエリグラフと、ポジティブグラフと、ネガティブグラフと、を備え、
    前記１つの機械学習モデルを使用して、前記クエリグラフのクエリベクトル表現を生成することと、
    前記１つの機械学習モデルを使用して、前記ポジティブグラフのポジティブベクトル表現を生成することと、
    前記１つの機械学習モデルを使用して、前記ネガティブグラフのネガティブベクトル表現を生成することと、
    前記クエリベクトル表現と前記ポジティブベクトル表現との間の第１の類似性を決定することと、
    前記クエリベクトル表現と前記ネガティブベクトル表現との間の第２の類似性を決定することと、
    前記第１の類似性及び前記第２の類似性に基づいて、トリプレット損失を生成することと、
    前記トリプレット損失に基づいて、前記１つの機械学習モデルをトレーニングすることと、
    を備える、コンピュータ実装方法。
23. 前記トリプレット損失に基づいて、前記１つの機械学習モデルをトレーニングすることは、
    誤差逆伝播法及び勾配降下法を使用して、前記１つの機械学習モデルの重みを決定すること
    を備える、請求項２２に記載のコンピュータ実装方法。