JP6830561B1 - 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム - Google Patents

Abstract

【課題】物の写真および物の平面図に関係する情報を処理することを可能とする情報処理装置等を提供する。【解決手段】学習済みモデルと、物の写真および物の平面図とに基づいて、物の平面図における物の写真が撮影された撮影位置と撮影方向を推定する情報処理装置が提供される。一態様において、物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。一態様において、情報処理装置における制御部が物の写真におけるｃｈａｎｎｅｌ方向のベクトルに圧縮した情報とｗｉｄｔｈ方向のベクトルに圧縮した情報とを抽出し、これと物の平面図を圧縮した情報とをコンカットすることで、両者を対応付ける。【選択図】図７

Description

本発明は、情報処理装置、情報処理方法、情報処理システム、情報処理プログラムに関する。一例として、不動産物件の「部屋写真」および「間取り図」に関連する情報を処理することを可能とする情報処理装置、情報処理方法、情報処理システム、情報処理プログラムに関する。

不動産の物件案内には、通常、当該不動産の平面図としての間取り図が掲載されており、加えて、特定の部屋や設備に関してはそれらを撮影した写真が掲載されることがある。従来は、不動産物件の部屋写真（たとえば、廊下、居間、洋室、キッチン、トイレ、玄関、ベランダなどの写真）を撮影した場合、その写真と、間取り図との対応関係（たとえば、どの場所から撮影したものであるのか、どの方向に向かって撮影したものであるのか等）については、不動産業者等において手動で入力を行っていた。

Ｎａｍ Ｖｏ ｅｔ ａｌ． ＣＶＰＲ２０１９， Ｃｏｍｐｏｓｉｎｇ Ｔｅｘｔ ａｎｄ Ｉｍａｇｅ ｆｏｒ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ − Ａｎ Ｅｍｐｉｒｉｃａｌ Ｏｄｙｓｓｅｙ （ａｒＸｉｖ：１８１２．０７１１９） Ｓｈｕａｉ Ｌｉａｏ ｅｔ ａｌ． ＣＶＰＲ ２０１９， Ｓｐｈｅｒｉｃａｌ Ｒｅｇｒｅｓｓｉｏｎ： Ｌｅａｒｎｉｎｇ Ｖｉｅｗｐｏｉｎｔｓ， Ｓｕｒｆａｃｅ Ｎｏｒｍａｌｓ ａｎｄ ３Ｄ Ｒｏｔａｔｉｏｎｓ ｏｎ ｎ−Ｓｐｈｅｒｅｓ （ａｒＸｉｖ：１９０４．０５４０４）

上記のとおり、物件の部屋写真については、従来から、物件案内等において掲載され、当該写真がどの場所ないし部屋の写真なのかを説明する物件説明が記載されてきた。しかしながら、現在までにその撮影位置や撮影方向の入力について自動化の試みは、（本発明者ら以外においては）奏功していない。その主な理由は、建築図面である間取り図と、不動産の部屋等の現物を撮影した部屋写真とが、全く異なる次元の図であるためであった。たとえば、図１と図２を参照する。図１はいわゆる間取り図（フロアデザイン）の一例であり、図１の物件では玄関正面に収納があり、玄関からは、トイレと１０．９畳のＬＤＫ（リビングダイニングキッチン）に入室することができる。ＬＤＫ（リビングダイニングキッチン）には、キッチンが配置され、図面右手方向の６．７畳洋室と、図面左手方向の５．４畳の洋室に隣接している。都合２部屋とＬＤＫが存在することになる。他方、図２は、デジタルカメラによって撮影した図１に示す物件内部の写真である。間取り図（フロアデザイン）とは次元も視点も異なる図である。

図１に、当該写真の撮影位置と撮影方向を矢印で記載した。人間が観察すれば、正面にキッチンがあり、右手方向に扉が複数位置していることなどが分かるが、このような撮影位置と撮影方向の特定は、コンピュータで精度良く自動的に入力することができなかったため、不動産会社等において人が推測し、手作業で入力するほかなかった。このような課題を発見した本件発明者らは、これらの課題を解決することのできる、より利便性の高い、不動産物件の間取り図および部屋写真の情報処理に係る情報処理装置、当該情報処理装置を用いた情報処理方法、当該情報処理装置を含む情報処理システム、コンピュータを当該情報処理装置として動作させる情報処理プログラムが求められることを認識し、本件発明に至ったものである。なお、その際、非特許文献１ないし２のような画像の認識に係る先行技術文献に接したものの、これらの文献に記載の技術では、本課題を解決することはできなかった。

本発明の一実施形態においては、記憶部（発明の詳細な説明における記憶部３３に対応する）と制御部（発明の詳細な説明における制御部３２に対応する）とを有する情報処理装置（発明の詳細な説明における情報処理装置３に対応する）であって、前記記憶部は、第１のＮ個の物の情報（発明の詳細な説明における、学習モデルの部屋に関する情報に対応する）と、前記第１のＮ個の物それぞれを撮影した１以上の写真（発明の詳細な説明における、学習モデルの部屋写真に対応する）との対応関係に基づいた学習済モデルを記憶し、前記制御部が、前記学習済みモデルと、前記Ｎ個の物と異なる第２の物の写真（発明の詳細な説明における、推定対象であるところの部屋写真に対応する）および該第２の物の平面図（発明の詳細な説明における、推定対象であるところの部屋写真に対応した間取り図に対応する）とに基づいて、前記第２の物の平面図における前記第２の物の写真が撮影された撮影位置と撮影方向を推定する、情報処理装置が提供される。

上記構成を備える情報処理装置は、学習済みモデルを用いて、物の写真が撮影された撮影位置と撮影方向を物の平面図において推定することが可能である。

本発明の一実施形態においては、記憶部（発明の詳細な説明における記憶部３３に対応する）と制御部（発明の詳細な説明における制御部３２に対応する）とを有する情報処理装置（発明の詳細な説明における情報処理装置３に対応する）における情報処理方法であって、前記記憶部が、第１のＮ個の物の情報（発明の詳細な説明における、学習モデルの部屋に関する情報に対応する）と、前記第１のＮ個の物それぞれを撮影した１以上の写真（発明の詳細な説明における、学習モデルの部屋写真に対応する）との対応関係に基づいた学習済モデルを記憶し、前記制御部が、前記学習済みモデルと、前記Ｎ個の物と異なる第２の物の写真（発明の詳細な説明における、推定対象であるところの部屋写真に対応する）および該第２の物の平面図（発明の詳細な説明における、推定対象であるところの部屋写真に対応した間取り図に対応する）とに基づいて、前記第２の物の平面図における前記第２の物の写真が撮影された撮影位置と撮影方向を推定する、情報処理方法が提供される。

上記構成を備える情報処理方法は、コンピュータにより、学習済みモデルを用い、物の写真が撮影された撮影位置と撮影方向を物の平面図において推定することを可能とする。

本発明の一実施形態においては、コンピュータを、記憶部（発明の詳細な説明における記憶部３３に対応する）と制御部（発明の詳細な説明における制御部３２に対応する）とを有する情報処理装置（発明の詳細な説明における情報処理装置３に対応する）であって、前記記憶部は、第１のＮ個の物の情報（発明の詳細な説明における、学習モデルの部屋に関する情報に対応する）と、前記第１のＮ個の物それぞれを撮影した１以上の写真（発明の詳細な説明における、学習モデルの部屋写真に対応する）との対応関係に基づいた学習済モデルを記憶し、前記制御部が、前記学習済みモデルと、前記Ｎ個の物と異なる第２の物の写真（発明の詳細な説明における、推定対象であるところの部屋写真に対応する）および該第２の物の平面図（発明の詳細な説明における、推定対象であるところの部屋写真に対応した間取り図に対応する）とに基づいて、前記第２の物の平面図における前記第２の物の写真が撮影された撮影位置と撮影方向を推定する情報処理装置として機能させる、情報処理プログラムが提供される。

上記構成を備える情報処理プログラムは、コンピュータを、学習済みモデルを用い、物の写真が撮影された撮影位置と撮影方向を物の平面図において推定する装置として利用することを可能とする。

本発明の一実施形態においては、情報処理装置（発明の詳細な説明における情報処理装置３に対応する）を含む情報処理システムであって、該情報処理装置は記憶部（発明の詳細な説明における記憶部３３に対応する）と制御部（発明の詳細な説明における制御部３２に対応する）とを有し、前記記憶部は、第１のＮ個の物の情報（発明の詳細な説明における、学習モデルの部屋に関する情報に対応する）と、前記第１のＮ個の物それぞれを撮影した１以上の写真（発明の詳細な説明における、学習モデルの部屋写真に対応する）との対応関係に基づいた学習済モデルを記憶し、前記制御部が、前記学習済みモデルと、前記Ｎ個の物と異なる第２の物の写真（発明の詳細な説明における、推定対象であるところの部屋写真に対応する）および該第２の物の平面図（発明の詳細な説明における、推定対象であるところの部屋写真に対応した間取り図に対応する）とに基づいて、前記第２の物の平面図における前記第２の物の写真が撮影された撮影位置と撮影方向を推定する、情報処理システムが提供される。当該情報処理システムはさらに、上記情報処理装置にインターネット回線等を通じてアクセス可能な端末を含みうる。

上記構成を備える情報処理システムは、コンピュータにおいて、学習済みモデルを用い、物の写真が撮影された撮影位置と撮影方向を物の平面図において推定することを可能とし、システムが端末を含む場合にあっては、該撮影位置と撮影方向の推定の結果を該端末において把握させることを可能とする。

本発明の一実施形態において、前記撮影位置と撮影方向を推定することは、前記制御部が、前記学習済みモデルに基づいて前記第２の物の写真を圧縮して該第２の物の写真におけるオブジェクトの内容と位置からなる特徴を認識し、前記第２の物の平面図におけるオブジェクトの内容と位置からなる特徴と対照することを特徴としてもよい。

上記構成を備えることにより、撮影位置および撮影方向の推定の演算量を減少させ、本発明出願当時の通常のサーバ装置においても十分な正確性をもって撮影位置および撮影方向の推定を行うことを可能とする。

本発明の一実施形態において、前記第２の物の写真におけるオブジェクトの内容と位置からなる特徴を認識することは、前記制御部が前記第２の物の写真におけるｃｈａｎｎｅｌ方向のベクトルに圧縮した情報とｗｉｄｔｈ方向のベクトルに圧縮した情報とを抽出することを特徴としてもよい。

上記構成を備えることにより撮影位置および撮影方向の推定の正確性を向上させることが可能となる。

本発明の一実施形態において、前記対照することは、前記制御部が前記第２の物の写真における前記ｃｈａｎｎｅｌ方向のベクトルに圧縮した情報と前記ｗｉｄｔｈ方向のベクトルに圧縮した情報とを、それぞれ前記第２の物の平面図を圧縮した情報と２回以上コンカットすることを特徴としてもよい。

上記構成を備えることにより撮影位置および撮影方向の推定の正確性を向上させることが可能となる。

本発明の一実施形態において、前記対照することは、さらに、前記制御部が前記コンカットの結果を、前記撮影位置を推定するためのヒートマップ（たとえば、２次元のヒートマップ）と、前記撮影方向を推定するためのヒートマップ（たとえば、１次元のヒートマップ）とを出力して評価することを含むことを特徴としてもよい。

上記構成を備えることにより撮影位置および撮影方向の推定の正確性を向上させることが可能となる。

本発明の一実施形態において、前記コンカットは、前記制御部が前記第２の物の写真における前記ｃｈａｎｎｅｌ方向のベクトルに圧縮した情報と前記ｗｉｄｔｈ方向のベクトルに圧縮した情報とを、ぞれぞれ、前記第２の物の平面図の幅方向および高さ方向に基づいて１以上複製し、当該複製した情報に基づいて前記第２の物の平面図を圧縮した情報とコンカットすることを特徴としてもよい。

上記構成を備えることにより、写真のｃｈａｎｎｅｌ方向のベクトルに圧縮した情報とｗｉｄｔｈ方向のベクトルに圧縮した情報とを分けて平面図と対応付けることができ、もって正確性を向上させることが可能としてもよい。

本発明の一実施形態において、前記第１のＮ個の物の情報は、Ｎ個の不動産物件の情報（たとえば、部屋内容、部屋情報、部屋内の物体の情報、間取りの内容に関する情報）であってもよく、また、前記第１のＮ個の物それぞれを撮影した１以上の写真は、該不動産物件の１以上の第１の部屋写真であってもよく、また、前記第２の物の平面図は、第２の間取り図であってもよく、また、前記第２の物の写真は、第２の部屋写真であってもよい。

上記構成を備えることにより、所定の部屋の間取り図における部屋写真（たとえば、パノラマ画像）が撮影された撮影位置と撮影方向を推定することが可能となる。

本発明の一実施形態においては、制御部を有し、物の平面図と該物の写真との対応付けを行う情報処理装置であって、前記制御部が、前記平面図の３次元特徴量と、前記写真から抽出されたｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量およびｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量とを、前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットする、情報処理装置が提供される。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。

上記構成を備えた情報処理装置により、３次元特徴量と１次元特徴量とを対応付ける際に、３次元特徴量の有する情報を失うことなく対応付けることが可能となる。

本発明の一実施形態においては、制御部を有する情報処理装置における、物の平面図と該物の写真との対応付けを行う情報処理方法であって、前記制御部が、前記平面図の３次元特徴量と、前記写真から抽出されたｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量およびｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量とを、前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットする、情報処理方法が提供される。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。

上記構成を備えた情報処理方法により、３次元特徴量と１次元特徴量とを対応付ける際に、３次元特徴量の有する情報を失うことなく対応付けることが可能となる。

本発明の一実施形態においては、コンピュータを、物の平面図と該物の写真との対応付けを行う制御部を有する情報処理装置であって、前記制御部が、前記平面図の３次元特徴量と、前記写真から抽出されたｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量およびｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量とを、前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットしてする、情報処理装置として動作させるコンピュータプログラムが提供される。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。

上記構成を備えた情報処理プログラムにより、情報処理装置において、３次元特徴量と１次元特徴量とを対応付ける際に、３次元特徴量の有する情報を失うことなく対応付けることが可能となる。

本発明の一実施形態においては、物の平面図と該物の写真との対応付けを行う制御部を有する情報処理装置を含む情報処理システムであって、前記制御部が、前記平面図の３次元特徴量と、前記写真から抽出されたｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量およびｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量とを、前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットしてする、情報処理システムが提供される。当該情報処理システムはさらに、上記情報処理装置にインターネット回線等を通じてアクセス可能な端末を含みうる。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。

上記構成を備えた情報処理システムにより、情報処理装置において、３次元特徴量と１次元特徴量とを対応付ける際に、３次元特徴量の有する情報を失うことなく対応付けることが可能となる。

本発明の一実施形態においては、制御部を有し、物の平面図と当該物の写真との対応付けを行う情報処理装置であって、前記制御部が、前記平面図の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元または２次元のヒートマップとして出力して前記対応付けを行う、情報処理装置が提供される。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。本発明の別の実施形態においては、制御部を有し、物（変形例２における「端末装置５」に対応する。）の周囲情報（変形例２における「周囲画像」に対応する。）と当該物から撮影された写真との対応付けを行う（変形例２における「端末装置５の現在の向きを計算」することに対応する）情報処理装置であって、前記制御部が、前記周囲情報の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元のヒートマップとして出力して前記対応付けを行う、情報処理装置が提供される。

上記構成を備えた情報処理装置により、平面図（または周囲情報ないし周囲画像）と写真とを対応付ける際に、正確性を向上させることが可能となる。

本発明の一実施形態においては、制御部を有し、物の平面図と当該物の写真との対応付けを行う情報処理装置における情報処理方法であって、前記制御部が、前記平面図の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元または２次元のヒートマップとして出力して前記対応付けを行う、情報処理方法が提供される。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。本発明の別の実施形態においては、制御部を有し、物（変形例２における「端末装置５」に対応する。）の周囲情報（変形例２における「周囲画像」に対応する。）と当該物から撮影された写真との対応付けを行う（変形例２における「端末装置５の現在の向きを計算」することに対応する）情報処理装置における情報処理方法であって、前記制御部が、前記周囲情報の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元のヒートマップとして出力して前記対応付けを行う、情報処理方法が提供される。

上記構成を備えた情報処理方法により、平面図（または周囲情報ないし周囲画像）と写真とを対応付ける際に、正確性を向上させることが可能となる。

本発明の一実施形態においては、コンピュータを、制御部を有し、物の平面図と当該物の写真との対応付けを行う情報処理装置であって、前記制御部が、前記平面図の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元または２次元のヒートマップとして出力して前記対応付けを行う、情報処理装置として動作させるコンピュータプログラムが提供される。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。本発明の別の実施形態においては、コンピュータを、制御部を有し、物（変形例２における「端末装置５」に対応する。）の周囲情報（変形例２における「周囲画像」に対応する。）と当該物から撮影された写真との対応付けを行う（変形例２における「端末装置５の現在の向きを計算」することに対応する）情報処理装置であって、前記制御部が、前記周囲情報の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元のヒートマップとして出力して前記対応付けを行う、情報処理装置として動作させるコンピュータプログラムが提供される。

上記構成を備えた情報処理プログラムにより、情報処理装置において平面図（または周囲情報ないし周囲画像）と写真とを対応付ける際に、正確性を向上させることが可能となる。

本発明の一実施形態においては、物の平面図と該物の写真との対応付けを行う制御部を有する情報処理装置を含む情報処理システムであって、前記制御部が、前記平面図の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元または２次元のヒートマップとして出力して前記対応付けを行う、情報処理システムが提供される。当該情報処理システムはさらに、上記情報処理装置にインターネット回線等を通じてアクセス可能な端末を含みうる。本発明の一実施形態において、前記物の平面図は、不動産物件の間取り図であり、前記物の写真は、部屋写真であってもよい。本発明の別の実施形態においては、撮影手段を備えた端末（変形例２における「端末装置５」に対応する。）と、当該端末の周囲情報（変形例２における「周囲画像」に対応する。）および当該端末から撮影された写真を対応付ける（変形例２における「端末装置５の現在の向きを計算」することに対応する）制御部を有する情報処理装置と、を含む情報処理システムであって、前記制御部が、前記周囲情報の特徴量と、前記写真から抽出された特徴量とをコンカットして対照し、該対照結果を１次元のヒートマップとして出力して前記対応付けを行う、情報処理システムが提供される。

上記構成を備えた情報処理システムにより、情報処理装置において平面図（または周囲情報ないし周囲画像）と写真とを対応付ける際に、正確性を向上させることが可能となる。

本発明の一実施形態において、推定された撮影位置と撮影方向は、間取り図上において矢印等のマークを用いて表示されても良く、ユーザ端末装置における入力部の操作（たとえば、当該マークを選択すること）によって、対応する部屋写真を表示できるようにしても良い。

本発明の一実施形態において、情報処理装置は、推定された撮影位置と撮影方向を用いて、ユーザ端末装置に対し、不動産物件の自動的及び／又はインタラクティブなツアーを提供するバーチャルツアーを提供する。バーチャルツアーでは、当該バーチャルツアーにおいて訪問される間取り図における特定の部屋（位置）における、対応するパノラマ画像によって提供され、ユーザからの方角（撮影方向）を変更する信号を受信することで撮影方向が異なるパノラマ画像を提供することもできる。

本発明の一実施形態において、記憶部を有し、第１の情報と第２の情報とを対応付ける情報処理装置であって、前記第１の情報から得た３次元特徴量と、前記第２の情報から得た第１の１次元特徴量（たとえば、ｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量）および第２の１次元特徴量（たとえば、ｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量）とを前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットして前記第１の情報と前記第２の情報との前記対応付けを行う、情報処理装置が提供される。

上記構成を有する情報処理装置によれば、２つの入力の特徴量の次元が異なる場合の情報処理（コンカット）を行う情報処理装置を提供することができる。

本発明の一実施形態において、コンピュータを、制御部を有し、前記制御部が、第１の情報の３次元特徴量と、前記第２の情報から得た第１の１次元特徴量（たとえば、ｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量）および第２の１次元特徴量（たとえば、ｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量）とを前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットして前記第１の情報と前記第２の情報との対応付けを行う情報処理装置として動作させる、コンピュータプログラムが提供される。

上記構成を有するコンピュータプログラムによれば、２つの入力の特徴量の次元が異なる場合の情報処理（コンカット）を行うことのできるコンピュータプログラムを提供することができる。

本発明の一実施形態において、制御部を有する情報処理方法であって、前記制御部において、第１の情報の３次元特徴量と、第２の情報から得た第１の１次元特徴量（たとえば、ｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量）および第２の１次元特徴量（たとえば、ｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量）とを前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットして前記第１の情報と前記第２の情報との対応付けを行う、情報処理方法が提供される。

上記構成を有する情報処理方法によれば、２つの入力の特徴量の次元が異なる場合の情報処理（コンカット）を行うことのできる、情報処理装置における情報処理方法を提供することができる。

本発明の一実施形態において、制御部を有する情報処理装置を含む情報処理システムであって、前記制御部において、第１の情報の３次元特徴量と、第２の情報から得た第１の１次元特徴量（たとえば、ｃｈａｎｎｅｌ方向のベクトルに圧縮した１次元特徴量）および第２の１次元特徴量（たとえば、ｗｉｄｔｈ方向のベクトルに圧縮した１次元特徴量）とを前記各１次元特徴量を前記３次元特徴量の幅方向および高さ方向に１以上複製してコンカットして前記第１の情報と前記第２の情報との対応付けを行う、情報処理システムが提供される。

上記構成を有する情報処理システムによれば、２つの入力の特徴量の次元が異なる場合の情報処理（コンカット）を行うことのできる情報処理装置を構成要素とする情報処理システムを提供することができる。

本発明の一態様によれば、物の平面図における、当該物の写真の撮影位置および撮影方向の推定が可能となる。たとえば、不動産（物件）のパノラマ画像と間取り図を入力にして、撮影位置と撮影方向の推定が可能となる。

図１は、間取り図画像の一例を示す図である。 図２は、デジタルカメラで撮影された、図１に示す部屋の部屋写真（パノラマ写真）の一例を示す図である。 図３は、情報処理装置３（サーバ）の構成の一例を示す図である。 図４は、情報処理装置３（サーバ）とインターネット４とユーザ端末装置５とを含む情報処理システム１の構成の一例を示す図である。 図５は、ユーザ端末装置の構成の一例を示す図である。 図６は、本発明の一実施形態に係る情報処理ステップの事前ステップを示すための図である。具体的には、記憶部３３が学習済みモデルＧを記憶するまでのステップの一例を示したものである。 図７は、本発明の一実施形態に係る情報処理ステップを示すための図である。 図８は、本発明の一実施形態に係る情報処理ステップを補足説明するための図である。具体的には、部屋写真（たとえばパノラマ画像）からｗｉｄｔｈ方向の情報を抽出する場合のステップに関する説明である。 図９は、本発明の一実施形態に係る情報処理ステップを補足説明するための図である。具体的には、部屋写真（たとえばパノラマ画像）からｗｉｄｔｈ方向の情報を抽出する場合のステップに関する説明である。図８において、部屋写真において対象となるべきオブジェクト位置に網掛けをして表示したものである。 図１０は、本発明の一実施形態に係る情報処理ステップを補足説明するための図である。具体的には、１階のテンソル情報（ｃｈａｎｎｅｌ方向の情報および／またはｗｉｄｔｈ方向の情報）と、３階のテンソル情報（間取り図の情報）をコンカットする際に、３階のテンソル情報が保有する空間情報を失うことなくコンカットを行うことを可能とする手法に関する。

本発明の一実施形態を説明するフローチャートは、プロセスステップを意味しており、当該特定の例のみに限定されることなく、代替の実施態様を許容するものである。また、本明細書の明示の記載に反しない限りにおいて、プロセスステップは本明細書における特定の説明と異なる順序で実行することを許容するものである。このように、本発明の趣旨及び範囲から逸脱することなく本実施形態に対しては種々の変更を行うことができる。以下、本明細書においては、所定の部屋の「間取り図（画像）」と当該部屋の「部屋写真」を例にとって情報処理装置ないしは情報処理装置における情報処理内容を説明する。

［物体の認識］
近時、物体の認識について、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、画像のクラス分類（画像認識）だけでなく、物体の位置や大きさの検出（物体検出）や形状の抽出（領域抽出）にも用いられ、例えば、物体検出には、リージョンＣＮＮであるＲ−ＣＮＮ（さらに、Ｆａｓｔｅｒ Ｒ−ＣＮＮ）、Ｙｏｌｏなどが、領域抽出にはＳｅｇＮｅｔや画像のセグメンテーションを推定するＵ−Ｎｅｔ（Ｕ字型の畳み込みネットワーク）などのニューラルネットワークが用いられるようになってきている。

たとえば、Ｒ−ＣＮＮでは、ある矩形が物体なのか背景なのかを学習し、検出した場所に具体的に何が写っているのかを学習する。また、Ｕ−Ｎｅｔ（Ｕ字型の畳み込みネットワーク）では物体の「局所的特徴」と「全体的位置情報」の両方を統合して学習する。本発明ではこれらの既存技術、非特許文献１および２に記載の技術を用いる際、これらの既存技術に対する詳細な説明自体は省略し、それらの技術内容を参照により本明細書に組み込むものとする。

［ハードウェア］
本発明の実施形態に係るハードウェアの基本的な構成を説明する。まず、情報処理装置３は、サーバを念頭に置いているが、たとえば、スマートフォンやタブレット端末などのモバイル端末、ノートブックコンピュータ、デスクトップコンピュータなどの電子機器であってもよい。情報処理装置３は、物理的な演算装置（ＣＰＵおよび／またはＧＰＵ、図示せず）、一時的な作業内容を記憶しておく作業メモリ（ＲＡＭ、図示せず）等、情報処理装置として必須の物理的構成を備えている。

図３に示すように、情報処理装置３は、通信部３１を有する。通信部３１は、インターネット等のネットワークを介して外部と通信可能に接続されている。なお、ネットワークは、有線回線、無線回線を問わない接続方法によるインターネットや、イーサネット（登録商標）等を利用したローカルエリアネットワーク等の公知のネットワーク接続方法を用いることができる。

情報処理装置３は、画像データの処理等を行う制御部３２を更に有する。本明細書において「制御部」として説明するものは、ＣＰＵおよび／またはＧＰＵによって対応するプログラムが読みだされ、ＣＰＵおよび／またはＧＰＵによって実行される機能を意味する。制御部３２は、情報処理装置３内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

情報処理装置は、記憶部３３を更に有する。記憶部３３には、制御部３２が取り扱う各種データが記憶される。記憶部３３は、たとえば内蔵ハードディスクドライブ、内臓ソリッドステートドライブ、外部データストレージ（たとえば外付けハードディスクドライブ、サーバ用テープドライブ等）などのデータストレージであり、場合によってはクラウドストレージなどのデータストレージであってもよい。その意味で、本発明は、制御部３２と記憶部３３とは別の情報処理装置を用いるという態様を許容する。

なお、情報処理装置３はさらに入力部、表示部を備えていてもよい（図示せず）が、これらは必須の構成ではない。たとえば、入力部は情報を入力するためのインターフェースであり、モバイル端末におけるタッチパネルやマイクロフォン、ノートブックコンピュータないしデスクトップコンピュータなどにおけるタッチパッド、キーボードまたはマウスなどである。表示部は情報処理装置３の使用者に対して各種情報を表示するインターフェースであり、たとえば液晶ディスプレイ、ヘッドマウントディスプレイ等の映像表示手段である。

［端末装置５］
本情報処理システムは、ユーザ端末装置５をさらに含んでも良い（図４）。ユーザ端末装置５（端末５ａおよび端末５ｂ）は、ユーザが入出力するためのクライアント端末を意味する。たとえば、スマートフォンやタブレット端末などのモバイル端末、ノートブックコンピュータ、デスクトップコンピュータ、ワークステーションなどの電子機器であってもよい。これらのユーザ端末装置５と情報処理装置３とは、ネットワーク４を介して接続される。なお、変形例２においては、端末装置５はカメラを搭載したロボットやカメラを搭載した自動運転車であるが、これも、情報処理装置３にネットワーク４を通じてアクセスすることができるクライアント端末の一例であることに変わりはない。

図５は、ユーザ端末装置５の構成の一例を示す図である。図５に示すように、端末装置５は、（端末）通信部５１と、（端末）制御部５２と、（端末）記憶部５３と、（端末）入力部５４と、（端末）表示部５５とを有し、各部は、バスを介して互いに通信可能に接続されている。以下、ユーザ端末装置５の各部については、情報処理装置３における各部と区別するために、端末通信部５１などと、頭に「端末」を付して説明する。

端末通信部５１は、ユーザ端末装置５とネットワーク４との間の通信インターフェースである。端末通信部５１は、ネットワーク４を介して端末装置５と情報処理装置３との間で情報を送受信することができる。

端末制御部５２は、端末装置５の各種処理を行う制御手段である。端末制御部５２は、端末装置５内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

端末記憶部５３は、たとえば内蔵メモリや外部メモリ（ＳＤメモリカード等）などのデータストレージである。端末記憶部５３には、端末制御部５２が取り扱う各種データが記憶される。

端末入力部５４は、ユーザが端末装置５に情報を入力するためのインターフェースであり、たとえばモバイル端末におけるカメラ（ＣＣＤカメラやＣＭＯＳカメラ）、タッチパネルやマイクロフォン、ノートブックコンピュータにおけるタッチパッド、キーボードまたはマウスなどである。なお、端末装置５がロボットないし自動運転車である変形例２においては、端末入力部５４としてカメラが必須の構成となる。

端末表示部５５は、端末装置５からユーザに対して各種情報を表示するインターフェースであり、たとえば液晶ディスプレイ等の映像表示手段である。具体的には、たとえば、端末表示部５５は、ユーザからの操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示してもよい。なお、端末装置５がロボットないし自動運転車である変形例２においては、端末表示部５５は不要である。

［間取り図］
間取り図画像（以下、単に「間取り図」とも称する。）は、建物における部屋（複数の場合もあり得る。）の配置の図（たとえば、平面図）であり、通常は、一律の縮尺で描かれている。不動産小売業者、建築家、不動産仲介業者、不動産情報業者等によって用いられる様々なタイプ又はスタイルの間取り図がある。通常は部屋の平面的な形状のみならず、部屋内の一定の物体（たとえば、扉、扉の開閉方向、キッチン、トイレ、バスタブ、床暖房の位置など）の位置と種類が、一定のルールで記載されている。間取り図画像は、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＢＭＰ、ＰＮＧ等を含む任意の画像フォーマットのものとすることができる。

［部屋写真］
本発明において「部屋写真」は、部屋内部ないしは建物内部の空間を撮影したカラー、グレースケールまたはモノクロ等の写真を意味するものとする。部屋写真は、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＢＭＰ、ＰＮＧ等を含む任意の画像フォーマットのものとすることができる。

本発明の一実施形態において部屋写真はパノラマ画像であることを想定しており、本発明において「パノラマ画像」とは、不動産物件内の内部ロケーションにある１以上の物体をキャプチャーすることが可能な広視野を有する任意の画像を意味するものとする。

本実施形態では、部屋内部ないしは建物内部の空間を撮影した画像（部屋写真１０）は、画角３６０度のパノラマ画像であることを想定しており、かかる画角が本発明に最も好適である。もっとも、パノラマ画像は、水平方向に３６０度未満の視野を有することもできる。また、理論上は、本発明の部屋画像１０として、たとえば２７０度、１８０度又はそれ未満のようにより狭い視野の画像を用いることもできる。本明細書において以下、パノラマ画像及び部屋写真という用語は区別なく用いられ得る。すなわち、部屋、又は建物内の空間を撮影した画角３６０度の画像を、単に「部屋写真」とも称するものとする。

［学習済みモデル］
本発明においては、事前に推定を行う画像等に関する学習（重みの自動調整）をさせたデータ（「学習済みモデル」）を記憶部３３に記憶することになる。たとえば、本発明の一実施形態では、事前に、パノラマ画像を入力とした部屋の種類を推定するタスクを畳み込みニューラルネットワークにより学習させ、その結果得られる学習済みモデルを記憶部３３に記憶しておく（図６：「事前ステップ」）。学習は、情報処理装置３の制御部３２において行われてもよいが、他の情報処理装置において行われ、情報処理装置３の記憶部３３に記憶されてもよい。

一例において学習セットは、部屋写真（間取り図１枚に対して部屋写真は複数枚であってもよい）と当該部屋の情報（部屋の種類）のセットであり、その学習方法ないし畳み込みニューラルネットワークの構成については、本明細書の他の記載により制限される他には特に制限はなく、非特許文献１に記載の手法などを含む、標準的な深層学習（たとえば、標準的な距離学習）を用いることができる。ここで、本発明において距離学習とは、対応すると判明しているアイテム同士を近くに、対応しないと分かっているアイテム同士を遠くにマッピングするようなニューラルネットの学習方法一般を意味する。たとえば、対応するペアの特徴量のベクトルが小さくなるように重みパラメータの自動調整（学習）を行い、対応しないペアの特徴量のベクトルの距離は大きくなるように重みパラメータの自動調整を行ってもよい。一例として、コントラスティブ ロス（Ｃｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓ）を用いることができる。コントラスティブ ロスは距離学習の一つであり、ペアとなるデータ（たとえば、２つの画像データ）に基づいて、損失関数の出力値（Ｌ）を最小化し、ニューラルネットワークの学習（重みの自動調整）を行う。そのほか、トリプレット ロス（Ｔｒｉｐｌｅｔ Ｌｏｓｓ）を用いることもできる。トリプレット ロスは距離学習の一つであり、３データに基づいて重みの自動調整を行う手法である。具体的に言えば、まず、３データ中で中心となるもの（「中心データ」）が決められる。次いで、残る２データに対し、中心データと相対的に似ているものと似ていないものがそれぞれ指定される。ニューラルネットは中心データと残る２データの距離を計算し、実際に似ているもの同士の距離を似ていないもの同士の距離よりも大きくするように更新する。

学習された内容は、学習済みモデルとして記憶部３３に記憶されるが、このことは、記憶部が、第１のＮ個の物の情報（たとえば、部屋内容、部屋情報、部屋内の物体の情報、間取りの内容に関する情報）と第１のＮ個の物それぞれを撮影した１以上の写真との対応関係（すなわち、学習セット）に基づいた学習済モデルＧを記憶している、と表現することもできる。

［実施形態１の情報処理］
以下では、実施形態１における情報処理の詳細を説明する。実施形態１の情報処理の概要は、情報処理装置３の制御部３２が、学習済みモデルと、所定の部屋の間取り図２０と、当該部屋の１枚以上の部屋写真１０と、に基づいて、当該部屋写真１０が、当該間取り図２０でいえば、どの位置で撮影されたものであるのか、また、どの方向に向かって撮影されたものであるのかを推定するというものである。なお、上記した所定の部屋の「間取り図２０（画像）」と当該部屋の「部屋写真１０」は、あくまで本発明を説明するための具体的な例の一に過ぎない。本発明自体は、所定の部屋の「間取り図（画像）」と当該部屋の「部屋写真」に関する推定に限定されるものではなく、所定の物（複数でも構わない）の「平面図」と当該物（複数でも構わない）の「写真」の関連を推定、判断するという形態をも包含する。さらに、第１の情報と第２の情報とが存在し、両情報の特徴量の次元が異なる場合において、両情報の関連を推定ないし判断するという形態をも包含する。

本発明の一実施形態に係る情報処理ステップを図７に示す。図７に記載の各ステップ（ステップ１からステップ７まで）を以下に説明する。

［情報処理ステップの詳細］
［ステップ１］
本実施形態１において、まず、推定対象である部屋写真１０と、当該部屋写真２０に対応した間取り図とが、情報処理装置３に入力される（「ステップ１」）。入力方法には特に制限はない。たとえば、推定対象である部屋写真１０と、当該部屋写真１０に対応した間取り図２０とは、メモリーカードやＵＳＢメモリ等の外部記憶デバイスに保存され、当該外部記憶デバイスが直接情報処理装置３に接続されても良い。この場合、受信された部屋写真１０と、間取り図２０とは、記憶部３３に記憶されてもよいし、そのまま外部記憶デバイスに保存されたままでも良い。

そのほか、たとえば、情報処理装置３が外部ネットワーク４から通信部３１を介して、部屋写真１０と間取り図２０とを受信してもよい。この場合、受信された部屋写真１０と、間取り図２０とは、記憶部３３に記憶される。情報処理システム１全体で考えれば、ユーザ端末装置５（たとえば、スマートフォン）において情報処理装置３の記憶部３３に予め記憶された間取り図２０を選択するという形態のみならず、端末装置５において間取り図２０を撮影（スキャン）または入力して情報処理装置３にアップロードするという形態であってもよいことを意味し、その上で、部屋写真１０を該スマートフォンのカメラで撮影し、撮影した部屋写真１０を情報処理装置３にアップロードするという形でも実現され得る。以下では、部屋写真１０としてパノラマ画像を外部ネットワーク４から受信した場合を想定して説明を行う。

［ステップ２］
ステップ２において情報処理装置３の制御部３２は、部屋写真１０（パノラマ画像）を読み込む。ここで、一例において、情報処理装置３に入力された（すなわち、情報処理装置３が受信した）部屋写真１０（パノラマ画像）がグレースケール画像である場合にはそのまま読み込んで後記情報処理を行うが、それがカラー画像である場合にはグレースケールで読み込む（「ステップ２」）。

［ステップ３］
読み込まれた部屋写真（グレースケール画像）から、制御部３２において、学習済みモデルに基づいて、部屋写真（パノラマ画像）内の物体情報（ｃｈａｎｎｅｌ方向の情報、すなわち、１階のテンソル情報）を抽出するとともに、パノラマ画像内の物体のそれぞれの位置情報（ｗｉｄｔｈ方向の情報、すなわち、１階テンソル情報）を抽出するという計算が行われる（「ステップ３」）。この際の挙動をさらに補足する。

一例として、読み込まれたグレースケールのパノラマ画像の解像度が、Ｈ（高さ）＝２５６、Ｗ（幅）＝５１２という解像度であることを前提に以下、ｗｉｄｔｈ方向の情報（つまり、位置情報）の抽出について補足的に説明を行う。なお当然のことながら、読み込まれたグレースケールのパノラマ画像の解像度はこのような解像度に限定されるものではない。図８にｗｉｄｔｈ方向の情報の抽出の補足説明の図を示す。まず、制御部３２は、当該グレースケールのパノラマ画像に対し、畳み込みを行う。当該畳み込みにより、たとえば、Ｈ（高さ）＝８、Ｗ（幅）＝１６、Ｃ（チャネル数）＝１０８０のデータに変換する。制御部３２は、当該変換後のデータについて、高さ方向の情報については平均化を行うことによって、情報としては落としてしまっても良い。そうすると、高さ方向の情報の平均化によって、Ｗ（幅）＝１６、Ｃ（チャネル数）＝１０８０というデータに変換することができる。ここで、全結合層はＷ（幅）＝１６、Ｃ（チャネル数）＝６４となり、これをベクトル化することにより、Ｃ（チャネル数）＝１０２４とすることができる。図９は、たとえば図８において部屋写真１０の左側にオブジェクトが存在すると仮定した場合のステップを示しており、オブジェクト位置を網掛けで示した。上記各処理後のデータにおける当該オブジェクトに対応する部分もまた、網掛けで示している。

［ステップ４］
部屋写真１０内の物体に対応するｃｈａｎｎｅｌ方向の情報、及びパノラマ画像内の物体のそれぞれの位置に対応するｗｉｄｔｈ方向の情報は、所定のファイル１００に保存され、該部屋写真１０（パノラマ画像）と関連付けられて記憶部３３に記憶される。

［ステップ５］
情報処理装置３に入力された間取り図２０が畳み込まれてエンコードされる。一例において、間取り図２０は、ＭｏｂｉｌｅＮｅｔをベースとしたアーキテクチャを用いて、エンコードされる。これにより相当量の演算量を削減することができる。なお、通常の畳み込みが空間方向とチャネル方向の畳み込みを同時に行うのに対して、本発明の一実施形態においては、ＭｏｂｉｌｅＮｅｔ等により、畳み込みはｗｉｄｔｈ方向（パノラマ画像内の物体のそれぞれの位置情報）を行なったのちに、ｃｈａｎｎｅｌ方向（つまり画像内の物体の情報）を行なう。すなわち、空間方向とチャネル方向の畳み込みを同時に行うのではなく、上記した記載の順に行うものとする。なお、畳み込みに用いられるアーキテクチャはＭｏｂｉｌｅＮｅｔｂに限定されるものではないが、仮にＭｏｂｉｌｅＮｅｔを使用する場合にあっては、そのバージョンについて制限はない。好ましくは、ＭｏｂｉｌｅＮｅｔＶ１ではなくＭｏｂｉｌｅＮｅｔＶ２を用いる。一般的に畳み込みでは層を重ねるごとにチャネル数が増加していきパラメータ量を圧迫していくが、ＭｏｂｉｌｅＮｅｔＶ１は最終的に形が７×７×１０２４になるのに対してＭｏｂｉｌｅＮｅｔＶ２は７×７×３２０までしかならないためパラメータ数がＭｏｂｉｌｅＮｅｔＶ１よりも小さくすることができる。そして、本発明において提供される推定の精度との関係では、ＭｏｂｉｌｅＮｅｔＶ２で圧縮される程度まで間取り図を圧縮したとしても、特に大きな問題は生じない。

［ステップ６］
当該ステップ５で得た情報と、ファイル１００に記憶された部屋写真１０（パノラマ画像）における上記特徴量（画像内の物体に対応するｃｈａｎｎｅｌ方向の情報、及びパノラマ画像内の物体のそれぞれの位置に対応するｗｉｄｔｈ方向の情報）とを、それぞれコンカット（縦に連結）することで対応づけを行う。一例において、本コンカットは複数回（好ましくは２回）行われる。

この点、間取り図は３階のテンソルであるのに対し、画像内の物体に対応するｃｈａｎｎｅｌ方向の情報及びパノラマ画像内の物体のそれぞれの位置に対応するｗｉｄｔｈ方向の情報はいずれも１階のテンソルである。したがって、これらを直接コンカットすることはできない。３階のテンソルを１階のテンソルに落とすことで（つまり、３階のテンソルが有する情報のうち、１階のテンソルに対応しない次元の情報はコンカットしないことになる）、１階のテンソル同士をコンカットする手法も考えられないではないが、それでは空間情報が失われてしまい、撮影位置および撮影方向の特定に問題が生じる。そこで、本発明者らは、以下において説明するように、１階のテンソル情報（ｃｈａｎｎｅｌ方向の情報および／またはｗｉｄｔｈ方向の情報）と、３階のテンソル情報（間取り図の情報）をコンカットする際に、３階のテンソル情報が保有する空間情報を失うことなく、コンカットを行う手法に至った。当該手法について、図１０を用いて以下説明する。

上記手法は、概略、１階のテンソルを間取り図のテンソルの形に合わせて複製し、ｃｈａｎｎｅｌ方向とｗｉｄｔｈ方向とそれぞれコンカットする手法である。上記のとおり、ｃｈａｎｎｅｌ方向の情報及びｗｉｄｔｈ方向の情報はいずれも１階のテンソルであり、Ｃ（チャネル数）のみであるが、これを、（１、１、Ｃ１）という情報量に変換する。そして、間取り図画像が（Ｈ２、Ｗ２、Ｃ２）の情報量であるとした場合、間取り図画像を基準とし、（１、１、Ｃ）をＨ（高さ）方向に複数（×Ｈ２）複製し、それをさらにＷ（幅）方向に複数（×Ｗ２）複製し、（Ｈ２、Ｗ２、Ｃ１）という情報量に変換する。これにより、ｃｈａｎｎｅｌ方向の情報及びｗｉｄｔｈ方向の情報は、それぞれ、（Ｈ２、Ｗ２、Ｃ１）という、３階のテンソルと同次元の情報に変換される。さいごに、（Ｈ２、Ｗ２、Ｃ２）と（Ｈ２、Ｗ２、Ｃ１）とについて、いずれも３階のテンソルであるとして、コンカットを行う。

ここで、非特許文献１においては、コンカットはｃｈａｎｎｅｌ情報のみに基づいて行われていた。しかしながら、本発明者らは、ｃｈａｎｎｅｌ情報のみに基づいてコンカットを行った場合、位置関係の情報が不十分であり、その結果として本発明に係る推定の正確性が担保できないことを見いだした。そこで、本発明者らはｗｉｄｔｈ方向の情報をもコンカットに用いることで、正確性を格段に高めることができるという技術に至った。

［ステップ７］
当該コンカットされた情報をデコードし、間取り図と同サイズのヒートマップとして出力し、評価する。これらは、既存の手法によって実行することができ、たとえば、Ｕ字型の畳み込みネットワーク（Ｕ−Ｎｅｔ）をベースにしたアーキテクチャにより実行することができる。ただし、一例において、この際、位置情報（２次元）と方向情報（１次元）とを分けて、ヒートマップで出力する。これにより、撮影位置情報（２次元）と撮影方向情報（１次元）とをヒートマップから評価する（すなわち、対照同士の確率分布の積分値の差分による比較をする）ことが可能となる。

一例において、撮影方向の推定および撮影位置の推定におけるＬｏｓｓ、すなわち、機械学習におけるクロスエントロピーであるＬｏｇａｒｉｔｈｍｉｃ Ｌｏｓｓとしては、Ｊｅｎｓｅｎ−Ｓｈａｎｎｏｎ（ＪＳ）ｄｉｖｅｒｇｅｎｃｅを用いる。すなわち、同じ確率変数ｘ（すなわち、角度情報）に対して、２つの確率分布Ｐ（ｘ）とＱ（ｘ）があるとき、これらの確率分布の距離（すなわち、差分）は、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ（「ＫＬ」）ｄｉｖｅｒｇｅｎｃｅを使い評価することもできるが、ＫＬ ｄｉｖｅｒｇｅｎｃｅは対称性がなく（すなわち、２つの確率分布を交換した場合に等価でない）ため距離の公理を満たさないが、Ｊｅｎｓｅｎ−Ｓｈａｎｎｏｎ（「ＪＳ」）ｄｉｖｅｒｇｅｎｃｅであれば対称性を有し、本発明に好適である。

なお、機械学習に係る文献である非特許文献２では、（角度情報）推定のために符号付きのｓｉｎ、ｃｏｓの２つを出力に学習するよりも、ｓｉｎの絶対値、ｃｏｓの絶対値、ｓｉｎの符号、ｃｏｓの符号を出力として、その差分を小さくするよう学習する方が、精度が高かったとされている。しかしながら、本発明者らは、一次元のヒートマップを撮影方向の推定の出力とすることで、格段に精度を高めることができることを見いだした。

［追加的情報処理］
これらにより、１つ以上の画像のセット、好ましくは、広視野を示すパノラマ画像のセットと、対応する間取り図画像とが、情報処理装置３の記憶部３３に記憶される。次に、これらの１つ以上のパノラマ画像は、当該パノラマ画像が撮影された間取り図における特定の撮影位置および撮影方向とマッチングされる。当該マッチングに基づいて、間取り図上に矢印等のマークを表示し（図１の矢印参照）、パノラマ画像のセットと、対応する間取り図画像とをユーザに表示させることが可能となる。

［追加的構成］
間取り図内における撮影されたパノラマ画像のそれぞれの撮影位置及び撮影方向が特定されると、不動産物件の自動的及び／又はインタラクティブなツアーを提供するバーチャルツアーを作成することができる。バーチャルツアーでは、当該バーチャルツアーにおいて訪問される間取り図における特定の部屋（位置）における、対応するパノラマ画像によって提供され、ユーザ端末装置５からの方角（撮影方向）を変更する信号を受信することで撮影方向が異なるパノラマ画像を提供することもできる。また、情報処理装置３において、パノラマ画像を編集し、所定の方向からの写真を修正し、異なる方向からの写真を合成して表示することも可能である。また、パノラマ画像の広視野画像に変えて、クロッピングなどにより、ユーザの視野角に応じた標準的な視野を提供する事も可能である。

一例として、バーチャルツアーは双方向性のあるツアーでも良く、たとえばユーザがユーザ端末装置５の表示部５５としてヘッドマウントディスプレイなどを使用して部屋内を見学できるようにしても良い。その際、本発明の一実施形態によれば、各パノラマ画像の撮影位置と撮影方向が正確に算出され間取り図と対応付けられるから、ユーザは間取り図に対応した形で各部屋をバーチャルに訪問することができる。また、ユーザの所定の場所に対する視線をヘッドマウントディスプレイの入力部５４が感知するように構成し、バーチャルツアーを一時停止したり、進行したり、別の視点に切り替えたりするなどの操作ができるようになっていてもよい。

この際、ユーザの体験が実体験と一致することができるように、部屋Ａから部屋Ｂに入室する場合には、部屋Ａから見た部屋Ｂの画像を提供するなど、複数の部屋写真のうち、最も適した撮影方向の部屋写真１０を選択してユーザ端末装置５の表示部５５に表示するようにすることができる。

［実施形態２］
さらに別の実施形態として、部屋写真１０Ｂおよび間取り図２０Ｂの両方において物体を特定し、当該特定された物体の位置関係を元に、撮影位置および方向を特定する手法を提案する。たとえば、図１および図２において、撮影位置と間取り図上のキッチンの位置と、部屋写真においてキッチンが正面に写っていることを前提とすれば、これらの情報に基づいて、制御部３２は撮影方向を推定することが可能である。

部屋写真が撮影された間取り図上の位置（すなわち、撮影位置）の特定は、実施形態１の手法によって行うことができるので、詳細な説明は省略する。

間取り図上の物体の位置の特定については、実施形態１の手法のみならず、その他の手法によって行うこともできる。たとえば、物体はニューラルネットワークによる学習済みモデルを用いて特定され、特定される物体は、学習済みモデルに応じるものであり、事前に規定される。具体的には、キッチンアイランド、扉（ドア）およびそのドアノブ、壁、階段、手摺り、トイレ、シンク、バスタブ、シャワー、ストーブ、冷蔵庫、洗濯機、棚などがあげられるが、これらに限定されるものではない。一例においては、ドアノブの位置を検出することで、右ドアと左ドアとは区別して特定される。

［変形例１］
なお、本発明は上記実施の形態に限られたものではなく、要旨を逸脱しない範囲で適宜変更することが可能である。すなわち、本発明の一実施形態によれば、２つの入力の特徴量の次元が異なっていても、図１０および対応する詳細な説明（たとえば上記「ステップ６」）で記載したとおり、両者をコンカットして評価を行うことが可能となるから、たとえば、インプットとして、画像と、画像の説明文章（例として「左に犬が走っていて、右に風船が飛んでいる」）が入力された場合に、「犬が走っているかどうか」「風船が飛んでいるかどうか」の判定ではなく、説明文書どおりの画像であるかどうか（すなわち、上記の例でいえば、「左に犬が走っていて、右に風船が飛んでいる」画像であるかどうか）を正確に判定することができる。その意味で、本発明は「間取り図」と「部屋写真」との情報処理に限定されるものではないし、「物の平面図」と「物の写真」との情報処理に限定されるものでもなく、２つの入力の特徴量の次元が異なる場合の情報処理に関するものである。

［変形例２］
さらに、上記「ステップ７」において説明した、角度情報を一次元のヒートマップとして出力して評価するという手法は、正確な角度情報が必要とされる他の分野において広く適用することができる。具体的には、変形例として、ロボティクスや自動運転分野において、（端末）入力部５４としてカメラを搭載した端末装置５（本変形例における「端末装置５」とは、たとえば、カメラを搭載したロボットやカメラを搭載した自動運転車である）について、当該端末の周囲の画像情報を情報処理装置３に与え、情報処理装置３の制御部３２において当該端末に搭載されたカメラで撮影された画像と端末の周囲の画像情報とに基づいて当該端末５の現在の向きを計算し、そこから目的地に移動するための当該端末の向きを適切に変更させ、当該端末の向きを制御するという形態においても、その角度情報（すなわち、端末の向き）計算の精度向上に寄与する。この場合、上記実施形態において間取り図２０として説明したものが「端末の周囲の画像情報」に対応し、本実施形態において部屋写真１０（ないしパノラマ画像）として説明したものが「端末に搭載されたカメラで撮影された画像」に対応する。さらに、ヒートマップによる出力は、特定の画像における人物や物体が、どの方向を向いているのかを計算する際にも、有用である。

上記のとおり、本発明は、間取り図内における部屋写真の撮影位置と撮影方向の特定および物の平面図と当該物の写真の対応付けのみならず、画像と当該画像の説明文の対応付けおよび正誤判断、並びにロボットや自動運転車に係る角度情報（方向）の計算などにも適用することができ、有用である。

情報処理システム １
部屋写真 １０
間取り図（画像） ２０
情報処理装置 ３
通信部 ３１
制御部 ３２
記憶部 ３３
ネットワーク ４
ユーザ端末装置 ５
通信部 ５１
制御部 ５２
記憶部 ５３
入力部 ５４
表示部 ５５
ファイル １００
学習モデル Ｇ

Claims (6)

1. 記憶部と制御部とを有する情報処理装置であって、
   前記記憶部は、第１のＮ個の空間の平面図と、前記第１のＮ個の空間それぞれを撮影した１以上の写真との対応関係に基づいた学習済モデルを記憶し、
   前記制御部が、前記学習済みモデルと、前記Ｎ個の空間と異なる第２の空間の写真および該第２の空間の平面図とに基づいて、
   前記第２の空間の写真におけるｃｈａｎｎｅｌ方向のベクトルに圧縮した情報とｗｉｄｔｈ方向のベクトルに圧縮した情報とを抽出し、前記第２の空間の平面図を圧縮した情報とコンカットすることにより前記第２の空間の平面図における前記第２の空間の写真が撮影された撮影位置と撮影方向を推定し、
   前記推定することは、前記制御部が前記コンカットの結果を、前記撮影位置を推定するための２次元のヒートマップと、前記撮影方向を推定するための１次元のヒートマップとを出力して評価することを特徴とする、
   情報処理装置。
2. 前記コンカットは、
   前記制御部が前記第２の空間の写真における前記ｃｈａｎｎｅｌ方向のベクトルに圧縮した情報と前記ｗｉｄｔｈ方向のベクトルに圧縮した情報とを、ぞれぞれ、前記第２の空間の平面図の幅方向および高さ方向に基づいて１以上複製し、当該複製した情報に基づいて前記第２の空間の平面図を圧縮した情報とコンカットすることである、
   請求項１に記載の情報処理装置。
3. 前記第１のＮ個の空間および前記第２の空間は、いずれも不動産物件の部屋であることを特徴とする、
   請求項１または２に記載の情報処理装置。
4. コンピュータを、
   記憶部と制御部とを有し、
   前記記憶部が、第１のＮ個の空間の平面図と、前記第１のＮ個の空間それぞれを撮影した１以上の写真との対応関係に基づいた学習済モデルを記憶し、
   前記制御部が、前記学習済みモデルと、前記Ｎ個の空間と異なる第２の空間の写真および該第２の空間の平面図とに基づいて、
   前記第２の空間の写真におけるｃｈａｎｎｅｌ方向のベクトルに圧縮した情報とｗｉｄｔｈ方向のベクトルに圧縮した情報とを抽出し、前記第２の空間の平面図を圧縮した情報とコンカットすることにより前記第２の空間の平面図における前記第２の空間の写真が撮影された撮影位置と撮影方向を推定し、
   前記推定することは、前記制御部が前記コンカットの結果を、前記撮影位置を推定するための２次元のヒートマップと、前記撮影方向を推定するための１次元のヒートマップとを出力して評価することを特徴とする情報処理装置として動作させる、
   コンピュータプログラム。
5. 前記コンカットは、
   前記制御部が前記第２の空間の写真における前記ｃｈａｎｎｅｌ方向のベクトルに圧縮した情報と前記ｗｉｄｔｈ方向のベクトルに圧縮した情報とを、ぞれぞれ、前記第２の空間の平面図の幅方向および高さ方向に基づいて１以上複製し、当該複製した情報に基づいて前記第２の空間の平面図を圧縮した情報とコンカットすることである、
   請求項４に記載のコンピュータプログラム。
6. 前記第１のＮ個の空間および前記第２の空間は、いずれも不動産物件の部屋であることを特徴とする、
   請求項４または５に記載のコンピュータプログラム。