JP7409947B2

JP7409947B2 - 情報処理システム

Info

Publication number: JP7409947B2
Application number: JP2020072115A
Authority: JP
Inventors: 隆史松本
Original assignee: Shimizu Corp
Current assignee: Shimizu Corp
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2024-01-09
Anticipated expiration: 2040-04-14
Also published as: JP2021170158A

Description

本発明は、図書館・文書館・博物館等でデジタルアーカイブ化され、画像データサーバー等で提供されるアーカイブ画像データの分析に好適な情報処理システムに関する。

近年、Ｇｏｏｇｌｅマップ（登録商標）などのデジタル地図アプリケーションの進展により、地図上の位置を、路上からの風景写真や、衛星写真と切り替えて閲覧することが容易になっている。例えば、Ｇｏｏｇｌｅマップ（登録商標）には、ストリートビュー（登録商標）として知られる地図データと相関を有する実画像データ（地図データが示す場所を実際に撮影した画像データ）を提供する機能がある。Ｇｏｏｇｌｅ社が提供するアプリケーション以外にも、Ａｐｐｌｅ社によるマップとＬｏｏｋＡｒｏｕｎｄの機能なども、類次の機能を持つアプリケーションとして挙げることができる。ここで、本明細書において、これらのアプリケーションに代表されるような、インターネット上でデジタル地図アプリケーションを提供するサーバーを、地図・実画像データサーバーと称している。なお、本発明では、地図・実画像データサーバーは、地図上の位置データと風景写真や衛星写真または実画像データとが対応づけられたアプリケーション一般をさすもので、Ｇｏｏｇｌｅ社、Ａｐｐｌｅ社が提供するものに限定されるものではない。

また、様々な資料（図書・公文書・絵画・図面・写真等）のデジタルアーカイブ化が、国内外の図書館・文書館・博物館等で進められており、画像資料がデジタル化され、メタデータのインデックス（例：ＩＩＩＦ；ＩｎｔｅｒｎａｔｉｏｎａｌＩｍａｇｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙＦｒａｍｅｗｏｒｋなど）とともにインターネット上で検索可能になりつつある。例えば、大規模なアーカイブ横断検索を行うことができるサービスとしては欧州連合によるＥｕｒｏｐｅａｎａや、国立国会図書館によるＪａｐａｎＳｅａｒｃｈを挙げることができる。

そうした中、編集可能な地図アプリケーションと、公文書館などの歴史アーカイブ写真群を組み合わせ、地図上に歴史写真をプロットする試みが行われている。

例えば、ＳｉｄｅｗａｌｋＬａｂｓによる非特許文献１では、トロントの街の歴史的変遷を写真により理解することができるようになっている。
ｈｔｔｐｓ：／／ｍｅｄｉｕｍ．ｃｏｍ／ｓｉｄｅｗａｌｋ－ｔａｌｋ／ｅｘｐｌｏｒｅ－ｔｏｒｏｎｔｏ－ｔｈｒｏｕｇｈ－ｈｉｓｔｏｒｉｃａｌ－ｐｈｏｔｏｓ－ｏｎｅ－ｂｌｏｃｋ－ａｔ－ａ－ｔｉｍｅ－２ｆｂｃｄ３８ｂ５１１ａ

前述のデジタル地図アプリケーションのようなシステムは、人間の閲覧を目的とするのみならず、自動運転車の位置把握など様々な用途で使われるようになっている。また、ドライブレコーダーや車載センサー、スマートフォンなどの普及により、撮影される街の写真は数が飛躍的に増えており、それらの一部もウェブサービスなどで利用・共有されるようになっている。こうした状況の中、近年撮影された街の様子は、位置情報のメタデータにより、ウェブサービスなどを構築することで、画像で容易に確認する仕組みをつくることが可能となってきている。

しかしながら、例えば数１０年以上前に撮影・描写された過去の写真・絵画などの画像については、基本的に位置情報のメタデータなどはなく、正確な撮影・描写位置等を特定することが容易でない。

例えば、歴史写真を地図データ上へプロットするには、資料のもつ情報（撮影場所の住所などの書き込みやタイトルなど）、或いは、当時の住人からのフィードバックなどによりおおよその位置を特定することになり、多大な手間や労力がかかることになる。

このような手間や労力にも関わらず、厳密な撮影・描写の位置と被写体の位置をデータとして記録するのは容易ではない。また、記録されている書き込みが間違っていたり、住所表示が変わっていたり、住人の記憶が間違っていたりすることもある。

さらに、一枚の古い写真・絵画に関する位置データを割り出すのにも、上述のような手間や労力がかかることを鑑みると、大量の過去の写真群のそれぞれの位置データを特定することは、非常に困難であることがわかる。

以上、位置情報のメタデータなどがない過去に撮影・描写された写真・絵画に関連する情報を取得すること、より具体的には、過去において撮影・描写された建築物の位置データを取得することが、本発明で実現しようとする課題である。

この発明は、上記課題を解決するものであって、本発明に係る情報処理システムは、対象建築物の位置データと対応づけられた実画像データと、実画像データ中における対象建築物の存否とを関連付けてニューラルネットワークを機械学習させる機械学習部と、インターネットと接続されている画像データサーバーから、建築物が写り込んでいるアーカイブ画像データを収集するアーカイブ画像データ収集部と、前記アーカイブ画像データ収集部で収集されたアーカイブ画像データを、前記機械学習部によって学習させた前記ニューラルネットワークに入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定するアーカイブ画像データ選定部と、前記アーカイブ画像データ選定部で選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する位置データ回答部と、を有することを特徴とする。

また、本発明に係る情報処理システムは、対象建築物の位置データと、実画像データとを対応づけて記憶する対象建築物データベースを有することを特徴とする。

また、本発明に係る情報処理システムは、前記対象建築物データベースにおける実画像データには、撮影方向データを含むことを特徴とする。

また、本発明に係る情報処理システムは、位置データと、年代別の住所名とを対応づけて記憶する住所名変遷データベースを有し、前記アーカイブ画像データ収集部は、前記住所名変遷データベースに記憶される住所名を検索キーとして、画像データサーバーからアーカイブ画像データを収集することを特徴とする。

また、本発明に係る情報処理システムは、アーカイブ画像データ中に存在すると推定された対象建築物が撮影された方向を回答する撮影方向回答部を、を有することを特徴とする。

本発明に係る情報処理システムは、アーカイブ画像データを、機械学習部によって学習させたニューラルネットワークに入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定し、選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する構成であるので、このような本発明に係る情報処理システムによれば、過去に撮影・描写され、位置情報のメタデータなどがない写真・絵画に写り込んでいる対象建築物の位置データを取得することが可能となる。

また、上記のように本発明では、アーカイブ画像データにおける対象建築物の位置データが取得可能であるので、本発明に係る情報処理システムによれば、アーカイブ資料の整理・分析の労力を劇的に下げ、今まで手作業では見つけることが困難であった、資料間の関係性を抽出することができるようになる。

また、本発明に係る情報処理システムによれば、建築物の位置データが取得可能となることで、建築物の履歴を調べることを容易にし、資産評価などに利用できる。

また、本発明に係る情報処理システムに明らかとなる建築物の位置データなどは、観光コンテンツとしても利用し得る。

本発明の実施形態に係る情報処理システム１００の運用例を説明する図である。本発明の実施形態に係る情報処理システム１００のブロック図である。本発明の実施形態に係る情報処理システム１における対象建築物学習処理のフローチャートを示す図である。対象建築物データベース１２２のデータ構造例を示す図である。実画像データと撮影方向データと関連を例示する図である。本発明の実施形態に係る情報処理システム１における機械学習処理サブルーチンのフローチャートを示す図である。学習モデル１２３の構成例を示す図である。本発明の実施形態に係る情報処理システム１におけるアーカイブ画像データ分析処理のフローチャートを示す図である。住所名変遷データベース１２８のデータ構造例を示す図である。表示部１５０におけるアーカイブ画像データ中の対象建築物の位置データ、撮影方向データの回答画面例を示す図である。

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施形態に係る情報処理システム１００の運用例を説明する図である。

本発明に係る情報処理システム１００は、インターネットとデータ通信可能に接続できるサーバーなどを用いることができる。このようなサーバーは、サーバコンピューター又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよいし、１台のサーバー内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバーを用いて実現されてもよい。

本発明においては、インターネット上でデジタル地図アプリケーションを提供する地図・実画像データサーバー２００が設けられていることが想定される。地図・実画像データサーバー２００における地図データには、地図データ上で示されている建築物などのランドマークの名称とその位置に係る緯度経度など位置データなどが含まれている。本明細書では、位置データについては緯度経度を用いず、ｘｙ座標を用いることとする。

なお、本実施形態に係る情報処理システム１００では、地図などの位置データとしてｘｙ座標を用いた２次元の例で説明を行うが、本発明の考え方は３次元空間における位置座標を用いる実施形態にも拡張することが可能である。

また、地図・実画像データサーバー２００においては、地図データと相関を有する実画像データを提供するサービスを提供していることを想定する。このようなサービスによれば、実画像データに写り込んでおり、地図データ上で位置データが既知である建物を、どの位置から撮影しているかを把握することが可能となる。

なお、本実施形態では、上記のような地図・実画像データサーバー２００が提供するサービスから、位置データやそれに対応した実画像データを取得する例に基づいて説明を行うが、地図・実画像データサーバー２００から取得し得る位置データやそれに対応した実画像データと同様のものを、手動で入手するようにしてもよい。従って、本発明に係る情報処理システム１００においては、地図・実画像データサーバー２００は必須のものではないが、本明細書では地図・実画像データサーバー２００から種々のデータを取得することを前提に説明を進める。

また、インターネット上では、種々の画像データを提供する画像データサーバー３００が存在し、これらの画像データサーバー３００から、画像データとそれに付随するデータ（画像データ元のアドレスデータ、メタデータ、インデックスデータ等）を、情報処理システム１００が取得し得るように構成されている。画像データサーバー３００が提供する画像データを、特に本明細書では、先の「実画像データ」と区別して「アーカイブ画像データ」と称する場合がある。

本発明に係る情報処理システム１００においては、上記のようなアーカイブ画像データとしては、国内外の図書館・文書館・博物館等でデジタルアーカイブ化された、建築物が写り込んでいる写真・絵画に係るものを想定しているが、本発明に係る情報処理システム１００が扱い得るアーカイブ画像データはこれに限定されるものではない。すなわち、本発明は、特段アーカイブ化を意図していないような画像データについても扱い得るものである。

次に、以上のようなインターネット環境に接続されている本発明に係る情報処理システム１００の構成や動作について説明する。図２は本発明の実施形態に係る情報処理システム１００のブロック図である。

情報処理システム１００は、制御部１１１、記憶部１２０、通信部１４０、表示部１５０、入力部１６０、読み取り部１７０等を含み、これらの各部はバスを介して相互に接続されている。制御部１１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）又はＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の１又は複数のプロセッサを含む。制御部１１１は、記憶部１２０に記憶してある制御プログラム１２１を適宜実行することにより、情報処理システム１００が行うべき種々の情報処理、制御処理等を行う。

記憶部１２０は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等を含み得る。記憶部１２０は、制御部１１１が実行する制御プログラム１２１及び制御プログラム１２１の実行に必要な各種のデータ等を予め記憶している。

また記憶部１２０は、制御部１１１が制御プログラム１２１を実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２０は、例えば機械学習処理によって構築されたニューラルネットワークである学習モデル１２３を記憶している。本明細書では、学習モデル１２３のニューラルネットワークを機械学習させる、ということは、このニューラルネットワークにおけるノード間（図２に不図示）の重みなどの係数を算出し更新していくことを意味している。

本発明に係る情報処理システム１００では、学習モデル１２３は、地図・実画像データサーバー２００から取得された実画像データと、その実画像データ中において着目している対象の建築物が存在しているか否かを正解ラベルとする教師データを用いて学習されたものである。このような学習モデル１２３は、ある（アーカイブ）画像データが入力された場合に、当該（アーカイブ）画像データ中に、着目している対象の建築物が写り込んでいるか否かを示す情報を出力するように学習された学習済モデルである。

なお、学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２０にはこの演算を規定する関数の係数や閾値等のデータが、学習モデル１２３として記憶される。学習モデル１２３は、情報処理システム１００に接続された外部の記憶装置に記憶されていてもよく、ネットワークを介して情報処理システム１００と通信可能な記憶装置に記憶されていてもよい。

記憶部１２０には、地図・実画像データサーバー２００からデータが取得され、学習モデル１２３のニューラルネットワークを機械学習させるために用いられる対象建築物データベース１２２が記憶されている。対象建築物データベース１２２を構築するためには、地図・実画像データサーバー２００に対してアクセスして、必要とするデータを抽出するような手順を記述したスクリプトを用いたスクレイピング技術を適宜用いることができる。

また、記憶部１２０には、学習モデル１２３のニューラルネットワークに入力するアーカイブ画像データを画像データサーバー３００から収集すると共に、学習モデル１２３により当該アーカイブ画像データに着目している対象の建築物が存在している（写り込んでいる）と判断された場合、これを選定するプログラムであるアーカイブ画像データ収集・選定モジュール１２７が記憶されている。

また、アーカイブ画像データ収集・選定モジュール１２７が、インターネット上のアーカイブ画像データを収集する際には、予め定められた所定のＵＲＬを巡回するよう設定することができる。また、これ以外に所定のキーワードを用いて、このキーワードに基づき検索エンジンによりＵＲＬを見出すようにしてもよい。このとき用いるキーワードは建築物の名称、旧称や、当該建築物が存在する土地の住所、地名などを用いることができる。ところで、住所については、その名が時代と共に変更されることがある。そこで、住所名の変遷について記述されている住所名変遷データベース１２８が記憶部１２０に記憶され、アーカイブ画像データ収集・選定モジュール１２７が参照することができるようになっている。

通信部１４０は、有線通信又は無線通信によってネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。表示部１５０は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１１からの指示に従って各種の情報を表示する。入力部１６０は、マウス及びキーボード等を含み、ユーザーによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１１へ送出する。なお、表示部１５０及び入力部１６０は、一体として構成されたタッチパネルであってもよい。

読み取り部１７０は、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）－ＲＯＭ又はＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）－ＲＯＭを含む可搬型記憶媒体１９０に記憶された情報を読み取る。記憶部１２０に予め記憶される制御プログラム及びデータは、制御部１１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２０に記憶してもよい。また、記憶部１２０に予め記憶される制御プログラム及びデータは、制御部１１１が通信部１４０を介してネットワーク経由で外部装置からダウンロードして記憶部１２０に記憶してもよい。更に、半導体メモリ１９５から、制御部１１１が制御プログラム及びデータを読み出してもよい。

次に、本発明に係る情報処理システム１００において、学習モデル１２３のニューラルネットワークを学習させるためのアルゴリズムについて説明する。本発明に係る情報処理システム１００では、画像データサーバー３００で収集されるアーカイブ画像データに写り込んでいる建築物の位置データを取得することを目的としている。このために、まず、着目している対象となる建築物が、画像データ中に存在している（写り込んでいる）か否かを判定するための学習モデル１２３を構築する。

図３は本発明の実施形態に係る情報処理システム１における対象建築物学習処理のフローチャートを示す図である。図３において、ステップＳ１００で、対象建築物学習処理が開始されると、続いて、ユーザーはステップＳ１０１において、着目している対象となる建築物の名称を入力する。

なお、本実施形態ではステップＳ１０１において、建築物の名称を入力することで、着目している対象建築物を特定するようにしているが、その他の方法により対象建築物の特定を行うように構成することもできる。例えば、視覚化された地図上で対象建築物を特定するようにしてもよいし、住所によって対象建築物を特定するようにしてもよい。

続く、ステップＳ１０２では、地図・実画像データサーバー２００から、入力された名称に基づいて対象建築物の位置データ・実画像データ・撮像方向データを収集する。実画像データとしては、対象建築物を種々のアングルからみた複数のデータが収集される。ステップＳ１０２で収集されたデータに基づいて、次のステップＳ１０３では、対象建築物データベース１２２が更新される。

図４は対象建築物データベース１２２のデータ構造例を示す図である。図４に示すように、対象建築物データベース１２２には、少なくもそれぞれ固有のＩＤデータと、当該ＩＤデータに対応する対象建築物の名称に係るデータと、対象建築物が所在する位置データと、対象建築物が写り込んでいる実画像データ、その実画像データが撮影された際のアングルに係るデータと、が対応付けられて記憶されている。

図４に示すＩＤ＝００００のデータを例に取ると、当該ＩＤデータには、「昭和ビルディング」の名称データを有し、その所在地の位置データとして（ｘ₀，ｙ₀）を有し、図示する複数の実画像データと、実画像データが撮影された際の撮影方向データとが対応付けられて記憶されている。

ここで、実画像データと、実画像データが撮影された際の撮影方向データとの関連を、図５を参照して説明する。図５（Ａ）乃至（Ｄ）は、いずれも位置データ（ｘ₀，ｙ₀）で、名称データ「昭和ビルディング」である対象建築物が写り込んでいる実画像データである。一方、図５（Ａ）乃至（Ｄ）はいずれも異なるアングルで撮影された実画像データである。

対象建築物データベース１２２には、実画像データと共に、当該実画像データが撮影されたアングルに係るデータ（撮影方向データ）とが対応付けられて記憶されている。このような撮影方向データの形式としては、（撮影座標の位置データ）→（対象建築物の位置データ）の形式を取ることができる。図５（Ａ）の例では、撮影座標の位置データ（ｘ₁，ｙ₁）→対象建築物の位置データ（ｘ₀，ｙ₀）のような形式とすることができる。このように、本発明に係る情報処理システム１００においては、実画像データと撮影方向データとが対象建築物データベース１２２に記録されており、これを参照することで、アーカイブ画像データの撮影・描写方向を推定することができるようになっている。

ステップＳ１０３で対象建築物データベース１２２が更新されると、続いて、ステップＳ１０４に進み、機械学習処理のサブルーチンが実行され、ステップＳ１０５で処理が終了となる。

次に、上記の機械学習処理サブルーチンについて説明する。図６は本発明の実施形態に係る情報処理システム１における機械学習処理サブルーチンのフローチャートを示す図である。このようフローチャートによって、学習モデル１２３におけるニューラルネットワークが機械学習されることとなる。

図５は、学習モデル１２３の構成例を示す模式図である。学習モデル１２３は、深層学習アルゴリズムを用いて学習した深層学習モデルであり、例えば図５に示すように畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルで構成され得る。学習モデル１２３は、ＣＮＮモデルのほかに、リカレントニューラルネットワーク（ＲＮＮ：ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルで構成されていてもよい。また、学習モデル１２３は、図５に示すように多層のニューラルネットワーク（深層学習）に限定されるものではなく、他の機械学習のアルゴリズムを用いて構成されていてもよい。

図５に示す学習モデル１２３は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含むことができる。本実施形態の学習モデル１２３では、入力層を介して実画像データ（又は、アーカイブ画像データ）が入力される。

入力層の各ノードを介して入力された画像データは中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。

全結合層は複数層（図５では２層）設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。

畳み込み層、プーリング層及び全結合層のそれぞれの層数は図５に示す例に限定されない。本実施形態の学習モデル１２３では、出力層は２つのノードを有しており、例えばノード０は、入力された画像データ中に対象建造物が存在しない、と判別すべき確率を出力し、ノード１は、入力された画像データ中に対象建造物が存在する、と判別すべき確率を出力する。出力層の各ノードの出力値は例えば０～１．０の値であり、２つのノードから出力された確率の合計が１．０（１００％）となる。

学習モデル１２３は、対象建造物が写り込んでいない実画像データと、実画像データ中に対象建造物が存在しないことを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。

また学習モデル１２３は、対象建造物が写り込んでいる実画像データと、実画像データ中に対象建造物が存在することを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。

学習モデル１２３は、教師データに含まれる、対象建造物が写り込んでいない実画像データが入力された場合に、対象建造物が存在しないと判別すべき確率が出力されるノード０からの出力値が１．０に近づき、他方のノード１からの出力値が０に近づくように学習する。これにより、対象建造物が写り込んでいないアーカイブ画像データが入力された場合に、ノード０からの出力値が１．０に近い値となる学習モデル１２３を生成できる。

また、学習モデル１２３は、教師データに含まれる、対象建造物が写り込んでいる実画像データが入力された場合に、対象建造物が存在すると判別すべき確率が出力されるノード１からの出力値が１．０に近づき、他方のノード０からの出力値が０に近づくように学習する。これにより、対象建造物が写り込んでいるアーカイブ画像データが入力された場合に、ノード１からの出力値が１．０に近い値となる学習モデル１２３を生成できる。

なお、学習処理において学習モデル１２３は、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、画像データに基づいて、画像データ中に対象建造物が写り込んでいるか否かを示す情報を出力するように学習された学習済みの学習モデル１２３が得られる。学習モデル１２３は、情報処理システム１００で学習が行われてもよいし、異なる学習装置で学習された後に情報処理システム１００の記憶部１２０に記憶されてもよい。

さて、図６の機械学習処理サブルーチンのフローチャートに戻り、ステップＳ２００で、機械学習処理サブルーチンが開始されると、ステップＳ２０１では、対象建築物データベース１２２から、実画像データを取得し、ステップＳ２０２では、当該実画像データに対して、対象建築物の存否を正解ラベルとしてニューラルネットワークにおける各種の関数の係数や閾値等を算出する。

ステップＳ２０３では、算出した各種の関数の係数や閾値等を更新し、学習モデル１２３として、次にステップＳ２０４に進み、元のルーチンにリターンする。

なお、対象建築物データベース１２２の実画像データにより、ニューラルネットワークを学習させる際には、実画像データについてゆがみ補正などの画像処理を必要に応じて行うことで、より効率的な学習を期待することができる。

次に、以上のような学習済みの学習モデル１２３を用いて、画像データサーバー３００から取得される（アーカイブ）画像データを分析する処理について説明する。図８は本発明の実施形態に係る情報処理システム１におけるアーカイブ画像データ分析処理のフローチャートを示す図である。このようなアルゴリズムは、主として記憶部１２０に記憶されているアーカイブ画像データ収集・選定モジュール１２７によって実行される。

ステップＳ３００で、アーカイブ画像データ分析処理が開始されると、続いて、ステップＳ３０１に進み、画像データサーバー３００から、建築物が写り込んでいるアーカイブ画像データを収集する。

画像データサーバー３００から建築物が写り込んでいるアーカイブ画像データを収集するにあたっては、予め定められた所定のＵＲＬを巡回する手順を記述したスクリプトによってスクレイピングを行い、アーカイブ画像データを収集するようにしてもよいし、所定のキーワードに基づき検索エンジンによりＵＲＬを抽出して、抽出したＵＲＬ先からアーカイブ画像データを収集するようにしてもよい。

ところで、検索エンジンでキーワードを使用する場合、住所名については時代と共に変更されることがある。そこで、本発明に係る情報処理システム１００においては、住所名の変遷について記述されている住所名変遷データベース１２８が設けられており、これを適宜参照することができるようになっている。

図９は住所名変遷データベース１２８のデータ構造例を示す図である。住所名変遷データベース１２８には、地図上の座標の範囲（位置データの範囲）と、年代、住所の名称などのデータが記述される。例えば、本発明に係る情報処理システム１００は、ステップＳ３０１で、このような住所名変遷データベース１２８を参照することで、「東京府北豊島郡王子町」のキーワード検索を実行し、１９０８年～１９３２年頃の建築物が写り込んだアーカイブ画像データを収集し得る。

なお、本実施形態では、住所名が時代と共に変遷することに対応して住所名変遷データベース１２８を設けるようにしたが、建築物の名称も時代と共に変遷し得るので、建築物の名称の変遷をデータ化した、住所名変遷データベース１２８と類似したデータベースを準備するようにしてもよい。

ステップＳ３０２では、取得したアーカイブ画像データを、学習済みの学習モデル１２３におけるニューラルネットワークに入力し、対象建築物の存否を推定する。ここで、アーカイブ画像データに対象建築物が存在すると推定される、とは、ニューラルネットワークのノード１からの出力値が予め定められた所定値（例えば、０．９）以上である、ことを意味している。

ステップＳ３０３で、対象建築物が存在すると推定されるアーカイブ画像データを選定する。すなわち、ニューラルネットワークのノード１からの出力値が予め定められた所定値以上であるアーカイブ画像データを選定する。

続く、ステップＳ３０４では、対象建築物データベース１２２を参照して、アーカイブ画像データ中に存在すると推定された当該対象建築物に対応する位置データを取得する。

ステップＳ３０５では、対象建築物データベース１２２を参照して、アーカイブ画像データ中に存在すると推定された当該対象建築物に対応する撮影方向データを取得する。撮影方向データは、対象建築物データベース１２２中の実画像データを参照して、アーカイブ画像データと近い撮影アングルを有するものの撮影方向データを取得することができる。

ステップＳ３０６では、ステップＳ３０４、Ｓ３０５で得られた各データを、アーカイブ画像データ中の当該対象建築物の位置データ、撮影方向データとして、表示部１５０などに回答する。続くステップＳ３０７で処理を終了する。

図１０は、ステップＳ３０６において、表示部１５０でアーカイブ画像データ中の対象建築物の位置データ、撮影方向データを回答する際の画面例を示している。

図１０の画面例において、アーカイブ画像データ中、ニューラルネットワークで推定された対象建築物は、Ｔａｒｇｅｔｂｕｉｌｄｉｎｇとしてマーキングされる。また、同画面例においては、当該アーカイブ画像データの収集元のＵＲＬ情報も併せて表示される。

さらに、図１０に示す画面例では、アーカイブ画像データ中で、Ｔａｒｇｅｔｂｕｉｌｄｉｎｇとしてマーキングされている対象建築物の位置、及び撮影方向について、「アーカイブ画像データの分析結果」の欄で、それぞれ（ｘ₀，ｙ₀）及び（ｘ₁，ｙ₁）→（ｘ₀，ｙ₀）と示されるようになっている。

本発明に係る情報処理システム１００は、アーカイブ画像データを、機械学習部によって学習させたニューラルネットワーク（学習モデル１２３）に入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定し、選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する構成であるので、このような本発明に係る情報処理システム１００によれば、過去に撮影・描写され、位置情報のメタデータなどがない写真・絵画に写り込んでいる対象建築物の位置データを取得することが可能となる。

また、上記のように本発明では、アーカイブ画像データにおける対象建築物の位置データが取得可能であるので、本発明に係る情報処理システム１００によれば、アーカイブ資料の整理・分析の労力を劇的に下げ、今まで手作業では見つけることが困難であった、資料間の関係性を抽出することができるようになる。

また、本発明に係る情報処理システム１００によれば、建築物の位置データが取得可能となることで、建築物の履歴を調べることを容易にし、資産評価などに利用できる。

また、本発明に係る情報処理システム１００に明らかとなる建築物の位置データなどは、観光コンテンツとしても利用し得る。

また、本発明に係る情報処理システム１００により、一枚の歴史的な写真・絵画（アーカイブ画像データ）における建築物の位置データが特定できると、その写真・絵画に写りこんだ、他の建物（現存しないものを含む）について、写真間で連鎖的に位置の特定をしていくことができる。

また、本発明に係る情報処理システム１００によれば、コラージュ的に街の過去を生成していくことができる。また、本発明に係る情報処理システム１００によれば、撮影時期が特定できない歴史写真においても、建築物の建て替わる順番により、おおよその撮影時期の範囲を絞り込むことができるようになる。

また、本発明に係る情報処理システム１００により整理された歴史写真（アーカイブ画像データ）は、新たに付与された位置情報を用いて、地図アプリケーションやＡＲアプリなどにプロットすることで、ユーザーが撮影場所や撮影時期を任意に切り替えて閲覧することができるようなシステムを提供することができるようになる。

１００・・・情報処理システム
１１１・・・制御部
１２０・・・記憶部
１２１・・・制御プログラム
１２２・・・対象建築物データベース
１２３・・・学習モデル
１２７・・・アーカイブ画像データ収集・選定モジュール
１２８・・・住所名変遷データベース
１４０・・・通信部
１５０・・・表示部
１６０・・・入力部
１７０・・・読み取り部
１９０・・・可搬型記憶媒体
１９５・・・半導体メモリ
２００・・・地図・実画像データサーバー
３００・・・画像データサーバー

Claims

対象建築物の位置データと対応づけられた実画像データと、実画像データ中における対象建築物の存否とを関連付けてニューラルネットワークを機械学習させる機械学習部と、
インターネットと接続されている画像データサーバーから、建築物が写り込んでいるアーカイブ画像データを収集するアーカイブ画像データ収集部と、
前記アーカイブ画像データ収集部で収集されたアーカイブ画像データを、前記機械学習部によって学習させた前記ニューラルネットワークに入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定するアーカイブ画像データ選定部と、
前記アーカイブ画像データ選定部で選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する位置データ回答部と、を有することを特徴とする情報処理システム。
対象建築物の位置データと、実画像データとを対応づけて記憶する対象建築物データベースを有することを特徴とする請求項１に記載の情報処理システム。
前記対象建築物データベースにおける実画像データには、撮影方向データを含むことを特徴とする請求項２に記載の情報処理システム。
位置データと、年代別の住所名とを対応づけて記憶する住所名変遷データベースを有し、
前記アーカイブ画像データ収集部は、前記住所名変遷データベースに記憶される住所名を検索キーとして、画像データサーバーからアーカイブ画像データを収集することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理システム。
アーカイブ画像データ中に存在すると推定された対象建築物が撮影された方向を回答する撮影方向回答部を、を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理システム。