JP6614335B2 - 画像表示システム、端末、方法およびプログラム - Google Patents

Description

本発明は、特定の場所において過去に撮像された画像を表示するシステム、端末、方法およびプログラムに関する。

地域の警備においては、不審物の検知が行われる。不審物は、例えば爆発物や毒物であり、基本的にその場所に通常置かれていない物体である。そのため、不審物の検知にはその物体が通常配置されているか否かの判断が必要である。

特に重要な行事の警備においては、複数回にわたって調査が行われ、各回の調査において人員が異なる場合がある。例えば要人の警備においては、予定ルート上で事前の調査を行う人員と、要人が通過する直前に安全の確認を行う人員は異なることが実際によくある。通常配置されていることが事前に確認された物体であるかどうかを、要人が通過する直前に確認する人員に全て伝えておくことは困難である。そのため、事前の調査の後に不審物が置かれた場合に、要人が通過する直前に確認する人員はその不審物に気付かない、あるいは不審物ではないのに過剰に反応して確認に時間を要するおそれがある。

例えば、事前の調査において予め様々な場所を撮像して画像として蓄積しておき、直前の調査では該画像と現在の風景とを比較することによって、現在の風景中に事前の調査において存在しなかった物体が増えているか否かを調べることが考えられる。この場合には、事前の調査において撮像される多数の画像を、撮像場所と関連付けて保存および提供する技術が求められる。

特許文献１に記載の技術は、撮像場所を示す位置情報に関連付けられた画像をサーバ上に蓄積し、蓄積された画像から現在の位置またはユーザにより指定された位置に近いものをサーバが選択して携帯端末のディスプレイ上に表示させる。

特開２００９−１８７２３３号公報

"準天頂衛星システムユーザインタフェース仕様書"、［online］、平成26年11月28日、宇宙航空研究開発機構、［平成28年2月29日検索］、インターネット〈URL：http://qz-vision.jaxa.jp/USE/is-qzss/DOCS/IS-QZSS_16_J.pdf〉、p.A1-A12 "画像認識サービス「GAZIRU」"、［online］、日本電気株式会社、[平成28年2月29日検索]、インターネット<URL：http://jpn.nec.com/solution/cloud/gazou/pdf/GAZIRU.pdf>

しかしながら、特許文献１に記載の技術は現在位置または指定位置に近い位置で撮像された画像を表示するのみであるため、特定の場所（風景）を撮像した画像を表示するものではない。すなわち、位置のみに基づいて取得された画像は、その位置からあらゆる方向を撮像した多数の画像を含み得る。位置のみに基づいて取得された多数の画像から特定の場所を撮像したものを探すには大きな時間を要する。広い範囲で行われる警備においては１つの場所で消費される時間を低減することが求められるため、特許文献１に記載の技術を、不審物の検知を含む警備に用いることは難しい。

本発明は、上述の問題に鑑みて行われたものであって、特定の場所に対応する画像を、素早くかつ正確に表示することが可能な画像表示システム、端末、方法およびプログラムを提供することを目的とする。

本発明の第１の態様は、画像表示システムであって、携帯端末によって撮像された第１の画像を取得する第１の画像取得部と、前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する情報取得部と、前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する第２の画像取得部と、前記第１の画像と前記第２の画像との差分を検出する差分検出部と、を備える。

本発明の第２の態様は、端末であって、第１の画像を撮像して取得する第１の画像取得部と、位置および向きを含む情報を取得する情報取得部と、前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて取得された前記第２の画像を受信し、前記第１の画像と前記第２の画像との差分を検出する差分検出部と、を備える。

本発明の第３の態様は、方法であって、携帯端末によって撮像された第１の画像を取得する工程と、前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する工程と、前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する工程と、前記第１の画像と前記第２の画像との差分を検出する工程と、を備える。

本発明の第４の態様は、プログラムであって、コンピュータに、携帯端末によって撮像された第１の画像を取得する工程と、前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する工程と、前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する工程と、前記第１の画像と前記第２の画像との差分を検出する工程と、を実行させる。

本発明によれば、第１の画像を取得した携帯端末の位置および向きに基づいて過去に記録された画像を取得するため、携帯端末を有するユーザが向いている特定の場所に対応する第２の画像を容易に取得し、表示することができる。

第１の実施形態に係る画像表示システムの模式図である。 第１の実施形態に係る携帯端末およびサーバの概略構成図である。 第１の実施形態に係る携帯端末を有するユーザの位置を示す模式図である。 現在画像を表示している携帯端末のディスプレイの前面図である。 過去画像を表示している携帯端末のディスプレイの前面図である。 第１の実施形態に係る画像表示システムのブロック図である。 第１の実施形態に係る画像表示方法のフローチャートを示す図である。 周辺情報を表示している携帯端末のディスプレイの前面図である。 第２の実施形態に係る画像表示システムのブロック図である。 第２の実施形態に係る画像表示方法のフローチャートを示す図である。 領域指定を受け付けている携帯端末のディスプレイの前面図である。 物体認識結果を表示している携帯端末のディスプレイの前面図である。 第３の実施形態に係る画像表示システムのブロック図である。 第３の実施形態に係る画像表示方法のフローチャートを示す図である。 指定条件に従って取得された過去画像を表示している携帯端末のディスプレイの前面図である。 第４の実施形態に係る画像表示システムのブロック図である。 第４の実施形態に係る画像表示方法のフローチャートを示す図である。 各実施形態に係る画像表示システムの概略構成図である。

以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。

（第１の実施形態）
図１は、本実施形態に係る画像表示システム１００の模式図である。画像表示システム１００は、携帯端末１１０と、サーバ１５０とを備える。携帯端末１１０およびサーバ１５０は、インターネット等のネットワーク１９０を介して、有線接続または無線接続によって接続される。画像表示システム１００は、その他のサーバ、端末等の機器を含んでよい。携帯端末１１０は、顧客により持ち運ばれ、カメラにより撮像する機能、およびサーバ１５０から取得した画像を表示する機能を有する端末である。サーバ１５０は、任意の場所に設置され、画像の記録および取得を行うサーバである。

図２は、本実施形態に係る携帯端末１１０およびサーバ１５０の概略構成図である。なお、携帯端末１１０およびサーバ１５０は、それぞれ単一の装置により構成されてよく、あるいは有線または無線で接続された２つ以上の物理的に分離された装置により構成されてよい。例えば、サーバ１５０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。例えば、携帯端末１１０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン等である。携帯端末１１０およびサーバ１５０の具体的なハードウェア構成は、以下の構成に限定されるものではなく、様々な種類、形態のものであってよい。

サーバ１５０は、プロセッサ１５１と、メモリ１５２と、記憶装置１５３とを有している。また、サーバ１５０は、高速インターフェースを含む高速コントローラ１５４、および低速インターフェースを含む低速コントローラ１５６を有している。高速コントローラ１５４には、メモリ１５２および高速拡張ポート１５５が接続されている。また、高速コントローラ１５４には、ディスプレイ１５８等の表示装置が接続されている。一方、低速コントローラ１５６には、低速拡張ポート１５７および記憶装置１５３が接続されている。

プロセッサ１５１、メモリ１５２、記憶装置１５３、高速コントローラ１５４、低速コントローラ１５６、および高速拡張ポート１５５は、種々のバスにより相互に接続されている。また、プロセッサ１５１、メモリ１５２、記憶装置１５３、高速コントローラ１５４、低速コントローラ１５６、高速拡張ポート１５５、および低速拡張ポート１５７は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。

プロセッサ１５１は、例えばＣＰＵ（Central Processing Unit）であり、サーバ１５０内で実行する命令を処理することができる。そのような命令には、ディスプレイ１５８等の表示装置上にＧＵＩ（Graphical User Interface）のグラフィック情報を表示するための、メモリ１５２内または記憶装置１５３内に格納された命令が含まれる。

また、複数のプロセッサ、複数のバス、または複数のプロセッサおよび複数のバスを、複数のメモリおよび複数のタイプのメモリとともに適宜使用することができる。また、複数のサーバ１５０を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のサーバ１５０を、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして互いに接続することができる。

メモリ１５２は、サーバ１５０内の情報を格納する。例えば、メモリ１５２は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ１５２は、他のコンピュータ読み取り可能な記録媒体であってよく、例えば、磁気ディスク、光ディスク等であってよい。

記憶装置１５３は、サーバ１５０用のマスストレージを構成することができる。記憶装置１５３は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ読み取り可能な記録媒体であるか、またはそのようなコンピュータ読み取り可能な記録媒体を含む。記憶装置１５３は、ストレージエリアネットワーク、他の構成の装置でもよい。

高速コントローラ１５４は、サーバ１５０に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１５６は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定されるものではない。また、高速コントローラ１５４の一部または全部は、プロセッサ１５１に内蔵されていてもよい。

高速コントローラ１５４は、メモリ１５２、および種々の拡張カードを受け入れることができる高速拡張ポート１５５に接続されている。また、高速コントローラ１５４は、例えばグラフィックスプロセッサまたはアクセラレータを介して、ディスプレイ１５８に接続されている。

低速コントローラ１５６は、記憶装置１５３および低速拡張ポート１５７に接続されている。低速拡張ポート１５７は、例えば、ＵＳＢ（Universal Serial Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線または無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１５７には、キーボード、ポインティングデバイス、スキャナ等の一または複数の入出力装置を接続することができる。また、低速拡張ポート１５７には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一または複数のネットワーク機器を接続することができる。すなわち、低速拡張ポート１５７は、通信インターフェースとして機能する。

サーバ１５０は、上述の形態に限られず、数多くの異なる形態で実施することができる。例えば、サーバ１５０は、標準的なサーバ、またはそのようなサーバのグループの形態の複数台で実施することができる。また、サーバ１５０は、ラックサーバシステムの一部としても実施することもできる。さらに、サーバ１５０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。

なお、サーバ１５０のプロセッサ１５１に実行させるプログラムの一部または全部は、これを記録したＤＶＤ−ＲＯＭ（Digital Versatile Disc-Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。

携帯端末１１０は、プロセッサ１１１、メモリ１１２、ディスプレイ１１３、通信インターフェース１１４、カメラ１１５、および電子コンパス１１６を備える。携帯端末１１０は、追加のストレージとしてマイクロドライブ、フラッシュメモリ等の記憶装置を備えてよい。携帯端末１１０の各構成要素は、種々のバスを使用して相互接続される。携帯端末１１０の構成要素の少なくとも一部は共通のマザーボード上に取り付けられてよく、あるいは他の方法で取り付けられてよい。

プロセッサ１１１は、メモリ１１２内に格納されている命令を含む、携帯端末１１０内の命令を実行することができる。プロセッサ１１１は、１つまたは複数のアナログまたはデジタルプロセッサを備えるチップまたはチップセットとして実装されてよい。プロセッサ１１１は、携帯端末１１０の他の構成要素を制御し、例えばユーザインターフェースの表示、アプリケーションの実行、無線通信等を行う。

プロセッサ１１１は、ディスプレイ１１３に接続されている表示インターフェース１１９および入力インターフェース１２０を通じて、ユーザに対して情報の入出力を行うことができる。ディスプレイ１１３としては、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の任意の表示部を用いてよい。表示インターフェース１１９は、画像および他の情報をユーザに提示するようにディスプレイ１１３を駆動するために必要な回路を備える。また、ディスプレイ１１３はタッチパネルとして構成されており、ユーザによる操作を電気信号として出力する。入力インターフェース１２０は、ディスプレイ１１３上のユーザの操作を示す電気信号を受け取り、それらをプロセッサ１１１に送るために変換する。

メモリ１１２は、携帯端末１１０内の情報を格納する。メモリ１１２は、例えば、コンピュータ読み取り可能な記録媒体、揮発性メモリユニット、不揮発性メモリユニットまたはそれらの組み合わせである。メモリ１１２としては、例えば、フラッシュメモリ、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を用いてよい。

カメラ１１５は、撮像結果の画像をデジタルデータとして出力する撮像部である。カメラ１１５として、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の任意の撮像装置を用いてよい。カメラ１１５は、撮像に必要な撮像素子、電気回路、レンズ等を含む。

電子コンパス１１６は、携帯端末１１０の向きを取得する向き取得部である。電子コンパス１１６として、地磁気センサ等の携帯端末１１０の向きを取得可能な任意の装置を用いてよい。

通信インターフェース１１４は、ＧＰＳ（Global Positioning System）受信機１１７および移動体通信機１１８に接続される。移動体通信機１１８は、ＧＳＭ（Global System for Mobile communications）（登録商標）方式等の音声通信、ＳＭＳ（Short Message Service）等のメッセージング、およびＣＤＭＡ（Code Division Multiple Access）方式等のデータ通信を含む、任意のモードまたはプロトコルを用いて移動体通信を行う。移動体通信機１１８は、移動体通信に必要なプロセッサ、電気回路、アンテナ等を含む。

ＧＰＳ受信機１１７は、携帯端末１１０の位置を取得する位置取得部である。ＧＰＳ受信機１１７は、ＧＰＳから携帯端末１１０の位置を受信するのに必要なプロセッサ、電気回路、アンテナ等を含む。本実施形態では簡略化のために、位置として平面地図表示における水平方向の座標（所定の場所を原点としたｘ座標およびｙ座標）を用いるが、それに代えて緯度および経度等の任意の位置表現を用いてよい。さらに位置として、水平方向の座標に加えて高さを用いてよい。高さ（高度）は、ＧＰＳ信号に基づいて算出できる。これにより、高さ方向（例えば、ビル内の階層）の位置を区別することができ、後述の画像表示方法において水平方向の座標に加えて高さ毎に異なる画像を取得することが可能になる。

ＧＰＳでは、人工衛星からの信号に基づいて位置を算出するため、屋内において位置を取得できない場合がある。そのため、ＧＰＳに代えてまたは加えて、地上に設けられた送信機から送信された位置情報の信号を受信することによって位置を取得するＩＭＥＳ（Indoor MEssaging System）（非特許文献１）、あるいは無線ＬＡＮ（Local Area Network）を利用した測位技術等を用いてもよい。

携帯端末１１０は、音声インターフェース１２１を使用して音声で通信することができる。音声インターフェース１２１は、マイクおよびスピーカに接続される。音声インターフェース１２１は、マイクを通じてユーザから発話情報を受け取り、それをプロセッサ１１１が処理可能なデジタル情報に変換する。また、音声インターフェース１２１は、例えば、スピーカを通じてユーザに向けて可聴音を発生させることができる。音声インターフェース１２１が出力する音声は、音声通話からの音声、メモリ１１２に記録された音声(例えば、音声メッセージ、音楽ファイル等)、または携帯端末１１０上で動作するアプリケーションによって生成される音声を含む。

携帯端末１１０には、拡張インターフェース１２２および外部インターフェース１２３が設けられる。拡張インターフェース１２２には、例えば拡張メモリが接続される。拡張メモリは、携帯端末１１０に対する付加的なストレージとして機能し、携帯端末１１０で動作するプログラムまたは他の情報を格納してよい。また、拡張メモリはセキュア情報を格納してよく、その場合にはセキュリティモジュールとして機能する。

外部インターフェース１２３は、プロセッサ１１１と通信するように構成され、有線通信または無線通信を行うことができる。外部インターフェース１２３は、例えば携帯端末１１０と他のデバイスとの間でＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信や無線ＬＡＮ等の無線通信を行う。外部インターフェース１２３として、複数のインターフェースが組み合わせて用いられてもよい。

図３は、携帯端末１１０を有するユーザの位置を示す模式図である。ユーザは、位置Ａ１において、特定の向きＡ２に携帯端末１１０のカメラ１１５を向ける。この状態で、携帯端末１１０はディスプレイ１１３上に、カメラ１１５により撮像された画像（現在画像または第１の画像という）を逐次表示する。ユーザは通常カメラ１１５を前方に構えて撮像を行うため、現在画像の撮像範囲は携帯端末１１０を有するユーザの現在の視野に対応する。以下では、ユーザがカメラ１１５を前方に構えた状態における携帯端末１１０の位置および向きを、携帯端末１１０の現在の位置および向きという。また、ユーザが携帯端末１１０で所定の操作を行うと、携帯端末１１０はディスプレイ１１３上に、現在画像に類似する場所を過去に撮像した画像（過去画像または第２の画像という）を表示する。

図４は、現在画像Ｂ１を表示している携帯端末１１０のディスプレイ１１３の前面図である。本実施形態に係る画像表示プログラムが起動されると、携帯端末１１０は図４のようにディスプレイ１１３上に現在画像を表示している状態になる。ディスプレイ１１３は、現在画像Ｂ１、現在画像であることを示す文字列Ｂ４、および過去画像を表示するためのボタンＢ５を表示する。

現在画像Ｂ１は、カメラ１１５により撮像された画像である。現在画像Ｂ１内には、例えば物体Ｂ２の像が含まれている。さらに現在画像Ｂ１内には、類似する場所を撮像した過去画像との差分を示す枠Ｂ３が含まれている。現在画像と過去画像との間の差分の検出方法については後述する。図４の例では、物体Ｂ２は過去画像（図５）に含まれず、差分として検出されたため、物体Ｂ２を含む領域を取り囲む枠Ｂ３が表示されている。

ボタンＢ５はディスプレイ１１３に表示された仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。ユーザによりボタンＢ５が押下されると、携帯端末１１０は図５のようにディスプレイ１１３上に過去画像を表示している状態に遷移する。

図５は、過去画像Ｂ６を表示している携帯端末１１０のディスプレイ１１３の前面図である。ディスプレイ１１３は、過去画像Ｂ６、過去画像Ｂ６の撮像時刻を示す文字列Ｂ８、および現在画像を表示するためのボタンＢ９を表示する。

過去画像Ｂ６は、サーバ１５０から受信した、現在の位置および向きに類似する位置および向きに関連付けられた過去の画像である。過去画像Ｂ６の選択方法については後述する。過去画像Ｂ６の撮像時刻を示す文字列Ｂ８は、過去画像Ｂ６とともにサーバ１５０から受信される。

過去画像Ｂ６内には、現在画像との差分を示す枠Ｂ７が含まれている。過去画像Ｂ６中の枠Ｂ７は、現在画像Ｂ１中の枠Ｂ３に対応する位置に表示されている。ユーザは、このように差分が強調された現在画像Ｂ１および過去画像Ｂ６を見比べることによって、現在画像Ｂ１中の物体Ｂ２は新たに配置されており、不審物の可能性があると判断することができる。

ボタンＢ９はディスプレイ１１３に表示された仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。ユーザによりボタンＢ９が押下されると、携帯端末１１０は図４のようにディスプレイ１１３上に現在画像を表示している状態に遷移する。

図６は、本実施形態に係る画像表示システム１００のブロック図である。図６において、矢印は主なデータの流れを示しており、図６に示したもの以外のデータの流れがあってよい。図６において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。

携帯端末１１０は、現在画像取得部１１０１、情報取得部１１０２、差分検出部１１０３、および画像表示部１１０４を備える。携帯端末１１０において、現在画像取得部１１０１、情報取得部１１０２、差分検出部１１０３、および画像表示部１１０４は、それぞれプロセッサ１１１が実行可能なプログラムとしてメモリ１１２に記憶されている。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１１１は現在画像取得部１１０１、情報取得部１１０２、差分検出部１１０３、および画像表示部１１０４として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

サーバ１５０は、類似度算出部１５０１、過去画像取得部１５０２および画像記憶部１５０３を備える。サーバ１５０において、類似度算出部１５０１および過去画像取得部１５０２は、プロセッサ１５１が実行可能なプログラムとしてメモリ１５２または記憶装置１５３に記憶されている。また、画像記憶部１５０３は、メモリ１５２または記憶装置１５３の一部である。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１５１は類似度算出部１５０１および過去画像取得部１５０２として機能し、メモリ１５２または記憶装置１５３は画像記憶部１５０３として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

現在画像取得部１１０１（第１の画像取得部）は、ユーザにより本実施形態に係る画像表示方法のプログラムが実行されたことを契機として、カメラ１１５を用いて現在画像を撮像し、メモリ１１２に記録する。

情報取得部１１０２は、ＧＰＳ受信機１１７によって、携帯端末１１０の現在、すなわち現在画像取得時の位置を取得する。本実施形態では簡略化のために、位置として平面地図表示における水平方向の座標（所定の場所を原点としたｘ座標およびｙ座標）を用いる。それに代えて、位置として緯度および経度等の任意の位置表現を用いてよい。さらに位置として、水平方向の座標に加えて高さを用いてよい。同時に、情報取得部１１０２は、電子コンパス１１６によって、携帯端末１１０の現在、すなわち現在画像取得時の向きを取得する。向きとは、カメラ１１５が撮像している方向である。本実施形態では簡略化のために、向きとして地面に水平な方向の角度（方位角）を用いる。方位角に加えて、向きとして地面に垂直な方向の角度（仰俯角）を用いてよい。その後、情報取得部１１０２は、移動体通信機１１８を用いて、取得した現在の位置および向きを含む情報をサーバ１５０に送信する。情報取得部１１０２は、所定の時間毎（例えば１秒毎）に現在の位置および向きを取得し、逐次あるいは現在の位置および向きが変化したタイミングで、取得した現在の位置および向きを含む情報をサーバ１５０に送信する。

画像記憶部１５０３は、過去画像と、該過去画像の撮像範囲の位置および向きとを予め記録している。以下では、過去画像の撮像範囲の位置および向きを、単に過去画像の位置および向きという。画像記憶部１５０３は、過去画像を電子データである画像ファイルとして記録する。各過去画像には一意の識別子（例えばファイル名）が付与されている。さらに画像記憶部１５０３は、過去画像の位置および向きならびに過去画像の撮像時刻を、該過去画像の識別子に関連付けて、例えばデータベースのテーブルとして記録する。

類似度算出部１５０１は、携帯端末１１０から受信した現在の位置および向き、ならびに画像記憶部１５０３に予め記録されている過去画像に関連付けられた位置および向きを用いて、所定の算出基準に基づいて、それらの間の類似性を示す類似度を算出する。

類似度算出部１５０１による例示的な類似度の算出方法を以下に説明する。類似度算出部１５０１は、画像記憶部１５０３に予め記録されているそれぞれの過去画像について、式（１）を用いて類似度Ｓを算出する。

Ｐ０は現在の向きであり、Ｐは過去画像の向きである。Ｑ０は現在の位置であり、Ｑは過去画像の位置である。αは向きおよび位置の重み付けを調節するための重み係数である。本実施形態では向きは方位角により表されるため、Ｐ０およびＰは角度である。本実施形態では位置はｘｙ座標により表されるため、Ｑ０およびＱはそれぞれ２次元座標であり、（Ｑ０−Ｑ）^２は現在の位置と過去画像の位置との間の距離の２乗を意味する。

式（１）より、類似度Ｓは、対象の過去画像の位置および向きが、携帯端末１１０の現在の位置および向きに近いほど低い値となる。すなわち、類似度Ｓは、対象の過去画像と携帯端末との間の位置および向きの類似性を示す指標である。ここに示す類似度Ｓの定義は一例であり、現在の位置および向きと過去画像の位置および向きとの類似性を表す任意の定義を用いてよい。式（１）では類似度Ｓが低いほど類似性が高いが、逆になるように類似度Ｓが定義されてもよい。

類似度算出部１５０１は、画像記憶部１５０３に記録されている全ての過去画像について類似度Ｓを算出してよく、あるいは条件を満たす一部の過去画像について類似度Ｓを算出してよい。例えば、携帯端末１１０の現在の位置との距離が所定値以下の位置を有する過去画像のみを類似度Ｓの計算対象とすることによって、計算量を低減することができる。

過去画像取得部１５０２（第２の画像取得部）は、画像記憶部１５０３から、類似度Ｓを算出した過去画像のうち、類似度Ｓが最も小さい（すなわち類似性が最も高い）過去画像を取得する。その後、過去画像取得部１５０２は、通信インターフェースを用いて、取得した過去画像を携帯端末１１０に送信する。

差分検出部１１０３は、カメラ１１５により撮像された現在画像およびサーバ１５０から受信した過去画像から、それらの間の差分を検出する。差分の検出方法として、既知の方法を用いてよい。例えば、まず差分検出部１１０３は、現在画像および過去画像のそれぞれにおいて特徴点を抽出し、該特徴点が一致するように現在画像および過去画像の位置合わせを行う。特徴点として、現在画像および過去画像中の輝度または色が急激に変化する点（エッジ）を用いることができる。位置合わせの精度を向上させるために、予め現在画像および過去画像に対して、色調、角度、位置および倍率の変更等の補正を行ってよい。

次に差分検出部１１０３は、位置合わせされた現在画像および過去画像において、同じ位置にある画素間で輝度値の差を算出する。そして、差分検出部１１０３は、輝度値の差が所定の値以上である画素が連続している領域のうち、面積が所定の値以上のものを、現在画像および過去画像の差分として検出する。差分の検出に用いる輝度値の差の値および面積の値は、実験やシミュレーションによって適宜決定されてよい。差分検出部１１０３は、現在画像および過去画像から１つまたは複数の差分を検出してよい。

差分検出部１１０３へ入力される現在画像および過去画像は、位置および向きに基づいて取得されたものであるため、互いによく類似している。そのため、差分検出部１１０３は、現在画像および過去画像の位置および向きが近い状態から位置合わせおよび差分の検出を開始することができるため、差分を高精度に検出することができる。

差分検出部１１０３は、検出した差分の大きさおよび位置に基づいて、現在画像上に表示する枠Ｂ３および過去画像上に表示する枠Ｂ７の大きさおよび位置を決定する。差分検出部１１０３は、位置合わせの際に現在画像および過去画像に対して角度、位置および倍率の変更等の補正を行った場合には、該補正を補償して枠Ｂ３、Ｂ７の大きさおよび位置を決定する。例えば、位置合わせのために現在画像および過去画像を相対的に移動した場合には、移動前の現在画像および過去画像上で差分を示すように枠Ｂ３、Ｂ７の大きさおよび位置を算出する。

本実施形態では差分検出部１１０３は携帯端末１１０に設けられているが、サーバ１５０に設けられてもよい。その場合には、サーバ１５０は差分検出部１１０３による差分検出結果を、携帯端末１１０に送信する。

画像表示部１１０４は、図４のような現在画像表示状態および図５のような過去画像表示状態を取ることができ、現在画像または過去画像をディスプレイ１１３上に表示する。現在画像表示状態および過去画像表示状態は、ディスプレイ１１３上のボタンＢ５、Ｂ９が押下されることによって切り替えられる。

現在画像表示状態において、画像表示部１１０４は、図４のようにディスプレイ１１３上に現在画像取得部１１０１により取得された現在画像Ｂ１を表示する。それと同時に、画像表示部１１０４は、差分検出部１１０３によって決定された差分を示す枠Ｂ３を現在画像Ｂ１上に重畳して表示する。差分検出部１１０３によって差分が検出されなかった場合には、画像表示部１１０４は枠Ｂ３を表示しない。

過去画像表示状態において、画像表示部１１０４は、図５のようにディスプレイ１１３上にサーバ１５０から受信した過去画像Ｂ６を表示する。それと同時に、画像表示部１１０４は、差分検出部１１０３によって決定された差分を示す枠Ｂ７を過去画像Ｂ６上に重畳して表示する。差分検出部１１０３によって差分が検出されなかった場合には、画像表示部１１０４は枠Ｂ７を表示しない。

上述の差分の表示方法は一例であり、ユーザが差分を認識可能な任意の方法で差分を表示してよい。本実施形態において、画像表示部１１０４は現在画像Ｂ１および過去画像Ｂ６の両方において差分を表示するが、現在画像Ｂ１および過去画像Ｂ６の少なくとも一方において差分を表示すればよい。

差分を示す枠Ｂ３および枠Ｂ７は、図４および５のような矩形に限られず、多角形、円形等の任意の形状でよい。差分を示す枠Ｂ３および枠Ｂ７に代えてまたは加えて、画像表示部１１０４は現在画像Ｂ１または過去画像Ｂ６の色彩によって差分を表示してよい。この場合には、差分を含む領域とその他の領域との間の色彩を変化させること、例えば現在画像Ｂ１または過去画像Ｂ６中の差分を含む領域をカラー表示にし、その他の領域を白黒表示にすることによって差分を表示できる。

現在画像Ｂ１または過去画像Ｂ６の上に差分を示す枠を示すことに代えて、画像表示部１１０４は現在画像Ｂ１または過去画像Ｂ６中の差分を含む一部の領域のみをディスプレイ１１３上に表示することによって、差分を表示してよい。

画像記憶部１５０３に記録されている過去画像として、位置および向き毎に記録された過去画像だけでなく、より広い角度範囲について撮像されたパノラマ画像を用いてよい。パノラマ画像は、１つの位置において一般的なカメラ１１５の撮像範囲よりも広い角度範囲を撮像したもの、あるいは３６０度の全範囲を撮像したものを含む。パノラマ画像は、例えば同じ位置において異なる向きで撮像した複数の画像を合成することによって作製される。類似度算出部１５０１は、携帯端末１１０の現在の位置に近いパノラマ画像が存在する場合に、該パノラマ画像から携帯端末１１０の現在の向きに対応する方向の一部を切り出したものを、過去画像として選択してよい。また、類似度算出部１５０１は、該パノラマ画像の全部を過去画像として選択してもよい。その場合には、画像表示部１１０４は受信したパノラマ画像のうち、携帯端末１１０の現在の向きに対応する方向の部分を表示してよい。

このように位置だけでなく向きを用いて過去画像の選択することによって、携帯端末１１０は、カメラ１１５の現在の撮像範囲（すなわち、ユーザの視野）に対応する過去画像を容易に表示することができる。さらに、位置および向きに基づいて類似した現在画像および過去画像を取得できるため、携帯端末１１０は現在画像と過去画像との差分を高精度に検出できる。ユーザは、表示された差分に基づいて容易に不審物を発見することができる。

図７は、本実施形態に係る画像表示方法のフローチャートを示す図である。画像表示方法は、携帯端末１１０およびサーバ１５０により協同して行われる。画像表示方法は、例えば携帯端末１１０上でボタン押下等の所定の操作が検知された場合に開始される。

まず、現在画像取得部１１０１は、カメラ１１５を用いて現在画像を撮像し、メモリ１１２に記録する（ステップＳ１１）。次に、情報取得部１１０２は、ＧＰＳ受信機１１７によって携帯端末１１０の現在の位置を取得するとともに、電子コンパス１１６によって携帯端末１１０の現在の向きを取得する（ステップＳ１２）。情報取得部１１０２は、移動体通信機１１８を用いて、取得した現在の位置および向きを含む情報をサーバ１５０に送信する。ステップＳ１１およびステップＳ１２の順序は逆でもよく、あるいは並行して行われてもよい。

類似度算出部１５０１は、携帯端末１１０から受信した現在の位置および向きを用いて、例えば上述の式（１）に基づいて、画像記憶部１５０３に予め記録されている各過去画像に対する類似度Ｓを算出する（ステップＳ１３）。

過去画像取得部１５０２は、画像記憶部１５０３から、ステップＳ１２で類似度Ｓを算出した過去画像のうち、類似度Ｓが最も小さい１つの過去画像を取得する（ステップＳ１４）。過去画像取得部１５０２は、通信インターフェースを用いて、取得した過去画像を携帯端末１１０に送信する。

差分検出部１１０３は、ステップＳ１１で取得された現在画像およびステップＳ１４で取得された過去画像から、それらの間の差分を検出する（ステップＳ１５）。差分検出部１１０３による差分の検出結果は、差分を示すように現在画像上または過去画像上に表示される枠の大きさおよび位置を含む。

本フローチャートの開始時に現在画像を表示するためのボタンが押下された場合には（ステップＳ１６のＹＥＳ）、画像表示部１１０４は、ディスプレイ１１３上にカメラ１１５により撮像された現在画像とともに、ステップＳ１５で検出された差分を示す枠を表示する（ステップＳ１７）。

本フローチャートの開始時に現在画像を表示するためのボタンが押下されなかった場合、すなわち過去画像を表示するためのボタンが押下された場合には（ステップＳ１６のＮＯ）、画像表示部１１０４は、ディスプレイ１１３上にサーバ１５０から受信した過去画像とともに、ステップＳ１５で検出された差分を示す枠を表示する（ステップＳ１８）。

携帯端末１１０のプロセッサ１１１およびサーバ１５０のプロセッサ１５１は、図７に示す画像表示方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１１およびプロセッサ１５１は、図７に示す画像表示方法を実行するためのプログラムをメモリ１１２、メモリ１５２または記憶装置１５３から読み出し、該プログラムを実行して携帯端末１１０およびサーバ１５０の各部を制御することによって図７に示す画像表示方法を実行する。

本実施形態において、差分の検出および表示を行わず、単に現在画像およびそれに対応する過去画像を表示してもよい。その場合には、ユーザは目視で現在画像および過去画像の差違を調査し、不審物の発見を行う。

本実施形態に係る画像表示システム１００によれば、携帯端末１１０は、カメラ１１５を向けるだけで、カメラ１１５の現在の撮像範囲に類似する場所を撮像した過去画像を容易に表示することができる。特許文献１に記載された技術のように位置だけを用いて画像を取得する場合には、同じ位置で様々な方向を撮像した画像の区別ができないため、ユーザの現在の視野に対応する画像を選択することはできない。それに対して、本実施形態に係る画像表示システム１００は、携帯端末１１０の位置だけでなく向きを用いて類似度を算出して過去画像を取得するため、カメラ１１５の現在の撮像範囲、すなわちユーザの視野に対応する過去画像を表示することができる。さらに、画像表示システム１００は現在画像と過去画像との差分を自動的に表示するため、ユーザは現在画像と過去画像との間で差違のある部分を容易に認識することができる。

本実施形態に係る画像表示システム１００を警備に用いる場合には、ユーザの現在の視野に対応する過去画像を素早くかつ正確に取得し、さらに現在の状態と過去の状態との差分を見ることによって、容易に不審物の検知を行うことができる。

本実施形態に係る画像表示システム１００を、警備に限られず、観光の用途に応用することができる。過去画像としてその景色に対応する様々な季節および年月の画像を記録しておくことによって、同じ景色について様々な季節または様々な時代の過去画像をユーザに提供することができる。また、過去画像としてその景色に関連付けられた絵画（風景画）を記録しておくことによって、その景色が描かれた絵画をユーザに提供することができる。この場合には、過去画像に関連付けられた位置および向きとして、絵画の描画範囲の位置および向きを用いればよい。このように、画像表示システム１００は、特定の場所、すなわち特定の位置および向きに関連付けられた画像を、容易にかつ正確に表示することができる。

（第２の実施形態）
本実施形態では、予め記録された過去画像の位置および向きを地図上に表示し、そして現在の位置に近い過去画像が存在することをユーザに通知する。本実施形態に係る画像表示システム２００は、第１の実施形態と同様の装置構成を備える。

図８は、周辺情報を表示している携帯端末１１０のディスプレイ１１３の前面図である。本実施形態に係る画像表示プログラムが起動されると、携帯端末１１０は図８のようにディスプレイ１１３上に周辺情報を表示している状態になる。ディスプレイ１１３は、周辺情報として、地図Ｃ１、現在マーカＣ２、位置マーカＣ３、向きマーカＣ４およびパノラママーカＣ５を表示する。

地図Ｃ１は、携帯端末１１０の現在の位置を中心とした所定の範囲の地図である。携帯端末１１０の現在の位置は、ＧＰＳ受信機１１７によって所定の時間毎（例えば１秒毎）に取得される。地図Ｃ１は携帯端末１１０のメモリ１１２に記録されたものを用いてよく、あるいはネットワーク１９０を介して随時取得されてよい。携帯端末１１０の現在の位置に対応する地図Ｃ１上の地点に、現在マーカＣ２が表示される。

各過去画像の位置に対応する地図Ｃ１上の地点に、位置マーカＣ３が表示される。過去画像は、サーバ１５０に予め記録された過去画像のうち、現在の位置を中心とした所定の範囲に含まれるものである。さらに、それぞれの過去画像の位置マーカＣ３の近傍には、該過去画像の向きを示す少なくとも１つの向きマーカＣ４が表示される。１つの位置で複数の向きの過去画像が記録されている場合には、１つの位置マーカＣ３に対して複数の向きマーカＣ４が表示されてよい。本実施形態では向きマーカＣ４は矢印形状を有し、矢印の先の方向が向きに対応する。向きマーカＣ４による向きの表現はこれに限られず、図形、文字、またはそれらの組み合わせでよい。また、過去画像として３６０°のパノラマ画像が記録されている場合には、向きマーカＣ４の代わりに全方位を示すパノラママーカＣ５が表示される。本実施形態ではパノラママーカＣ５は円形の矢印形状を有するが、これに限られず任意の表現でよい。過去画像の位置および向きは、携帯端末１１０において、所定の時間毎または現在の位置が変化したタイミングでサーバ１５０から受信される。

図９は、本実施形態に係る画像表示システム２００のブロック図である。図９において、矢印は主なデータの流れを示しており、図９に示したもの以外のデータの流れがあってよい。図９において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。

携帯端末１１０は、情報取得部２１０１、周辺情報表示部２１０２、および近接通知部２１０３を備える。携帯端末１１０において、情報取得部２１０１、周辺情報表示部２１０２、および近接通知部２１０３は、それぞれプロセッサ１１１が実行可能なプログラムとしてメモリ１１２に記憶されている。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１１１は情報取得部２１０１、周辺情報表示部２１０２、および近接通知部２１０３として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

サーバ１５０は、周辺情報取得部２５０１および画像記憶部２５０２を備える。サーバ１５０において、周辺情報取得部２５０１は、プロセッサ１５１が実行可能なプログラムとしてメモリ１５２または記憶装置１５３に記憶されている。また、画像記憶部２５０２は、メモリ１５２または記憶装置１５３の一部である。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１５１は周辺情報取得部２５０１として機能し、メモリ１５２または記憶装置１５３は画像記憶部２５０２として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

情報取得部２１０１は、ユーザにより本実施形態に係る画像表示方法のプログラムが実行されたことを契機として、携帯端末１１０の現在の位置（必要であれば、それに加えて現在の向き）を取得する。位置および向きの定義および取得方法は第１の実施形態と同様である。その後、情報取得部２１０１は、移動体通信機１１８を用いて、取得した現在の位置を含む情報をサーバ１５０に送信する。情報取得部２１０１は、所定の時間毎（例えば１秒毎）に現在の位置を取得し、逐次あるいは現在の位置が変化したタイミングで、取得した現在の位置を含む情報をサーバ１５０に送信する。

画像記憶部２５０２は、過去画像と、該過去画像の位置および向きとを予め記録している。画像記憶部２５０２は、過去画像を電子データである画像ファイルとして記録する。各過去画像には一意の識別子（例えばファイル名）が付与されている。さらに画像記憶部２５０２は、過去画像の位置および向きならびに過去画像の撮像時刻を、該過去画像の識別子に関連付けて、例えばデータベースのテーブルとして記録する。

周辺情報取得部２５０１は、画像記憶部２５０２に予め記録されている過去画像のうち、携帯端末１１０から受信した現在の位置から所定の距離以内（例えば１００ｍ以内）のものを抽出し、抽出された過去画像の識別子ならびに位置および向きを取得する。現在の位置の周辺にある過去画像の抽出基準としては、所定の距離以内のものに限られず、近い順に所定の個数のもの、現在の位置と同じ区画内（例えば同じ番地の住所を有する区画内）のもの等、現在の位置に近いことを示すことが可能な任意の基準を用いてよい。周辺情報取得部２５０１は、抽出された過去画像の識別子ならびに位置および向きを含む周辺情報を携帯端末１１０に送信する。

周辺情報表示部２１０２は、情報取得部２１０１により取得された現在の位置およびサーバ１５０から受信した周辺情報を用いて、ディスプレイ１１３上に周辺情報を表示する。具体的には図８のように、周辺情報表示部２１０２は、メモリ１１２から読み出されたまたはネットワーク１９０を介して取得された地図Ｃ１上に、現在の位置を示す現在マーカＣ２とともに、周辺情報に含まれる過去画像の位置および向きを示す位置マーカＣ３および向きマーカＣ４（またはパノラママーカＣ５）を表示する。

１つの過去画像の位置について１つの位置マーカＣ３が表示されてよく、あるいは互いに近似する（例えば５ｍ以内の）複数の過去画像の位置について１つの位置マーカＣ３が表示されてよい。複数の過去画像について１つの位置マーカＣ３が表示される場合には、該複数の過去画像の位置の重心を位置マーカＣ３の位置とすればよい。また、１つの過去画像の向きについて１つの向きマーカＣ４が表示されてよく、あるいは互いに近似する（例えば９０°以内の）複数の過去画像の向きについて１つの向きマーカＣ４が表示されてよい。複数の過去画像の向きをまとめる場合には、例えば方位角（北方向が０°）が０°以上４５°未満または３１５°以上３６０°未満の場合は北方向の矢印とし、方位角が４５°以上１３５°未満の場合は東方向の矢印とし、方位角が１３５°以上２２５°未満の場合は南方向の矢印とし、方位角が２２５°以上３１５°未満の場合は西方向の矢印としてよい。

近接通知部２１０３は、サーバ１５０から受信した周辺情報を用いて、情報取得部２１０１により取得された現在の位置から所定の距離以内（例えば１０ｍ以内）の過去画像が存在する場合に、過去画像に近接していることをユーザに通知する。例えば、近接通知部２１０３は、音声インターフェース１２１を使用して音声を出力する。音声は、ビープ音、音楽、声等を含んでよい。過去画像への近接を通知する方法として、音声出力に限らず、ディスプレイ１１３への表示、ランプの発光、本体の振動等の任意の方法を用いてよい。

周辺情報表示部２１０２による周辺情報の表示と、近接通知部２１０３による近接の通知とは少なくとも一方が行われればよい。また、周辺情報表示部２１０２による周辺情報の表示および近接通知部２１０３による近接の通知は、任意の順序で行われてよい。例えば、周辺情報表示部２１０２による周辺情報の表示中に、近接通知部２１０３による近接の通知を行ってよい。逆に、近接通知部２１０３による近接の通知を行った後に、周辺情報表示部２１０２による周辺情報の表示を開始してよい。

図１０は、本実施形態に係る画像表示方法のフローチャートを示す図である。画像表示方法は、携帯端末１１０およびサーバ１５０により協同して行われる。画像表示方法は、例えば携帯端末１１０上でボタン押下等の所定の操作が検知された場合に開始される。

まず、情報取得部２１０１は、ＧＰＳ受信機１１７によって携帯端末１１０の現在の位置を取得する（ステップＳ２１）。情報取得部２１０１は、移動体通信機１１８を用いて、取得した現在の位置を含む情報をサーバ１５０に送信する。

周辺情報取得部２５０１は、画像記憶部２５０２に予め記録されている過去画像のうち、携帯端末１１０から受信した現在の位置から所定の距離以内（例えば１００ｍ以内）のものを抽出し、抽出された過去画像の識別子ならびに位置および向きを取得する（ステップＳ２２）。周辺情報取得部２５０１は、通信インターフェースを用いて、抽出された過去画像の識別子ならびに位置および向きを含む周辺情報を携帯端末１１０に送信する。

周辺情報表示部２１０２は、ステップＳ２１で取得された現在の位置およびサーバ１５０から受信した周辺情報を用いて、ディスプレイ１１３上に周辺情報を表示する（ステップＳ２３）。周辺情報は、例えば図８のように表示される。

サーバ１５０から受信した周辺情報に含まれるいずれかの過去画像の位置が、ステップＳ２１で取得された現在の位置から所定の距離以内（例えば１０ｍ以内）である場合（ステップＳ２４のＹＥＳ）、近接通知部２１０３は、音声インターフェース１２１を使用して音声を出力し、過去画像の位置が近いことをユーザに通知する（ステップＳ２５）。

サーバ１５０から受信した周辺情報に含まれる全ての過去画像の位置が、ステップＳ２１で取得された現在の位置から所定の距離より大きい場合（ステップＳ２４のＮＯ）またはステップＳ２５の終了後であって、ユーザから終了の指示を受けていない場合（ステップＳ２６のＮＯ）には、ステップＳ２１に戻って処理を繰り返す。一方、ユーザから終了の指示を受けた場合（ステップＳ２６のＹＥＳ）には本実施形態に係る処理を終了する。

携帯端末１１０のプロセッサ１１１およびサーバ１５０のプロセッサ１５１は、図１０に示す画像表示方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１１およびプロセッサ１５１は、図１０に示す画像表示方法を実行するためのプログラムをメモリ１１２、メモリ１５２または記憶装置１５３から読み出し、該プログラムを実行して携帯端末１１０およびサーバ１５０の各部を制御することによって図１０に示す画像表示方法を実行する。

本実施形態に係る画像表示方法は、第１の実施形態と組み合わせて用いることができる。この場合には、本実施形態によってユーザが地図上で確認した過去画像の位置に移動した場合、またはユーザが近くに過去画像が存在することを通知された場合に、第１の実施形態に係る画像表示方法によって携帯端末上に現在画像と過去画像との差分の表示を開始してよい。あるいは、本実施形態に係る画像表示方法を単独で実行してよい。

本実施形態によれば、ユーザはディスプレイ１１３上に表示された地図を見ることまたは携帯端末１１０からの通知を受けることによって、現在地周辺の過去画像の位置を知ることができる。これにより、ユーザは積極的に過去画像の存在する場所に行って、その場所で記録された過去画像を取得し、あるいは第１の実施形態のように差分を見ることができる。

（第３の実施形態）
本実施形態では、物体認識技術によって、現在画像または過去画像に含まれる物体の情報を表示する。本実施形態に係る画像表示システム３００は、第１の実施形態と同様の装置構成を備える。

図１１は、領域指定を受け付けている携帯端末１１０のディスプレイ１１３の前面図である。本実施形態に係る画像表示プログラムが起動されると、携帯端末１１０は図１１のようにディスプレイ１１３上で領域指定を受け付けている状態になる。ディスプレイ１１３は、過去画像Ｄ１、指定領域を示す枠Ｄ３および領域を決定するボタンＤ４を表示する。

過去画像Ｄ１は、例えば第１の実施形態に係る画像表示方法によって取得され、サーバ１５０から受信される。過去画像Ｄ１の代わりに現在画像を用いてもよい。過去画像Ｄ１上には、物体認識の対象として指定する領域を示す枠Ｄ３が表示されている。枠Ｄ３の位置および大きさは、ユーザによる操作（例えばタッチパネル上のスワイプ）に応じて変更可能である。図１１の状態では、過去画像Ｄ１中の物体Ｄ２を囲むように、枠Ｄ３が設定されている。

ボタンＤ４はディスプレイ１１３に表示された仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。ユーザによりボタンＤ４が押下されると、携帯端末１１０は図１２のようにディスプレイ１１３上に物体認識結果を表示している状態に遷移する。

図１２は、物体認識結果を表示している携帯端末１１０のディスプレイ１１３の前面図である。ディスプレイ１１３は、過去画像Ｄ１、指定領域を示す枠Ｄ３、物体認識結果Ｄ５および領域決定に戻るためのボタンＤ６を表示する。図１１と同様に、過去画像Ｄ１の代わりに現在画像を用いてよい。

図１１で決定された領域を示す枠Ｄ３の近傍には、後述の物体認識方法によって判定された物体認識結果Ｄ５が表示される。物体認識結果Ｄ５は、物体の名称の文字列を含む。ここでは、物体Ｄ２は公設のごみ箱であるという旨の物体認識結果Ｄ５が表示されている。物体認識結果Ｄ５は、物体の名称以外に、物体に関する付加情報や、類似する物体の画像等、物体に係る任意の情報を含んでよい。

ボタンＤ６はディスプレイ１１３に表示された仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。ユーザによりボタンＤ６が押下されると、携帯端末１１０は図１１のようにディスプレイ１１３上で領域指定を受け付けている状態に再び遷移する。

図１３は、本実施形態に係る画像表示システム３００のブロック図である。図１３において、矢印は主なデータの流れを示しており、図１３に示したもの以外のデータの流れがあってよい。図１３において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。

携帯端末１１０は、領域指定部３１０１および画像表示部３１０２を備える。携帯端末１１０において、領域指定部３１０１および画像表示部３１０２は、それぞれプロセッサ１１１が実行可能なプログラムとしてメモリ１１２に記憶されている。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１１１は領域指定部３１０１および画像表示部３１０２として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

サーバ１５０は、物体認識部３５０１および物体情報記憶部３５０２を備える。サーバ１５０において、物体認識部３５０１は、プロセッサ１５１が実行可能なプログラムとしてメモリ１５２または記憶装置１５３に記憶されている。また、物体情報記憶部３５０２は、メモリ１５２または記憶装置１５３の一部である。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１５１は物体認識部３５０１として機能し、メモリ１５２または記憶装置１５３は物体情報記憶部３５０２として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

領域指定部３１０１は、ユーザにより本実施形態に係る画像表示方法のプログラムが実行されたことを契機として、現在画像または過去画像上において物体認識の対象とする領域の指定を受け付ける。ユーザにより領域が決定されると、領域指定部３１０１は、現在画像または過去画像から指定された部分を切り出した画像領域をサーバ１５０に送信する。なお、物体認識を行うサーバ１５０中に過去画像の記憶部が設けられている場合には、携帯端末１１０はサーバ１５０へ画像領域を送信する必要はなく、代わりに指定された領域の位置および大きさを送信すればよい。

物体認識部３５０１は、既知の物体認識方法（例えば非特許文献２に記載の方法）を用いて、携帯端末１１０から受信した画像領域に含まれている物体の認識を行う。例えば、まず物体認識部３５０１は携帯端末１１０から受信した画像領域において特徴情報（エッジ等）を抽出する。また、物体情報記憶部３５０２には、様々な物体の特徴情報とともに、該物体の名称や付加情報が予め記録されている。そして、物体認識部３５０１は、画像領域から抽出された特徴情報と、物体情報記憶部３５０２に記録された物体の特徴情報とを比較し、所定の規則に従って画像領域に含まれる物体を判定する。本実施形態に係る物体認識方法は、具体的な方法に限定されず、画像から物体を認識可能な任意の方法が用いられてよい。物体認識部３５０１は、判定された物体の名称等を含む物体認識結果を携帯端末１１０に送信する。

物体認識部３５０１は、サーバ１５０ではなく携帯端末１１０に設けられてもよい。その場合には、携帯端末１１０からサーバ１５０へ画像領域自体を送る必要はなく、画像領域から抽出された特徴情報および物体情報記憶部３５０２に記録された物体の特徴情報のみを送受信すればよい。その結果、本実施形態に係る画像表示方法に必要な通信量を低減することができる。

画像表示部３１０２は、図１２のようにディスプレイ１１３上に過去画像Ｄ１（または現在画像）および指定領域を示す枠Ｄ３を表示するとともに、サーバ１５０から受信した物体認識結果Ｄ５を表示する。

図１４は、本実施形態に係る画像表示方法のフローチャートを示す図である。画像表示方法は、携帯端末１１０およびサーバ１５０により協同して行われる。画像表示方法は、例えば携帯端末１１０上でボタン押下等の所定の操作が検知された場合に開始される。

まず、領域指定部３１０１は、ユーザにより本実施形態に係る画像表示方法のプログラムが実行されたことを契機として、現在画像または過去画像上において物体認識の対象とする領域の指定を受け付ける（ステップＳ３１）。ユーザにより領域が決定されると、領域指定部３１０１は、移動体通信機１１８を用いて、現在画像または過去画像から指定された部分を切り出した画像領域をサーバ１５０に送信する。

物体認識部３５０１は、上述の物体認識方法を用いて、携帯端末１１０から受信した画像領域に含まれている物体の認識を行う（ステップＳ３２）。物体認識部３５０１は、通信インターフェースを用いて、判定された物体の名称等を含む物体認識結果を携帯端末１１０に送信する。

画像表示部３１０２は、ディスプレイ１１３上に、サーバ１５０から受信した物体認識結果を表示する（ステップＳ３３）。物体認識結果は、例えば図１２のように表示される。

携帯端末１１０のプロセッサ１１１およびサーバ１５０のプロセッサ１５１は、図１４に示す画像表示方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１１およびプロセッサ１５１は、図１４に示す画像表示方法を実行するためのプログラムをメモリ１１２、メモリ１５２または記憶装置１５３から読み出し、該プログラムを実行して携帯端末１１０およびサーバ１５０の各部を制御することによって図１４に示す画像表示方法を実行する。

本実施形態に係る画像表示方法では、現在画像または過去画像中でユーザにより指定された領域についてのみ物体認識技術を適用しているが、ユーザによる指定を受けずに現在画像または過去画像中の全ての領域について物体認識技術を適用し、自動的に物体認識結果を表示してもよい。

本実施形態に係る画像表示方法は、第１の実施形態と組み合わせて用いることができる。この場合には、第１の実施形態に係る画像表示方法によって携帯端末上に現在画像と過去画像との差分を表示した後に、本実施形態により物体認識の対象とする領域の指定を受け付けてよい。あるいは、第１の実施形態により判定された現在画像と過去画像との差分を含む領域を、自動的に物体認識の対象とする領域として本実施形態による物体認識を実行してよい。あるいは、本実施形態に係る画像表示方法を単独で実行してよい。

本実施形態によれば、物体認識技術を用いて現在画像または過去画像に含まれる物体の情報を取得するため、不審物の特定を容易に行うことができる。また、本実施形態を観光の用途に用いる場合には、現在画像または過去画像に含まれる物体の説明等のガイド情報をユーザに提供することができる。

（第４の実施形態）
本実施形態では、ユーザによって指定された条件に従って過去画像を表示する。本実施形態に係る画像表示システム４００は、第１の実施形態と同様の装置構成を備える。

図１５は、指定条件に従って取得された過去画像を表示している携帯端末１１０のディスプレイ１１３の前面図である。本実施形態に係る画像表示プログラムが起動されると、携帯端末１１０は図１５のように、ディスプレイ１１３上に過去画像とともに、表示すべき過去画像の条件指定を受け付ける条件指定部を表示している状態になる。ディスプレイ１１３は、過去画像Ｅ１および過去画像Ｅ１の撮像時刻を示す文字列Ｅ２とともに、条件指定部として、時刻指定部Ｅ３、タグ指定部Ｅ４および自由入力部Ｅ５を表示する。

過去画像Ｅ１は、サーバ１５０から受信した、現在の位置および向きに類似する位置および向きに関連付けられた過去の画像である。過去画像Ｅ１の選択方法については後述する。過去画像Ｅ１の撮像時刻を示す文字列Ｅ２は、過去画像Ｅ１とともにサーバ１５０から受信される。

時刻指定部Ｅ３はディスプレイ１１３に表示された時刻指定のための仮想的なスライドバーであり、ユーザがタッチパネル等により操作可能である。本実施形態に係る時刻指定部Ｅ３は、左右方向に移動可能なつまみを含み、つまみの位置が現在の設定値に対応する。つまみが左に位置するほど古い時刻を示し、右に位置するほど新しい時刻を示す。時刻指定部Ｅ３の具体的な形状はこれに限らず、時間を数値により指定するものであってもよい。

タグ指定部Ｅ４はディスプレイ１１３に表示されたタグ指定のための仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。予め記録された過去画像に関連付けられた１つ以上のタグを示す文字列がボタンとしてタグ指定部Ｅ４に羅列されている。タグ指定部Ｅ４には、所定の数のサーバ１５０に記録された過去画像のタグが含まれる。表示されるタグは任意の基準で選択されてよく、例えばサーバ１５０に記録された数が多い順に所定の数のタグが表示されてよく、あるいは現在地に近い過去画像に関連付けられた所定の数のタグが表示されてよい。

タグ指定部Ｅ４に表示されているタグのうち、現在選択されているタグには他のタグとは異なる色が付されている（例えば、図１５では「夏」が選択されている）。自由入力部Ｅ５はディスプレイ１１３に表示されたタグ指定のための仮想的な入力欄であり、ユーザがキーボード等を操作することによってタグを入力可能である。そのため、タグ指定部Ｅ４に表示されていないタグは、自由入力部Ｅ５により指定できる。

ユーザによって時刻指定部Ｅ３、タグ指定部Ｅ４および自由入力部Ｅ５のうち少なくとも１つの指定内容が変化すると、携帯端末１１０は該指定内容に従って新たな過去画像Ｅ１をサーバ１５０から取得して表示する。

図１６は、本実施形態に係る画像表示システム４００のブロック図である。図１６において、矢印は主なデータの流れを示しており、図１６に示したもの以外のデータの流れがあってよい。図１６において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。

携帯端末１１０は、条件取得部４１０１、情報取得部４１０２、および画像表示部４１０３を備える。携帯端末１１０において、条件取得部４１０１、情報取得部４１０２、および画像表示部４１０３は、それぞれプロセッサ１１１が実行可能なプログラムとしてメモリ１１２に記憶されている。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１１１は条件取得部４１０１、情報取得部４１０２、および画像表示部４１０３として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

サーバ１５０は、算出対象抽出部４５０１、類似度算出部４５０２、過去画像取得部４５０３、画像記憶部４５０４、およびタグ記憶部４５０５を備える。サーバ１５０において、算出対象抽出部４５０１、類似度算出部４５０２および過去画像取得部４５０３は、プロセッサ１５１が実行可能なプログラムとしてメモリ１５２または記憶装置１５３に記憶されている。また、画像記憶部４５０４およびタグ記憶部４５０５は、メモリ１５２または記憶装置１５３の一部である。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１５１は算出対象抽出部４５０１、類似度算出部４５０２および過去画像取得部４５０３として機能し、メモリ１５２または記憶装置１５３は画像記憶部４５０４およびタグ記憶部４５０５として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。

条件取得部４１０１は、ユーザにより時刻およびタグの少なくとも一方が指定されたこと（または指定が変更されたこと）を契機として、時刻およびタグの指定条件を取得する。指定条件は時刻およびタグ自体を表す文字列でよく、あるいは時刻およびタグに関連付けられたコード値でよい。

情報取得部４１０２は、携帯端末１１０の現在の位置および向きを取得する。位置および向きの定義および取得方法は第１の実施形態と同様である。その後、情報取得部４１０２は、移動体通信機１１８を用いて、取得した指定条件ならびに現在の位置および向きを含む情報をサーバ１５０に送信する。

画像記憶部４５０４は、過去画像と、該過去画像の位置および向きとを予め記録している。画像記憶部４５０４は、過去画像を電子データである画像ファイルとして記録する。各過去画像には一意の識別子（例えばファイル名）が付与されている。さらに画像記憶部４５０４は、過去画像の位置および向きならびに過去画像の撮像時刻を、該過去画像の識別子に関連付けて、例えばデータベースのテーブルとして記録する。

タグ記憶部４５０５は、画像記憶部４５０４に記録された各過去画像に係るタグを記録している。タグ記憶部４５０５は、過去画像に係るタグを、該過去画像の識別子に関連付けて、例えばデータベースのテーブルとして記録する。タグは、過去画像の内容を簡潔に表す文字列であり、例えば図１５に示すような「夏」、「祭り」、「紅葉」等である。

過去画像に係るタグの記録は、画像記憶部４５０４への過去画像の記録と同時に行われてよく、あるいは過去画像の記録後に随時行われてよい。過去画像に対するタグは、ユーザにより手動で入力されてよく、あるいは自動的に判別されてよい。タグの自動的な判別のために、例えば第３の実施形態の物体認識技術を用いて過去画像中の物体を抽出し、抽出された物体に関するタグを該過去画像に係るタグとして自動的に決定することができる。例えば過去画像中に紅葉したカエデの木が含まれる場合に、「紅葉」の文字列を該過去画像のタグとして決定できる。また、１つの過去画像に対して複数のタグが関連付けられてよい。

算出対象抽出部４５０１は、携帯端末１１０から受信した指定条件のタグに基づいて、画像記憶部４５０４から類似度Ｓの算出対象とする過去画像を抽出する。具体的には、まず算出対象抽出部４５０１は、タグ記憶部４５０５から、指定条件のタグに関連付けられた過去画像の識別子を取得する。そして、算出対象抽出部４５０１は、画像記憶部４５０４から、該識別子に関連付けられた過去画像（およびその位置および向き）を類似度Ｓの算出対象として抽出する。

類似度算出部４５０２は、携帯端末１１０から受信した現在の位置および向き、ならびに算出対象抽出部４５０１により抽出された過去画像の位置および向きを用いて、所定の算出基準に基づいて、それらの間の類似性を示す類似度Ｓを算出する。類似度Ｓの具体的な算出方法は、第１の実施形態と同様である。

過去画像取得部４５０３は、類似度算出部４５０２により算出された類似度Ｓ、および携帯端末１１０から受信した指定条件の時刻に基づいて、画像記憶部４５０４からいずれかの過去画像を選択して取得する。例えば、過去画像取得部４５０３は、類似度Ｓが所定の閾値以下である過去画像のうち、指定条件の時刻に最も近いものを選択する。あるいは、過去画像取得部４５０３は、過去画像の時刻と指定条件の時刻との差の数値を用いて類似度Ｓを重み付けし、重み付けされた類似度Ｓが最も小さい過去画像を選択してもよい。その後、過去画像取得部４５０３は、通信インターフェースを用いて、選択した過去画像を携帯端末１１０に送信する。

画像表示部４１０３は、図１５のようにディスプレイ１１３上にサーバ１５０から受信した過去画像を表示する。

本実施形態に係る画像表示方法は、第１の実施形態と組み合わせて用いることができる。この場合には、ユーザにより指定された条件に従って取得された過去画像を用いて、第１の実施形態に係る画像表示方法によって現在画像と過去画像との差分の表示を開始してよい。あるいは、本実施形態に係る画像表示方法を単独で実行してよい。

本実施形態に係る画像表示方法では、時刻およびタグの両方を過去画像の取得条件として用いているが、時刻およびタグの少なくとも一方を過去画像の取得条件として用いればよい。

本実施形態によれば、ユーザにより指定されたタグまたは時刻に従って過去画像を取得するため、ユーザは所望の内容または時刻に合致する過去画像を指定して見ることができる。

図１７は、本実施形態に係る画像表示方法のフローチャートを示す図である。画像表示方法は、携帯端末１１０およびサーバ１５０により協同して行われる。画像表示方法は、例えば携帯端末１１０上でボタン押下等の所定の操作が検知された場合に開始される。

まず、条件取得部４１０１は、ユーザにより指定された時刻およびタグの指定条件を取得する（ステップＳ４１）。次に、情報取得部４１０２は、ＧＰＳ受信機１１７によって携帯端末１１０の現在の位置を取得するとともに、電子コンパス１１６によって携帯端末１１０の現在の向きを取得する（ステップＳ４２）。情報取得部４１０２は、移動体通信機１１８を用いて、取得した現在の位置および向きを含む情報をサーバ１５０に送信する。ステップＳ４１およびステップＳ４２の順序は逆でもよく、あるいは並行して行われてもよい。

算出対象抽出部４５０１は、携帯端末１１０から受信した指定条件のタグ、およびタグ記憶部４５０５に記憶されたタグ情報に基づいて、画像記憶部４５０４から類似度Ｓの算出対象とする過去画像を抽出する（ステップＳ４３）。類似度算出部４５０２は、携帯端末１１０から受信した現在の位置および向きを用いて、例えば上述の式（１）に基づいて、ステップＳ４３で抽出された各過去画像に対する類似度Ｓを算出する（ステップＳ４４）。

過去画像取得部４５０３は、画像記憶部４５０４から、ステップＳ４４で類似度Ｓを算出した過去画像のうち、類似度Ｓが最も小さい１つの過去画像を取得する（ステップＳ４５）。過去画像取得部４５０３は、通信インターフェースを用いて、取得した過去画像を携帯端末１１０に送信する。

画像表示部４１０３は、ディスプレイ１１３上にサーバ１５０から受信した過去画像を表示する（ステップＳ４６）。

携帯端末１１０のプロセッサ１１１およびサーバ１５０のプロセッサ１５１は、図１７に示す画像表示方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１１およびプロセッサ１５１は、図１７に示す画像表示方法を実行するためのプログラムをメモリ１１２、メモリ１５２または記憶装置１５３から読み出し、該プログラムを実行して携帯端末１１０およびサーバ１５０の各部を制御することによって図１７に示す画像表示方法を実行する。

（その他の実施形態）
図１８は、上述の実施形態に係る画像表示システム１００の概略構成図である。図１８には、画像表示システム１００が携帯端末の位置および向きに基づいて過去に記録された画像を表示する機能を実現するための構成例が示されている。画像表示システム１００は、携帯端末によって撮像された第１の画像を取得する第１の画像取得部としての現在画像取得部１１０１と、第１の画像を撮像した携帯端末の位置および向きを含む情報を取得する情報取得部１１０２と、携帯端末の位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、第２の画像を取得する第２の画像取得部としての過去画像取得部１５０２と、第１の画像と第２の画像との差分を検出する差分検出部１１０３と、を備える。

本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（より具体的には、図７、１０、１４、１７に示す方法をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
携帯端末によって撮像された第１の画像を取得する第１の画像取得部と、
前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する情報取得部と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する第２の画像取得部と、
前記第１の画像と前記第２の画像との差分を検出する差分検出部と、
を備える画像表示システム。

（付記２）
前記第１の画像および前記第２の画像の少なくとも一方とともに、前記差分を表示する画像表示部をさらに備える、付記１に記載の画像表示システム。

（付記３）
前記画像表示部は、前記第１の画像および前記第２の画像の上で、前記差分を含む領域を取り囲む枠を表示する、付記２に記載の画像表示システム。

（付記４）
前記第２の画像に関連付けられた前記位置および向きは、前記第２の画像の撮像範囲の位置および向きである、付記１〜３のいずれか一項に記載の画像表示システム。

（付記５）
前記携帯端末の前記位置および向きと、前記第２の画像に関連付けられた前記位置および向きとの類似性を表す類似度を算出する類似度算出部をさらに備え、
前記第２の画像取得部は、前記類似度に基づいて前記第２の画像を取得する、付記１〜４のいずれか一項に記載の画像表示システム。

（付記６）
前記第１の画像取得部および前記情報取得部を有する前記携帯端末と、
前記第２の画像取得部を有するサーバと、を備え、
前記差分検出部は、前記携帯端末および前記サーバのどちらかに設けられる、付記１〜５のいずれか一項に記載の画像表示システム。

（付記７）
前記携帯端末の前記位置から所定の距離以内に存在する前記第２の画像に関連付けられた前記位置を地図上に表示する周辺情報表示部をさらに備える、付記１〜６のいずれか一項に記載の画像表示システム。

（付記８）
前記携帯端末の前記位置から所定の距離以内に前記第２の画像が存在する場合に通知を行う近接通知部をさらに備える、付記１〜７のいずれか一項に記載の画像表示システム。

（付記９）
前記第１の画像および前記第２の画像に含まれる物体を認識して該物体に係る情報を出力する物体認識部をさらに備える、付記１〜８のいずれか一項に記載の画像表示システム。

（付記１０）
前記携帯端末のユーザにより指定された条件を取得する条件取得部をさらに備え、
前記第２の画像取得部は、前記携帯端末の前記位置および向き、ならびに前記第２の画像に関連付けられた前記位置および向きに加えて、前記指定された条件に基づいて、前記第２の画像を取得する、付記１〜９のいずれか一項に記載の画像表示システム。

（付記１１）
第１の画像を撮像して取得する第１の画像取得部と、
位置および向きを含む情報を取得する情報取得部と、
前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて取得された前記第２の画像を受信し、前記第１の画像と前記第２の画像との差分を検出する差分検出部と、
を備える端末。

（付記１２）
携帯端末によって撮像された第１の画像を取得する工程と、
前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する工程と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する工程と、
前記第１の画像と前記第２の画像との差分を検出する工程と、
を備える方法。

（付記１３）
コンピュータに、
携帯端末によって撮像された第１の画像を取得する工程と、
前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する工程と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する工程と、
前記第１の画像と前記第２の画像との差分を検出する工程と、
を実行させるプログラム。

この出願は、２０１６年３月２４日に出願された日本出願特願２０１６−０５９６１２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

1. 携帯端末によって撮像された第１の画像を取得する第１の画像取得部と、
   前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する情報取得部と、
   前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する第２の画像取得部と、
   前記第１の画像と前記第２の画像との差分を検出する差分検出部と、
   前記携帯端末の前記位置から所定の距離以内に存在する前記第２の画像に関連付けられた前記位置を地図上に表示する周辺情報表示部と、
   を備える画像表示システム。
2. 前記第１の画像および前記第２の画像の少なくとも一方とともに、前記差分を表示する画像表示部をさらに備える、請求項１に記載の画像表示システム。
3. 前記画像表示部は、前記第１の画像および前記第２の画像の上で、前記差分を含む領域を取り囲む枠を表示する、請求項２に記載の画像表示システム。
4. 前記第２の画像に関連付けられた前記位置および向きは、前記第２の画像の撮像範囲の位置および向きである、請求項１〜３のいずれか一項に記載の画像表示システム。
5. 前記携帯端末の前記位置および向きと、前記第２の画像に関連付けられた前記位置および向きとの類似性を表す類似度を算出する類似度算出部をさらに備え、
   前記第２の画像取得部は、前記類似度に基づいて前記第２の画像を取得する、請求項１〜４のいずれか一項に記載の画像表示システム。
6. 前記第１の画像取得部および前記情報取得部を有する前記携帯端末と、
   前記第２の画像取得部を有するサーバと、を備え、
   前記差分検出部は、前記携帯端末および前記サーバのどちらかに設けられる、請求項１〜５のいずれか一項に記載の画像表示システム。
7. 前記第１の画像および前記第２の画像に含まれる物体を認識して該物体に係る情報を出力する物体認識部をさらに備える、請求項１〜６のいずれか一項に記載の画像表示システム。
8. 前記携帯端末のユーザにより指定された条件を取得する条件取得部をさらに備え、
   前記第２の画像取得部は、前記携帯端末の前記位置および向き、ならびに前記第２の画像に関連付けられた前記位置および向きに加えて、前記指定された条件に基づいて、前記第２の画像を取得する、請求項１〜７のいずれか一項に記載の画像表示システム。
9. 第１の画像を撮像して取得する第１の画像取得部と、
   位置および向きを含む情報を取得する情報取得部と、
   前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて取得された前記第２の画像を受信し、前記第１の画像と前記第２の画像との差分を検出する差分検出部と、
   を備える端末であって、
   前記端末の前記位置から所定の距離以内に存在する前記第２の画像に関連付けられた前記位置を地図上に表示する周辺情報表示部をさらに備える端末。
10. 携帯端末によって撮像された第１の画像を取得する工程と、
    前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する工程と、
    前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する工程と、
    前記第１の画像と前記第２の画像との差分を検出する工程と、
    前記携帯端末の前記位置から所定の距離以内に存在する前記第２の画像に関連付けられた前記位置を地図上に表示する工程と、
    を備える方法。
11. コンピュータに、
    携帯端末によって撮像された第１の画像を取得する工程と、
    前記第１の画像を撮像した前記携帯端末の位置および向きを含む情報を取得する工程と、
    前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された第２の画像に関連付けられた位置および向きに基づいて、前記第２の画像を取得する工程と、
    前記第１の画像と前記第２の画像との差分を検出する工程と、
    前記携帯端末の前記位置から所定の距離以内に存在する前記第２の画像に関連付けられた前記位置を地図上に表示する工程と、
    を実行させるプログラム。

Images