JP6539418B1 - 画像抽出装置、画像抽出方法及び画像抽出プログラム - Google Patents

Abstract

表示対象物の正面が写った画像が当初に表示される蓋然性を高めることを可能とする。画像抽出装置は、表示対象物の位置を示す位置情報、及び表示対象物を示す表示対象物情報を取得する。画像抽出装置は、取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、取得された表示対象物情報を含む部分画像を抽出する。画像抽出装置は、抽出された部分画像を出力する。

Description

本発明は、表示対象物が位置する場所周辺の地点で撮影された画像から、その表示対象物が写った画像を抽出する画像抽出装置、画像抽出方法及び画像抽出プログラムの技術分野に関する。

従来、ユーザからの表示対象物の検索の要求に基づいて、表示対象物の位置を特定し、その位置周辺の地点で撮影された画像であって、その表示対象物が写った画像を表示するシステムが知られている。例えば、特許文献１には、表示対象物の地点情報が設定されると、表示対象物の地点から最も近いビューポイントを特定し、そのビューポイントから表示対象物の地点に向かう方向を特定し、特定されたビューポイントに対応する全方位の画像の中から、特定された方向の画像を抽出し、抽出された画像を画像表示端末に送信するシステムが開示されている。

特開２０１６−１１５０６７号公報

特許文献１に開示された技術では、表示対象物が写った画像を表示することができる場合もある。しかしながら、表示対象物の地点から最も近いビューポイントが、表示対象物の背面側や側面側に位置する場合、表示対象物の正面が写った画像を表示することができない。この場合、ユーザは、表示対象物の正面が写った画像を表示させるため、表示対象物の正面側にビューポイントを変更する操作を行う必要がある。

本発明は、以上の点に鑑みてなされたものであり、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることを可能とする画像抽出装置、画像抽出方法及び画像抽出プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、前記取得された位置情報が示す位置の周囲所定範囲内に位置する複数の地点それぞれから撮影された複数の画像を取得する画像取得手段と、前記取得された複数の画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、前記取得された複数の画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された画像を特定する特定手段と、前記特定された画像において、前記画像特徴情報が検出された箇所の位置を示す情報に基づいて、前記特定された画像から、前記画像特徴情報が検出された箇所を含む画像を抽出し、該抽出された画像を出力する出力手段と、を備えることを特徴とする。

この発明によれば、画像抽出装置は、地理的対象物の位置から所定範囲内に位置する複数の地点から撮影された画像のうち、表示対象物情報との一致度が所定値以上である画像特徴情報が検出された画像において、画像特徴情報が検出された箇所を含む画像を出力する。従って、出力される画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

請求項２に記載の発明は、表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、前記取得された位置情報が示す位置から所定範囲内に位置する複数の地点それぞれから撮影された複数の画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する画像取得手段と、前記取得された複数の低解像度画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の低解像度画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、前記取得された複数の低解像度画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された低解像度画像を特定し、該特定された低解像度画像に対応する高解像度画像を、前記画像記憶手段から取得する特定手段と、前記特定された高解像度画像において、前記画像特徴情報が検出された箇所を含む画像を出力する出力手段と、を備えることを特徴とする。
この発明によれば、画像抽出装置は、地理的対象物の位置から所定範囲内に位置する複数の地点から撮影された画像のうち、表示対象物情報との一致度が所定値以上である画像特徴情報が検出された画像において、画像特徴情報が検出された箇所を含む画像を出力する。従って、出力される画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
また、この発明によれば、情報処理装置は、最初に複数の低解像度画像のうち表示対象物情報を含む低解像度画像を特定する。次に、情報処理装置は、複数の低解像度画像にそれぞれ対応する複数の高解像度画像のうち、特定された低解像度画像に対応する高解像度画像から部分画像を抽出する。情報処理装置は、複数の高解像度画像のうち、特定された低解像度画像に対応する高解像度画像のみを画像記憶手段から取得すればよい。従って、全ての高解像度画像を取得する場合よりも、情報処理装置の処理負荷、及び情報処理装置と画像記憶手段との間の通信負荷を軽減させることができる。
請求項３に記載の発明は、請求項１又は２に記載の画像抽出装置において、前記表示対象物情報取得手段は、前記表示対象物の正面の少なくとも一部分の外観の特徴を示す前記表示対象物情報を取得することを特徴とする。

この発明によれば、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

請求項４に記載の発明は、請求項１乃至３のいずれか一項に記載の画像抽出装置において、前記表示対象物情報取得手段は、前記表示対象物の名称を示す前記表示対象物情報を取得し、前記決定手段は、前記画像に映る文字を前記画像特徴情報として検出することを特徴とする。

この発明によれば、情報処理装置は、表示対象物の正面に表示されている蓋然性がある表示対象物の名称を画像中に含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

請求項５に記載の発明は、請求項４に記載の画像抽出装置において、前記表示対象物情報は前記表示対象物の名称を含み、前記表示対象物情報取得手段は、複数の地理的対象物それぞれについて、地理的対象物の名称と、該地理的対象物の位置を示す位置情報と、を関連付けて記憶する位置情報記憶手段から、前記表示対象物情報に含まれる名称に関連付けられた位置情報を取得することを特徴とする。

この発明によれば、情報処理装置は、表示対象物の名称を用いて、部分画像を抽出するとともに、表示対象物の位置情報を取得することができる。

請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の画像抽出装置において、前記表示対象物情報取得手段は、複数のカテゴリーの地理的対象物それぞれの画像の特徴を示す第１特徴情報を記憶する特徴情報記憶手段から、前記表示対象物に対応するカテゴリーの地理的対象物の第１特徴情報を、前記表示対象物情報として取得し、前記決定手段は、前記画像の少なくとも一部分の特徴を示す第２特徴情報を前記画像特徴情報として検出することを特徴とする。

この発明によれば、情報処理装置は、表示対象物に対応するカテゴリーの地理的対象物の特徴情報が示す特徴を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の画像抽出装置において、前記決定手段は、パターン認識を用いて前記画像特徴情報を検出することを特徴とする。

請求項８に記載の発明は、請求項１乃至７の何れか１項に記載の画像抽出装置において、前記表示対象物情報取得手段は、ユーザに対して提示された複数の商品のうち前記ユーザにより特定された商品を販売する店舗の少なくとも一部分の外観の特徴を示す前記表示対象物情報を取得することを特徴とする。
請求項９に記載の発明は、コンピュータにより実行される画像抽出方法において、表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得ステップと、前記取得された位置情報が示す位置の周囲所定範囲内に位置する複数の地点それぞれから撮影された複数の画像を取得する画像取得ステップと、前記取得された複数の画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報それぞれとの一致度を決定する決定ステップと、前記取得された複数の画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された画像を特定する特定ステップと、前記特定された画像において、前記画像特徴情報が検出された箇所の位置を示す情報に基づいて、前記特定された画像から、前記画像特徴情報が検出された箇所を含む画像を抽出し、該抽出された画像を出力する出力ステップと、を含むことを特徴とする。

請求項１０に記載の発明は、コンピュータを、表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、前記取得された位置情報が示す位置の周囲所定範囲内に位置する複数の地点それぞれから撮影された複数の画像を取得する画像取得手段と、前記取得された複数の画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、前記取得された複数の画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された画像を特定する特定手段と、前記特定された画像において、前記画像特徴情報が検出された箇所の位置を示す情報に基づいて、前記特定された画像から、前記画像特徴情報が検出された箇所を含む画像を抽出し、該抽出された画像を出力する出力手段と、として機能させることを特徴とする。
請求項１１に記載の発明は、コンピュータにより実行される画像抽出方法において、表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得ステップと、前記取得された位置情報が示す位置から所定範囲内に位置する複数の地点それぞれから撮影された複数の画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する画像取得ステップと、前記取得された複数の低解像度画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の低解像度画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定ステップと、前記取得された複数の低解像度画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された低解像度画像を特定し、該特定された低解像度画像に対応する高解像度画像を、前記画像記憶手段から取得する特定ステップと、前記特定された高解像度画像において、前記画像特徴情報が検出された箇所を含む画像を出力する出力ステップと、を含むことを特徴とする。
請求項１２に記載の発明は、コンピュータを、表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、前記取得された位置情報が示す位置から所定範囲内に位置する複数の地点それぞれから撮影された複数の画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する画像取得手段と、前記取得された複数の低解像度画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の低解像度画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、前記取得された複数の低解像度画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された低解像度画像を特定し、該特定された低解像度画像に対応する高解像度画像を、前記画像記憶手段から取得する特定手段と、前記特定された高解像度画像において、前記画像特徴情報が検出された箇所を含む画像を出力する出力手段と、として機能させることを特徴とする。

本発明によれば、画像抽出装置は、地理的対象物の位置から所定範囲内に位置する複数の地点から撮影された画像のうち、表示対象物情報との一致度が所定値以上である画像特徴情報が検出された画像において、画像特徴情報が検出された箇所を含む画像を出力する。従って、出力される画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

一実施形態に係る情報提供システムＳの概要構成の一例を示す図である。 一実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。 一実施形態に係る全方位画像サーバ２の概要構成の一例を示すブロック図である。 データベースに記憶される内容の一例を示す図である。 一実施形態に係る情報提供サーバ１のシステム制御部１１の機能ブロックの一例を示す図である。 或る店舗とビューポイントとの位置関係の一例を示す図である。 全方位画像及び部分画像の例を示す図である。 検索結果ページの一例である。 一実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。 一実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。 データベースに記憶される内容の一例を示す図である。 全方位画像及び部分画像の例を示す図である。 検索結果ページの一例を示す図である。 一実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、表示対象物の部分画像を含む情報を提供する情報提供サーバに対して本発明を適用した場合の実施形態である。表示対象物は、複数の地理的対象物のうち、その画像が表示される地理的対象物である。地理的対象物は、例えば地図等の地理学的な情報を用いて識別される物である。地理的対象物は、地上や地下空間等に存在する物である。地理的対象物は、人工物であってもよし自然物であってもよい。地理的対象物の位置（経緯度）は基本的には変わらないか、または一定期間変わらない。各地理的対象物は、その地理的対象物を示す固有名称を有することが望ましいが、必ずしも固有名称を有さなくてもよい。地理的対象物の例として、ビル、家屋、塔、公園その他建造物、記念碑、像、樹木、山、岩等が挙げられる。また、地理的対象物は、例えば１つの階、１つの部屋、１つの区画等の、建造物の一部であってもよい。また、表示対象物となり得る地理的対象物は、複数の物で構成されてもよい。例えば、公園は、敷地内に配置された複数の遊戯具、柵等で構成される。以下に説明する実施の形態においては、全方位画像から部分画像が抽出される。全方位画像は、例えば全天球カメラを用いて撮影される。しかしながら、部分画像の抽出元は、例えばパノラマ画像や、一般的な画角で撮影された画像等であってもよい。また、本発明は、地理的対象物の画像を提供する様々なシステムに対して適用可能である。

［１．第１実施形態］

［１−１．情報提供システムの構成］

先ず、本実施形態に係る情報提供システムＳの構成について、図１を用いて説明する。図１は、本実施形態に係る情報提供システムＳの概要構成の一例を示す図である。

図１に示すように、情報提供システムＳは、情報提供サーバ１と、全方位画像サーバ２と、複数のユーザ端末３と、を含んで構成されている。情報提供サーバ１は、本発明の情報処理装置の一例である。

情報提供サーバ１、全方位画像サーバ２及びユーザ端末３は、ネットワークＮＷを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されている。

本実施形態において、情報提供サーバ１は、或る電子商店街に関する各種処理を実行するサーバ装置である。電子商店街では、複数の店舗から商品が販売される。店舗は、地理的対象物の一例である。情報提供サーバ１は、ユーザ端末３からの要求に応じて商品を検索する。情報提供サーバ１は、商品の検索結果を示すウェブページを、検索結果ページとしてユーザ端末３へ送信する。検索結果ページから、ユーザが何れかの商品を選択すると、情報提供サーバ１は、商品に関する詳細な情報を示すウェブページを、商品ページとしてユーザ端末３へ送信する。検索結果ページ又は商品ページにおいて、検索された商品の販売元の店舗又は選択された商品の販売元の店舗の正面が写った画像が表示される。情報提供サーバ１は、全方位画像サーバ２から全方位画像を取得して、全方位画像から、店舗が写っている部分画像を抽出する。

全方位画像サーバ２は、様々な地点（ビューポイント）から撮影された全方位画像を記憶する。全方位画像サーバ２は、情報提供サーバ１からの要求に応じて、全方位画像を情報提供サーバ１へ提供する。具体的に、全方位画像サーバ２は、情報提供サーバ１から位置情報を受信すると、この位置情報が示す位置から所定範囲内にある１以上のビューポイントで撮影された１以上の全方位画像を情報提供サーバ１へ送信する。位置情報の例として、経緯度、住所等が挙げられる。なお、情報提供サーバ１と全方位画像サーバ２とが一体に構成されてもよい。

ユーザ端末３は、情報提供システムＳを利用するユーザにより利用される通信装置である。ユーザ端末３は、ネットワークＮＷを介して情報提供サーバ１にアクセスしてウェブページを表示する。ユーザ端末３には、ブラウザ等のプログラムがインストールされている。ユーザ端末３の例として、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、スマートフォン、タブレットコンピュータ等の携帯情報端末、携帯電話機等が挙げられる。

［１−２．情報提供サーバの構成］

次に、情報提供サーバ１の構成について、図２Ａ及び図３を用いて説明する。図２Ａは、本実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。図２Ａに示すように、情報提供サーバ１は、システム制御部１１と、システムバス１２と、入出力インターフェース１３と、記憶部１４と、通信部１５と、を備えている。システム制御部１１と入出力インターフェース１３とは、システムバス１２を介して接続されている。

システム制御部１１は、ＣＰＵ（Central Processing Unit）１１ａ、ＲＯＭ（Read Only Memory）１１ｂ、ＲＡＭ（Random Access Memory）１１ｃ等により構成されている。ＣＰＵ１１ａは、プロセッサの一例である。なお、本発明は、ＣＰＵと異なる様々なプロセッサに対しても適用可能である。記憶部１４、ＲＯＭ１１ｂ及びＲＡＭ１１ｃは、それぞれメモリの一例である。なお、本発明は、ハードディスク、ＲＯＭ及びＲＡＭと異なる様々なメモリに対しても適用可能である。

入出力インターフェース１３は、記憶部１４及び通信部１５とシステム制御部１１との間のインターフェース処理を行う。

記憶部１４は、例えば、ハードディスクドライブ等により構成されている。この記憶部１４には、店舗ＤＢ１４ａ、商品ＤＢ１４ｂ等のデータベースが記憶されている。「ＤＢ」は、データベースの略語である。

図３は、データベースに記憶される内容の一例を示す図である。店舗ＤＢ１４ａには、店舗に関する店舗情報が記憶される。具体的に、店舗ＤＢ１４ａには、店舗ＩＤ、店舗名、店舗の住所等の店舗の属性が、店舗ごとに対応付けて記憶される。店舗ＩＤは、店舗を識別する識別情報である。

商品ＤＢ１４ｂには、電子商店街で販売される商品に関する商品情報が記憶される。具体的に、商品ＤＢ１４ｂには、商品ＩＤ、店舗ＩＤ、商品名、価格、商品の画像、商品の説明等が、商品ごとに対応付けて記憶される。商品ＩＤは、商品を識別する識別情報である。店舗ＩＤは、商品の販売元を示す。

記憶部１４には、更にウェブページを表示するための各種データ、例えばＨＴＭＬ（HyperText Markup Language）文書、ＸＭＬ（Extensible Markup Language）文書、画像データ、テキストデータ、電子文書等が記憶されている。また、記憶部１４には、各種の設定値が記憶されている。

また、記憶部１４には、オペレーティングシステム、ＤＢＭＳ（Database Management System）、情報提供サーバプログラム等の各種プログラムが記憶されている。情報提供サーバプログラムは、ユーザ端末３への情報提供に関する各種処理をシステム制御部１１に実行させるプログラムである。情報提供サーバプログラムは、取得コード、抽出コード、出力コード等の各種のプログラムコードを含む。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークＮＷを介して取得されるようにしてもよいし、磁気テープ、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。また、情報提供サーバプログラム等は、プログラム製品であってもよい。

通信部１５は、ネットワークＮＷを介してユーザ端末３や全方位画像サーバ２と接続し、これらの装置との通信状態を制御する。

［１−３．全方位画像サーバの構成］

次に、全方位画像サーバ２の構成について、図２Ｂ及び図３を用いて説明する。図２Ｂは、本実施形態に係る全方位画像サーバ２の概要構成の一例を示すブロック図である。図２Ｂに示すように、全方位画像サーバ２は、システム制御部２１と、システムバス２２と、入出力インターフェース２３と、記憶部２４と、通信部２５と、を備えている。システム制御部２１と入出力インターフェース２３とは、システムバス２２を介して接続されている。

システム制御部２１は、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ等により構成されている。

入出力インターフェース２３は、記憶部２４及び通信部２５とシステム制御部２１との間のインターフェース処理を行う。

記憶部２４は、例えば、ハードディスクドライブ等により構成されている。この記憶部２４には、全方位画像ＤＢ２４ａ等のデータベースが記憶されている。

図３に示すように、全方位画像ＤＢ２４ａには全方位画像が記憶される。具体的に、全方位画像ＤＢ２４ａには、各ビューポイントの経緯度、に関連付けて、この経緯度が示す位置から撮影された全方位画像、及びこの全方位画像の撮影日時が記憶される。ビューポイントは基本的には屋外にある。しかしながら、百貨店内、ショッピングモール内等の屋内で撮影された全方位画像が全方位画像ＤＢ２４ａに記憶されてもよい。１つのビューポイント（１つの経緯度）について、１つの日時に撮影された少なくとも１つの全方位画像が記憶されてもよいし、互いに異なる複数の日時に撮影された複数の全方位画像が記憶されてもよい。撮影された各全方位画像について、この全方位画像の解像度よりも低い解像度の全方位画像が１又は複数更に全方位画像ＤＢ２４ａに記憶されてもよい。例えば、撮影された全方位画像そのものが、オリジナル全方位画像として全方位画像ＤＢ２４ａに記憶される。システム制御部２１は、オリジナル全方位画像を変換することにより、オリジナル全方位画像の解像度よりも低い解像度の全方位画像を、低解像度全方位画像として生成する。システム制御部２１は、この低解像度全方位画像を全方位画像ＤＢ２４ａに記憶させる。全オリジナル全方位画像の解像度は同一であってもよいし異なっていてもよい。全低解像度全方位画像の解像度は同一であってもよし異なっていてもよい。各低解像度全方位画像の解像度が、生成元のオリジナル全方位画像の解像度よりも低ければよい。また、１つのオリジナル全方位画像について、互いに解像度の異なる複数の低解像度全方位画像が全方位画像ＤＢ２４ａに記憶されてもよい。

通信部２５は、ネットワークＮＷを介して情報提供サーバ１と接続し、情報提供サーバ１との通信状態を制御する。

［１−４．情報提供サーバのシステム制御部の機能概要］

次に、図４乃至図７を用いて、情報提供サーバ１のシステム制御部１１の機能概要について説明する。図４は、本実施形態に係る情報提供サーバ１のシステム制御部１１の機能ブロックの一例を示す図である。システム制御部１１は、ＣＰＵ１１ａが、情報提供サーバプログラムに含まれる取得コード、抽出コード、出力コード等を読み出し実行することにより、図４に示すように、表示対象物情報取得部１１１、部分画像抽出部１１２、部分画像出力部１１３等として機能する。表示対象物情報取得部１１１は、本発明の取得手段の一例である。部分画像抽出部１１２は、本発明の抽出手段の一例である。部分画像出力部１１３は、本発明の出力手段の一例である。

表示対象物情報取得部１１１は、表示対象物の位置を示す位置情報、及び表示対象物を示す表示対象物情報を取得する。位置情報は、具体的には表示対象物の地理的な位置を示す。上述したように、位置情報は、例えば経緯度、住所等である。表示対象物情報は、例えば表示対象物の全体又は一部の外観（形状、模様、色彩等）を示す情報であってもよい。より望ましくは、表示対象物情報は、表示対象物の正面の少なくとも一部分の外観を示す情報である。表示対象物情報の例として、表示対象物の名称、表示対象物の画像の特徴を示す特徴情報等が挙げられる。地理的対象物の名称は、地理的対象物の正面に表示されている蓋然性が高い。この点において、表示対象物の名称は、表示対象物の正面の一部分である名称を示す文字の外観を示す。例えば、地理的対象物の看板、表札、門等に、地理的対象物の名称が表示される。表示対象物の名称は、固有名称であることが望ましい。特徴情報は、表示対象物の正面に位置し又は表示される蓋然性がある形状、模様及び色の特徴を示すことが望ましい。従って、特徴情報は、表示対象物の正面の少なくとも一部分の外観を示す。特徴情報は、例えば特徴量（特徴ベクトル）であってもよい。

本実施形態において、表示対象物は、例えばユーザにより指定された店舗又はユーザにより指定された商品の販売元の店舗である。検索結果ページからユーザが何れかの店舗を選択すると、表示対象物情報取得部１１１は、選択された店舗の店舗ＩＤを取得する。或いは、検索結果ページからユーザが何れかの商品を選択すると、表示対象物情報取得部１１１は、選択された商品の商品ＩＤを関連付けて商品ＤＢ１４ｂに記憶されている店舗ＩＤを取得する。表示対象物情報取得部１１１は、店舗ＤＢ１４ａから、店舗ＩＤに関連付けられた店舗情報を検索する。表示対象物情報取得部１１１は、店舗情報から店舗名を、表示対象物情報として取得する。更に、表示対象物情報取得部１１１は、店舗情報から住所を取得し、この住所対応する経緯度を、位置情報として取得する。

表示対象物情報取得部１１１は、店舗名に代えて又は店舗名とともに、商品の画像の特徴量を表示対象物情報として取得してもよい。商品は、店舗の正面から見えるように置かれている蓋然性がある。例えば、記憶部１４には、複数の商品のカテゴリーそれぞれに関連付けて、カテゴリーに属する商品の典型的な画像の特徴量が記憶される。表示対象物情報取得部１１１は、選択された店舗が販売する商品のカテゴリー又は選択された商品のカテゴリーに対応する特徴量を取得する。或いは、表示対象物情報取得部１１１は、選択された商品の商品ＩＤに関連付けて商品ＤＢ１４ｂに記憶されている商品情報から商品の画像を取得して、この画像から特徴量を抽出してもよい。例えばＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等のアルゴリズムを用いて特徴量が抽出される。

部分画像抽出部１１２は、表示対象物情報取得部１１１により取得された位置情報が示す位置から所定範囲内に位置する１以上のビューポイントで撮影された全方位画像から、表示対象物情報取得部１１１により取得された表示対象物情報を含む部分画像を抽出する。例えば、部分画像抽出部１１２は、表示対象物情報が示す外観を有する画像を含む部分画像を抽出する。より望ましくは、部分画像抽出部１１２は、表示対象物の正面の少なくとも一部分の外観を有する画像を含む部分画像を抽出する。部分画像抽出部１１２は、パターン認識を用いて部分画像を抽出する。パターン認識の例として、物体認識、文字認識等が挙げられる。

本実施形態において、部分画像抽出部１１２は、位置情報として取得された経緯度を全方位画像サーバ２へ送信する。全方位画像サーバ２は、情報提供サーバ１から受信した経緯度が示す位置から所定範囲内にあるビューポイントの経緯度を、全方位画像ＤＢ２４ａから検索する。全方位画像サーバ２は、受信した経緯度が示す位置から最も近いビューポイントの経緯度のみを検索してもよい。或いは、全方位画像サーバ２は、受信した経緯度が示す位置から近い順に所定数のビューポイントの経緯度を検索してもよい。或いは、全方位画像サーバ２は、受信した経緯度が示す位置から所定範囲内にある全てのビューポイントの経緯度を検索してもよい。全方位画像サーバ２は、検索された経緯度ごとに、その経緯度に関連付けて全方位画像ＤＢ２４ａに記憶されている全方位画像を少なくとも１つ取得する。全方位画像サーバ２は、取得した全方位画像を情報提供サーバ１へ送信する。なお、部分画像抽出部１１２は、表示対象物としての店舗の住所を全方位画像サーバ２へ送信し、全方位画像サーバ２は、この住所から、店舗の経緯度を取得して全方位画像ＤＢ２４ａを検索してもよい。

部分画像抽出部１１２は、文字認識技術を用いて、全方位画像サーバ２から受信した全方位画像から、全方位画像に写っている文字を認識する。部分画像抽出部１１２は、認識された文字と、表示対象物情報として取得された店舗名とを比較する。部分画像抽出部１１２は、認識された文字が店舗名と一致し、又は認識された文字が店舗名を含む場合、対応する全方位画像に、表示対処物としての店舗が写っていると判定する。部分画像抽出部１１２は、店舗名の所定割合以上の文字が、認識された文字と一致する場合にも、全方位画像に店舗が写っていると判定してもよい。

部分画像抽出部１１２は、店舗が写っていると判定された全方位画像から、店舗が写っている部分画像を抽出する。部分画像抽出部１１２は、少なくとも店舗名が含まれるように、全方位画像内の部分画像の範囲を特定することが望ましい。部分画像抽出部１１２は、物体認識により、店舗名に重畳して全方位画像に写っている建造物（すなわち店舗）を認識し、店舗の全部又は大部分が含まれるように、部分画像の範囲を特定することがより望ましい。店舗の住所が階番号を含む場合、部分画像抽出部１１２は、店舗名に重畳して全方位画像に写っている建造物のうち、階番号が示す階の部分が含まれるように、部分画像の範囲を特定することが望ましい。部分画像抽出部１１２は、部分画像の範囲として、例えばビューポイントを基準とした建造物の方角、仰角、縦横の画角を決定する。部分画像抽出部１１２は、決定された範囲に従って、全方位画像から部分画像を抽出する。

図５は、或る店舗とビューポイントとの位置関係の一例を示す図である。図５に示すように、店舗１００の周囲にビューポイントＰ１〜Ｐ３がある。店舗１００の正面は北に向いている。店舗１００の名称は「ＸＹＺ ＳＨＯＰ」である。ビューポイントＰ１は店舗１００から南の方向に位置している。ビューポイントＰ１〜Ｐ３のうち、ビューポイントＰ１が店舗１００から最も近い。ビューポイントＰ２は、店舗１００から北北西の方向に位置している。ビューポイントＰ３は、店舗１００から北北東の方向に位置している。

図６は、全方位画像及び部分画像の例を示す図である。図６においては、パノラマ画像のよう簡易的に全方位画像を表している。全方位画像ＯＩ１〜ＯＩ３はそれぞれビューポイントＰ１〜Ｐ３で撮影された画像である。全方位画像ＯＩ１において、店舗１００の後面が写っており、店舗名は写っていない。全方位画像ＯＩ２において、店舗１００の一部及び自動車１１０が写っている。店舗１００の正面が自動車１１０に隠されているため、店舗名が見えない。全方位画像ＯＩ３において、店舗１００の斜め正面が写っており、店舗１００の屋根部分に店舗名が表示されている。この場合、部分画像抽出部１１２は、文字認識により全方位画像ＯＩ３から店舗名を認識するので、全方位画像ＯＩ３から部分画像ＰＩ１を抽出する。部分画像ＰＩ１は、店舗名及び店舗１００の大部分を含む画像である。このように、表示対象物の正面を撮影可能なビューポイントから撮影された表示対象物の画像であって、表示対象物が障害物に隠れていない画像を、部分画像として抽出することができる。

全方位画像サーバ２から取得された全方位画像のうち、２以上の全方位画像に表示対象物情報が含まれている場合がある。或いは、１つの全方位画像に２以上の対象物情報が含まれている場合がある。例えば、２以上の全方位画像に店舗名が写っていたり、１つの全方位画像の２以上の店舗名が写っていたりする場合がある。この場合、部分画像抽出部１１２は、全方位画像中における店舗名の大きさ（縦横のピクセル数）、店舗名の歪み度合い、店舗名の認識精度、全方位画像中における建造物（店舗）の大きさ、建造物の前の障害物（例えば人、車、塀等）の有無、画像の鮮明度合い等の少なくとも１つに基づいて、部分画像の抽出元の全方位画像又は部分画像の抽出範囲を決定してもよい。例えば、部分画像抽出部１１２は、相対的に店舗名が大きい全方位画像、店舗名の歪みが小さい全方位画像、店舗名の認識精度が高い全方位画像、建造物が大きい全方位画像、障害物が少ない全方位画像又は鮮明な全方位画像から、部分画像が抽出する。全方位画像において店舗名に外接する四角形が矩形に近いほど、店舗名の歪みが小さい。ぼけが小さい又はエッジが明確な画像ほど鮮明な画像である。

表示対象物情報として商品の画像の特徴量が取得された場合、部分画像抽出部１１２は、物体認識により、特徴量を用いて全方位画像から商品を認識する。部分画像抽出部１１２は、例えば商品に重畳して全方位画像に写っている建造物の全部又は大部分が含まれるように、部分画像の範囲を特定してもよい。表示対象物情報として店舗名及び特徴量が取得された場合、部分画像抽出部１１２は、例えば店舗名及び商品の両方に重畳して全方位画像に写っている建造物の全部又は大部分が含まれるように、部分画像の範囲を特定してもよい。

なお、部分画像抽出部１１２は、店舗の経緯度及びビューポイントの経緯度に基づき、ビューポイントから店舗が位置する方角を計算し、全方位画像において、計算された方角に対応する範囲から、パターン認識を用いて、表示対象物情報を含む部分を特定してもよい。

部分画像抽出部１１２は、最初は全方位画像サーバ２から複数の低解像度全方位画像を取得して、取得された低解像度全方位画像のうち、表示対象物情報を含む低解像度を特定してもよい。その後、部分画像抽出部１１２は、全方位画像サーバ２から複数のオリジナル全方位画像のうち、表示対象物情報を含む低解像度画像に対応するオリジナル全方位画像を取得して、このオリジナル全方位画像から、部分画像を抽出してもよい。これにより、全方位画像サーバ２から情報提供サーバ１へ送信されるオリジナル画像の数が少なくなるので、ネットワークの負荷及びサーバの処理負荷を軽減させることができる。低解像度画像に対応するオリジナル全方位画像とは、低解像度画像の生成元のオリジナル全方位画像、又は低解像度画像とは解像度は異なるものの低解像度画像と絵が同一であるオリジナル全方位画像である。

オリジナル全方位画像から、解像度が互いに異なる複数の低解像度全方位画像が生成されて全方位画像ＤＢ２４ａに記憶されている場合、部分画像抽出部１１２は、例えば最初は最も解像度が低い低解像度全方位画像を全方位画像サーバ２から取得して、これらの低解像度全方位画像のうち、物体認識を用いて店舗名を表示する蓋然性がある看板等が写っている低解像度全方位画像を特定してもよい。次に、部分画像抽出部１１２は、２番目に解像度が低い低解像度全方位画像のうち、特定された低解像度全方位画像に対応する低解像度全方位画像を全方位画像サーバ２から取得して、これらの低解像度全方位画像のうち、看板等の部分に店舗名が表示されている低解像度全方位画像を特定してもよい。そして、部分画像抽出部１１２は、特定された低解像度全方位画像に対応するオリジナル全方位画像を取得してもよい。

部分画像出力部１１３は、部分画像抽出部１１２により抽出された部分画像を出力する。例えば、検索結果ページからユーザが何れかの店舗を指定した場合、部分画像出力部１１３は、部分画像をユーザ端末３へ送信して、検索結果ページ内に部分画像を表示させる。或いは、検索結果ページからユーザが何れかの商品を選択した場合、部分画像出力部１１３は、部分画像を含む商品ページをユーザ端末３へ送信する。

図７は、検索結果ページの一例である。図７に示すように、検索結果ページは、商品一覧２１０、地図領域２２０及び店舗画像領域２３０等を含む。商品一覧２１０には、検索された商品に関する情報が一覧表示される。地図領域２２０には、例えば日本の全体又は一部の地図が表示されるとともに、検索された商品の販売元の店舗の位置を示すマークが表示される。店舗画像領域２３０は、部分画像として抽出された店舗の画像が表示される。地図領域２２０からユーザが何れかのマークを選択すると、このマークに対応する店舗の画像が店舗画像領域２３０に表示される。

［１−５．情報提供システムの動作］

次に、情報提供システムＳの動作について、図８を用いて説明する。図８は、本実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。ユーザ端末３に電子商店街のウェブページが表示されているとき、ユーザは検索条件を入力し、ユーザ端末３は検索条件を情報提供サーバ１へ送信する。情報提供サーバ１は、検索条件を満たす商品の商品情報を商品ＤＢ１４ｂから検索する。情報提供サーバ１は、例えば図７に示す検索結果ページを生成してユーザ端末３へ送信する。

図８に示すように、ユーザは、検索結果ページの地図領域２２０から、何れかの店舗のマークを選択する（ステップＳ１）。すると、ユーザ端末３は、選択された店舗の店舗ＩＤを情報提供サーバ１へ送信する（ステップＳ２）。表示対象物情報取得部１１１は、受信された店舗ＩＤに関連付けて店舗ＤＢ１４ａに記憶されている店舗名及び住所を取得する（ステップＳ３）。次いで、表示対象物情報取得部１１１は、取得された住所に対応する経緯度を取得する（ステップＳ４）。

次いで、表示対象物情報取得部１１１は、取得された経緯度を含む低解像度全方位画像要求を全方位画像サーバ２へ送信する（ステップＳ５）。全方位画像サーバ２は、全方位画像ＤＢ２４ａから、低解像度全方位画像要求に含まれる経緯度が示す位置から所定範囲内にある１以上のビューポイントの経緯度を特定する。そして、全方位画像サーバ２は、検索された経緯度に関連付けられた低解像度全方位画像を全方位画像ＤＢ２４ａから検索する（ステップＳ６）。次いで、全方位画像サーバ２は、検索された低解像度全方位画像を、経緯度と関連付けて情報提供サーバ１へ送信する（ステップＳ７）。

部分画像抽出部１１２は、情報提供サーバ１から受信された低解像度全方位画像のうち、文字認識により、店舗名が写っている低解像度全方位画像を特定する（ステップＳ８）。次いで、部分画像抽出部１１２は、特定された低解像度全方位画像において、少なくとも部分画像が店舗名を含むように、部分画像の抽出範囲（方角、仰角、縦横の画角）を決定する（ステップＳ９）。次いで、部分画像抽出部１１２は、特定された低解像度全方位画像に関連付けられた経緯度を含むオリジナル全方位画像要求を情報提供サーバ１へ送信する（ステップＳ１０）。情報提供サーバ１は、全方位画像ＤＢ２４ａから、オリジナル全方位画像要求に含まれる経緯度に関連付けられたオリジナル全方位画像を検索する（ステップＳ１１）。情報提供サーバ１は、検索されたオリジナル全方位画像を情報提供サーバ１へ送信する（ステップＳ１２）。部分画像抽出部１１２は、決定された抽出範囲に基づいて、オリジナル全方位画像から部分画像を抽出する（ステップＳ１３）。

部分画像出力部１１３は、抽出された部分画像をユーザ端末３へ送信する（ステップＳ１４）。ユーザ端末３は、情報提供サーバ１から受信した部分画像を、検索結果ページの店舗画像領域２３０に表示する（ステップＳ１５）。

以上説明したように、本実施形態によれば、システム制御部１１が、表示対象物としての店舗の位置を示す位置情報、及び表示対象物を示す表示対象物情報を取得する。また、システム制御部１１が、取得された位置情報が示す位置から所定範囲内に位置する１以上のビューポイントから撮影された全方位画像から、取得された表示対象物情報を含む部分画像を抽出する。また、システム制御部１１が、抽出された部分画像を出力する。従って、部分画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

また、システム制御部１１が、表示対象物の正面の少なくとも一部分の外観を示す表示対象物情報を取得してもよい。また、システム制御部１１が、表示対象物情報が示す外観を有する画像を含む部分画像を抽出してもよい。この場合、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

また、システム制御部１１が、表示対象物の店舗名を示す表示対象物情報を取得してもよい。また、システム制御部１１が、表示対象物の店舗名を画像中に含む部分画像を抽出してもよい。この場合、システム制御部１１は、表示対象物の正面に表示されている蓋然性がある表示対象物の店舗名を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

また、システム制御部１１が、１以上のビューポイントから撮影された全方位画像として、解像度が相対的に低い複数の低解像度全方位画像、及び解像度が相対的に高い複数のオリジナル全方位画像であって、複数の低解像度全方位画像それぞれに対応する複数のオリジナル全方位画像を記憶する全方位画像サーバ２から、複数の低解像度全方位画像を取得してもよい。また、システム制御部１１が、取得された複数の低解像度全方位画像のうち、表示対象物情報を含む低解像度全方位画像を特定してもよい。また、システム制御部１１が、全方位画像サーバ２から、複数のオリジナル全方位画像のうち特定された低解像度全方位画像に対応するオリジナル全方位画像を取得してもよい。また、システム制御部１１が、取得されたオリジナル全方位画像から、表示対象物情報を含む部分画像を抽出してもよい。この場合、全てのオリジナル全方位画像を取得する場合よりも、情報提供サーバ１の処理負荷、及び情報提供サーバ１と全方位画像サーバ２との間の通信負荷を軽減させることができる。

また、システム制御部１１が、撮影された全方位画像からパターン認識を用いて部分画像を抽出してもよい。この場合、システム制御部１１は、パターン認識を用いて全方位画像を解析することにより、この全方位画像から表示対象物情報を含む部分画像を特定して抽出する。

［２．第２実施形態］

次に、情報提供サーバ１が地理的対象物を検索する場合の実施形態について説明する。本実施形態において、情報提供サーバ１は、ユーザにより検索条件として入力されたキーワードをユーザ端末３から受信し、キーワードに基づいて地理的対象物を検索する。情報提供サーバ１は、検索された地理的対象物の正面の画像を含む検索結果を示すウェブページを、検索結果ページとしてユーザ端末３へ送信する。

［２−１．情報提供サーバの構成］

先ず、情報提供サーバ１の構成について、図９及び図１０を用いて説明する。図９は、本実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。図９において、図２Ａと同様の要素については同様の符号が付されている。本実施形態の情報提供サーバ１が第１実施形態の情報提供サーバ１と異なる点は、本実施形態の情報提供サーバ１の記憶部１４には、店舗ＤＢ１４ａ及び商品ＤＢ１４ｂが記憶されておらず、且つ地理的対象物ＤＢ１４ｃ及び画像特徴量ＤＢ１４ｄが記憶されている点である。

図１０は、データベースに記憶される内容の一例を示す図である。地理的対象物ＤＢ１４ｃには、地理的対象物に関する地理的対象物情報が記憶される。具体的に、地理的対象物ＤＢ１４ｃには、地理的対象物ＩＤ、地理的対象物名、地理的対象物の位置情報、地理的対象物の説明、カテゴリー情報等が、地理的対象物ごとに関連付けて記憶される。地理的対象物ＩＤは、地理的対象物を識別する識別情報である。地理的対象物名は、地理的対象物を示す固有名称である。位置情報は、住所又は経緯度である。カテゴリー情報は、複数の地理的対象物のカテゴリーのうち、地理的対象物名が示す地理的対象物が属するカテゴリーを示す。

画像特徴量ＤＢ１４ｄには、キーワードに関連した画像の特徴量が記憶される。具体的に、画像特徴量ＤＢ１４ｄには、キーワード及び特徴量が、キーワードごとに関連付けて記憶される。キーワードとして、例えば地理的対象物の一般名称が記憶されてもよい。地理的対象物の一般名称としてのキーワードは、地理的対象物の種類を示す。特徴量として、キーワードが示す地理的対象物の典型的な画像の特徴を示す。特徴量は、地理的対象物の正面に位置し又は表示される蓋然性がある形状、模様及び色の特徴を示すことが望ましい。例えば、キーワード「神社」について、鳥居の特徴量が記憶される。また、キーワードとして、例えば複数の店やホテル等のチェーンの名称、複数の事業所等を有する法人の名称等が記憶されてもよい。特徴量は、例えばチェーンや法人の商標その他のマークの特徴を示してもよい。法人名としてのキーワードは、地理的対象物のカテゴリーを示す。

［２−２．情報提供サーバのシステム制御部の機能概要］

表示対象物情報取得部１１１は、ユーザにより入力されたキーワードに基づいて検索された地理的対象物の位置情報を、地理的対象物ＤＢ１４ｃから取得する。例えば、キーワードとして表示対象物の名称が入力された場合、表示対象物情報取得部１１１は、入力された名称と一致する地理的対象物名を含む地理的対象物情報を地理的対象物ＤＢ１４ｃから検索する。或いは、表示対象物情報取得部１１１は、入力された１又は複数のキーワードが、地理的対象物名、位置情報及び地理的対象物の説明の少なくとも１つに含まれる地理的対象物情報を検索する。表示対象物情報取得部１１１は、検索された地理的対象物情報から位置情報を取得する。

表示対象物情報取得部１１１は、ユーザにより入力されたキーワードが、地理的対象物ＤＢ１４ｃに記憶されている何れかの地理的対象物名に一致した場合、このキーワードを、表示対象物情報として取得してもよい。或いは、表示対象物情報取得部１１１は、検索された地理的対象物情報に含まれる地理的対象物名を、表示対象物情報として地理的対象物ＤＢ１４ｃから取得してもよい。或いは、表示対象物情報取得部１１１は、ユーザにより入力されたキーワードの少なくとも何れか１つのキーワードと一致し又はこのキーワードに含まれるキーワードに関連付けられた特徴量を、表示対象物情報として画像特徴量ＤＢ１４ｄから取得してもよい。或いは、画像特徴量ＤＢ１４ｄに、複数の地理的対象物のカテゴリーのそれぞれに関連付けて、そのカテゴリーの地理的対象物の典型的な画像の特徴量が記憶されてもよい。表示対象物情報取得部１１１は、表示対象物のカテゴリー情報を参照して、表示対象物に対応するカテゴリーに関連付けられた特徴量を画像特徴量ＤＢ１４ｄから取得してもよい。

表示対象物情報取得部１１１は、地理的対象物名（地理的対象物を示すキーワード又は地理的対象物情報に含まれる地理的対象物名）とともに、特徴量を取得してもよい。或いは、表示対象物情報取得部１１１は、１つの地理的対象物情報が検索された場合は、地理的対象物名のみを取得し、複数の地理的対象物情報が検索された場合は、特徴量のみを取得してもよい。例えば、ユーザがキーワードとして、表示対象物の名称「Ａ温泉」を入力すると、名称が「Ａ温泉」である温泉宿の地理的対象物情報が１つ検索されたとする。この場合、キーワード「Ａ温泉」が表示対象物情報となる。また、ユーザがキーワードとして、表示対象物が位置する地域の名称及び表示対象物の種類を示す一般名称の組み合わせ「Ｂ市 神社」を入力すると、Ｂ市にある複数の神社の地理的対象物情報が検索されたとする。この場合、表示対象物情報取得部１１１は、「神社」に関連付けられた鳥居の特徴量を表示対象物情報として画像特徴量ＤＢ１４ｄから取得する。なお、表示対象物情報取得部１１１は、検索された地理的対象物情報の数にかかわらず、地理的対象物名及び特徴量の少なくとも何れか一方を表示対象物情報として取得してもよい。

部分画像抽出部１１２は、全方位画像から、地理的対象物名を含む部分画像を抽出してもよい。或いは、部分画像抽出部１１２は、画像特徴量ＤＢ１４ｄから取得された特徴量が示す特徴を含む部分画像を抽出してもよい。例えば、部分画像出力部１１３は、ＳＩＦＴ、ＳＵＲＦ等を用いて、全方位画像から特徴点を抽出し、特徴点に基づいて全方位画像における１又は複数箇所の局所特徴量を計算する。部分画像出力部１１３は、局所特徴量と画像特徴量ＤＢ１４ｄから取得された特徴量とを比較して、類似度を計算する。部分画像出力部１１３は、所定値以上の類似度が計算された局所特徴量がある場合、全方位画像においてその局所特徴量が計算された箇所を含む部分画像を抽出する。或いは、部分画像抽出部１１２は、地理的対象物名、及び特徴量が示す特徴を有する画像の両方を含む部分画像を抽出してもよい。或いは、部分画像抽出部１１２は、地理的対象物名、及び特徴量が示す特徴を有する画像のうち少なくとも何れか一方を含む部分画像を抽出してもよい。或いは、部分画像抽出部１１２は、１つの地理的対象物情報が検索された場合は、地理的対象物名を含む部分画像を抽出し、複数の地理的対象物情報が検索された場合は、特徴量が示す特徴を含む部分画像を抽出してもよい。

図１１は、全方位画像及び部分画像の例を示す図である。ユーザがキーワード「Ｂ市 神社」を入力すると、例えばＢ市に位置する複数の神社が検索される。図１１において、全方位画像ＯＩ４及びＯＩ５は、これらの神社のうちの一の神社から所定範囲内にあるビューポイントから撮影された画像である。表示対象物情報として鳥居の特徴量が用いられるとする。全方位画像ＯＩ４には、神社の本殿３１０の後面が写っているが、鳥居は写っていない。全方位画像ＯＩ４には、本殿３１０の正面及び鳥居３２０が写っている。従って、部分画像抽出部１１２は、全方位画像ＯＩ４から鳥居３２０の大部分を含む部分画像ＰＩ２を抽出する。部分画像ＰＩ２は本殿３１０の正面も含んでいるが、神社の正面に存在する鳥居３２０が部分画像に含まれていればよいので、本殿３１０は含まれなくてもよい。

１つの地理的対象物について、２以上の全方位画像に表示対象物情報が含まれている場合がある。この場合、第１実施形態の場合と同様に、部分画像抽出部１１２は、全方位画像中における地理的対象物名の大きさ、地理的対象物名の歪み度合い、地理的対象物名の認識精度、特徴量により特徴が示される地理的対象物（地理的対象物の全体又はその一部）の大きさ、地理的対象物の認識精度、地理的対象物の前の障害物の有無、画像の鮮明度合い等の少なくとも１つに基づいて、部分画像の抽出元の全方位画像を決定してもよい。また、部分画像抽出部１１２は、表示対象物情報のカテゴリー情報に基づいて、何れの時間帯に撮影された全方位画像から優先的に部分画像を抽出するかを決定してもよい。例えば、部分画像抽出部１１２は、昼間にオープンしている店や官公庁等については、昼間に撮影された全方位画像を優先的に利用し、夜間にオープンしている店等については、夜間に撮影された全方位画像を優先的に利用してもよい。

部分画像出力部１１３は、抽出された部分画像を含む検索結果ページをユーザ端末３へ送信する。図１２は、検索結果ページの一例を示す図である。図１２に示すように、検索結果ページは、地理的対象物一覧４００等を含む。地理的対象物一覧４００には、検索された地理的対象物の情報として、地理的対象物簡易情報４１０及び地理的対象物画像４２０等が表示される。地理的対象物簡易情報４１０は、例えば地理的対象物の名称、位置情報、説明等である。地理的対象物画像４２０は、部分画像として抽出された地理的対象物の正面の画像である。部分画像出力部１１３は、例えば部分画像の解像度に基づいて、地理的対象物一覧４００における地理的対象物の情報の表示順を決定してもよい。例えば、部分画像の解像度が高い地理的対象物の情報であるほど、表示順位が高くなる。部分画像出力部１１３は、検索された地理的対象物の位置情報に基づいて、クラスタリングにより地理的対象物の情報をグループ化して表示させてもよい。例えば、互いの間の距離が近い地理的対象物同士の情報がグループ化される。

［２−３．情報提供システムの動作］

次に、情報提供システムＳの動作について、図１３を用いて説明する。図１３は、本実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。図１３において、図８と同様の処理については同様の符号が付されている。

図１３に示すように、ユーザがキーワードを入力すると、ユーザ端末３はキーワードを情報提供サーバ１へ送信する（ステップＳ２１）。表示対象物情報取得部１１１は、ユーザ端末３から受信したキーワードを用いて、地理的対象物ＤＢ１４ｃから１つ以上の地理的対象物情報を検索する。そして、表示対象物情報取得部１１１は、各地理的対象物情報から位置情報を取得する。この位置情報が住所である場合、表示対象物情報取得部１１１は、この住所に対応する経緯度を取得する（ステップＳ２２）。次いで、取得された各経緯度について、ステップＳ５〜Ｓ７が実行される。すなわち、表示対象物情報取得部１１１は、検索された地理的対象物ごとに、その地理的対象物の位置から所定範囲内にある１以上のビューポイントから撮影された１以上の低解像度全方位画像を全方位画像サーバ２から取得する。

次いで、部分画像出力部１１３は、ステップＳ２２において２以上の地理的対象物の経緯度が取得されたか否かを判定する（ステップＳ２３）。部分画像出力部１１３は、２以上の地理的対象物の経緯度が取得されなかったと判定した場合には（ステップＳ２３：ＮＯ）、処理をステップＳ２４に進める。一方、部分画像出力部１１３は、２以上の地理的対象物の経緯度が取得されたと判定した場合には（ステップＳ２３：ＹＥＳ）、処理をステップＳ２６に進める。

ステップＳ２４において、表示対象物情報取得部１１１は、 入力されたキーワードのうち地理的対象物名を示すキーワードを取得し、又は検索された地理的対象物情報から地理的対象物名を取得する。部分画像出力部１１３は、情報提供サーバ１から受信された低解像度全方位画像のうち、文字認識により、地理的対象物名が写っている低解像度全方位画像を特定する。次いで、部分画像出力部１１３は、特定された低解像度全方位画像において、少なくとも部分画像が地理的対象物名を含むように、部分画像の抽出範囲を決定する（ステップＳ２５）。

ステップＳ２６において、表示対象物情報取得部１１１は、入力されたキーワードのうち、画像特徴量ＤＢ１４ｄに記憶されているキーワードと一致するキーワードを特定する。表示対象物情報取得部１１１は、特定したキーワードに関連付けられた特徴量を画像特徴量ＤＢ１４ｄから取得する。部分画像出力部１１３は、取得された経緯度ごとに、情報提供サーバ１から受信された低解像度全方位画像のうち、画像特徴量ＤＢ１４ｄ取得された特徴量が示す特徴を含む低解像度全方位画像を特定する。次いで、部分画像出力部１１３は、取得された経緯度ごとに、特定された低解像度全方位画像において、少なくとも部分画像が、特徴量が示す特徴を含むように、部分画像の抽出範囲を決定する（ステップＳ２７）。

ステップＳ２５又はステップＳ２７を終えると、取得された経緯度ごとに、ステップＳ１０〜Ｓ１２が実行される。すなわち、部分画像抽出部１１２は、検索された地理的対象物ごとに、ステップＳ２４又はステップＳ２６で特定された低解像度全方位画像に対応するオリジナル全方位画像を全方位画像サーバ２から取得する。次いで、部分画像抽出部１１２は、取得された経緯度ごとに、決定された抽出範囲に基づいて、オリジナル全方位画像から部分画像を抽出する（ステップＳ１３）。

部分画像出力部１１３は、抽出された部分画像を含む検索結果ページを生成してユーザ端末３へ送信する（ステップＳ２８）。ユーザ端末３は、情報提供サーバ１から受信した検索結果ページを表示する（ステップＳ２９）。

以上説明したように、本実施形態によれば、システム制御部１１が、表示対象物の名称を示す表示対象物情報を取得する。また、システム制御部１１が、表示対象物の名称を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を更に高めることができる。

また、システム制御部１１が、複数の地理的対象物それぞれについて、地理的対象物の名称と、その地理的対象物の位置を示す位置情報と、を関連付けて記憶する地理的対象物ＤＢ１４ｃから、表示対象物情報に含まれる地理的対象物名に関連付けられた位置情報を取得してもよい。この場合、情報提供サーバ１は、表示対象物の名称を用いて、部分画像を抽出するとともに、表示対象物の位置情報を取得することができる。

また、システム制御部１１が、複数の種類又はカテゴリーの地理的対象物それぞれの画像の特徴を示す特徴量を記憶する画像特徴量ＤＢ１４ｄから、表示対象物に対応する種類又はカテゴリーの地理的対象物の特徴量を、表示対象物情報として取得してもよい。また、システム制御部１１が、取得された特徴量が示す特徴を含む部分画像を抽出してもよい。この場合、システム制御部１１は、表示対象物に対応する種類又はカテゴリーの地理的対象物の特徴情報が示す特徴を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。

１ 情報提供サーバ
２ 全方位画像サーバ
３ ユーザ端末
１１ システム制御部
１２ システムバス
１３ 入出力インターフェース
１４ 記憶部
１４ａ 店舗ＤＢ
１４ｂ 商品ＤＢ
１４ｃ 地理的対象物ＤＢ
１４ｄ 画像特徴量ＤＢ
１５ 通信部
１１１ 表示対象物情報取得部
１１２ 部分画像抽出部
１１３ 部分画像抽出部
２１ システム制御部
２２ システムバス
２３ 入出力インターフェース
２４ 記憶部
２４ａ 全方位画像ＤＢ
ＮＷ ネットワーク

Claims (12)

1. 表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、
   前記取得された位置情報が示す位置の周囲所定範囲内に位置する複数の地点それぞれから撮影された複数の画像を取得する画像取得手段と、
   前記取得された複数の画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、
   前記取得された複数の画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された画像を特定する特定手段と、
   前記特定された画像において、前記画像特徴情報が検出された箇所の位置を示す情報に基づいて、前記特定された画像から、前記画像特徴情報が検出された箇所を含む画像を抽出し、該抽出された画像を出力する出力手段と、
   を備えることを特徴とする画像抽出装置。
2. 表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、
   前記取得された位置情報が示す位置から所定範囲内に位置する複数の地点それぞれから撮影された複数の画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する画像取得手段と、
   前記取得された複数の低解像度画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の低解像度画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、
   前記取得された複数の低解像度画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された低解像度画像を特定し、該特定された低解像度画像に対応する高解像度画像を、前記画像記憶手段から取得する特定手段と、
   前記特定された高解像度画像において、前記画像特徴情報が検出された箇所を含む画像を出力する出力手段と、
   を備えることを特徴とする画像抽出装置。
3. 請求項１又は２に記載の画像抽出装置において、
   前記表示対象物情報取得手段は、前記表示対象物の正面の少なくとも一部分の外観の特徴を示す前記表示対象物情報を取得することを特徴とする画像抽出装置。
4. 請求項１乃至３のいずれか一項に記載の画像抽出装置において、
   前記表示対象物情報取得手段は、前記表示対象物の名称を示す前記表示対象物情報を取得し、
   前記決定手段は、前記画像に映る文字を前記画像特徴情報として検出することを特徴とする画像抽出装置。
5. 請求項４に記載の画像抽出装置において、
   前記表示対象物情報は前記表示対象物の名称を含み、前記表示対象物情報取得手段は、複数の地理的対象物それぞれについて、地理的対象物の名称と、該地理的対象物の位置を
   示す位置情報と、を関連付けて記憶する位置情報記憶手段から、前記表示対象物情報に含まれる名称に関連付けられた位置情報を取得することを特徴とする画像抽出装置。
6. 請求項１乃至５の何れか１項に記載の画像抽出装置において、
   前記表示対象物情報取得手段は、複数のカテゴリーの地理的対象物それぞれの画像の特徴を示す第１特徴情報を記憶する特徴情報記憶手段から、前記表示対象物に対応するカテゴリーの地理的対象物の第１特徴情報を、前記表示対象物情報として取得し、
   前記決定手段は、前記画像の少なくとも一部分の特徴を示す第２特徴情報を前記画像特徴情報として検出することを特徴とする画像抽出装置。
7. 請求項１乃至６の何れか１項に記載の画像抽出装置において、
   前記決定手段は、パターン認識を用いて前記画像特徴情報を検出することを特徴とする画像抽出装置。
8. 請求項１乃至７の何れか１項に記載の画像抽出装置において、
   前記表示対象物情報取得手段は、ユーザに対して提示された複数の商品のうち前記ユーザにより特定された商品を販売する店舗の少なくとも一部分の外観の特徴を示す前記表示対象物情報を取得することを特徴とする画像抽出装置。
9. コンピュータにより実行される画像抽出方法において、
   表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得ステップと、
   前記取得された位置情報が示す位置の周囲所定範囲内に位置する複数の地点それぞれから撮影された複数の画像を取得する画像取得ステップと、
   前記取得された複数の画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報それぞれとの一致度を決定する決定ステップと、
   前記取得された複数の画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された画像を特定する特定ステップと、
   前記特定された画像において、前記画像特徴情報が検出された箇所の位置を示す情報に基づいて、前記特定された画像から、前記画像特徴情報が検出された箇所を含む画像を抽出し、該抽出された画像を出力する出力ステップと、
   を含むことを特徴とする画像抽出方法。
10. コンピュータを、
    表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、
    前記取得された位置情報が示す位置の周囲所定範囲内に位置する複数の地点それぞれから撮影された複数の画像を取得する画像取得手段と、
    前記取得された複数の画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、
    前記取得された複数の画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された画像を特定する特定手段と、
    前記特定された画像において、前記画像特徴情報が検出された箇所の位置を示す情報に基づいて、前記特定された画像から、前記画像特徴情報が検出された箇所を含む画像を抽出し、該抽出された画像を出力する出力手段と、
    として機能させることを特徴とする画像抽出プログラム。
11. コンピュータにより実行される画像抽出方法において、
    表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得ステップと、
    前記取得された位置情報が示す位置から所定範囲内に位置する複数の地点それぞれから撮影された複数の画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する画像取得ステップと、
    前記取得された複数の低解像度画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の低解像度画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定ステップと、
    前記取得された複数の低解像度画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された低解像度画像を特定し、該特定された低解像度画像に対応する高解像度画像を、前記画像記憶手段から取得する特定ステップと、
    前記特定された高解像度画像において、前記画像特徴情報が検出された箇所を含む画像を出力する出力ステップと、
    を含むことを特徴とする画像抽出方法。
12. コンピュータを、
    表示対象物の位置を示す位置情報、及び前記表示対象物の少なくとも一部分の外観の特徴を示す表示対象物情報を取得する表示対象物情報取得手段と、
    前記取得された位置情報が示す位置から所定範囲内に位置する複数の地点それぞれから撮影された複数の画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する画像取得手段と、
    前記取得された複数の低解像度画像それぞれの少なくとも一部分から、外観の特徴を示す画像特徴情報を検出し、前記取得された複数の低解像度画像それぞれについて、前記取得された表示対象物情報と、前記検出された画像特徴情報との一致度を決定する決定手段と、
    前記取得された複数の低解像度画像の中から、所定値以上となる前記一致度が決定された前記画像特徴情報が検出された低解像度画像を特定し、該特定された低解像度画像に対応する高解像度画像を、前記画像記憶手段から取得する特定手段と、
    前記特定された高解像度画像において、前記画像特徴情報が検出された箇所を含む画像を出力する出力手段と、
    として機能させることを特徴とする画像抽出プログラム。

Images