JP6020986B2 - 対象物特定システム、対象物特定サーバ及び対象物特定端末 - Google Patents

Description

本発明は、撮影した対象物を特定する技術に関し、特に、撮影機能と測位機能とを備える携帯端末によって取得した測位情報から自動的に対象物を特定する技術に関する。

近年、撮影機能と測位機能を備える携帯情報端末を用いて撮影した画像に対し、その対象物を特定し、対象物に関連する情報を提示するシステムが普及してきている。本技術分野の背景技術として、特許文献１がある。特許文献１には、測位によって取得したカメラ位置、被写体との距離及び方位をもとに被写体の位置を算出し、算出した被写体位置をキーとしてデータベースを検索してズーム率に応じた名称を取り出し、取り出した名称を画像に重畳表示する方法が開示されている。また、特許文献２には、位置情報、距離情報、向き情報に基づいて、撮影した対象の位置情報を算出し、さらに画像解析を行い、関連する情報を提供するシステム及び方法が開示されている。

特開２００１−１６９１６４号公報 特開２００８−２４４６６０号公報

特許文献１及び特許文献２には、ともにＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得した撮影位置情報、デジタルコンパスによって測定した撮影方位情報、そしてカメラの焦点距離及びズーム率から求めた被写体との距離情報を用いて被写体を特定すると記載されている。しかし、実際にはこれらの位置、方位、距離情報には全て測定誤差が含まれている。特許文献１及び特許文献２に記載の方法では、測定誤差の取り扱いについては記載されておらず、これらの方法では被写体の特定精度が低い。

特に、電力配電設備における電柱等、特に高密度で広範囲に数多く散在する設備の保全作業である巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示することで作業を支援するシステムにこれらの方法を適用しようとする場合には、これらの設備は高密度で分布しているため、位置、方位、距離情報の測定誤差を無視できず、特定精度が低くなる。

本発明は、上記課題を鑑みてなされたものであり、撮影機能と測位機能とを備える携帯端末による位置情報、方角情報、及び撮影対象物との距離から、自動的に、かつ高精度で対象物を特定する対象物特定システム、対象物特定方法を提供することを目的とする。

本発明の代表的な一例を示せば、次の通りである。すなわち、ネットワークに接続される計算機と、前記ネットワークに接続される端末装置と、を有する対象物特定システムであって、前記計算機は、前記ネットワークに接続されるインターフェースと、前記インターフェースに接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有し、前記記憶装置は、複数の対象物の位置情報を保持し、前記端末装置は、前記対象物の画像を撮影する撮影部と、前記対象物の画像を撮影した位置の情報を取得する位置情報取得部と、前記対象物の画像を撮影した方角の情報を取得する方角情報取得部と、前記位置情報取得部が取得した位置の情報及び前記方角情報取得部が取得した方角の情報を、前記ネットワークを介して前記計算機に送信する通信部と、を有し、前記記憶装置は、さらに、前記位置情報取得部が取得した位置の誤差、前記方角情報取得部が取得した方角の誤差及び前記端末装置から撮影された対象物までの距離の誤差を示す誤差情報を保持し、前記計算機は、前記複数の対象物の位置情報と、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した方角の情報と、前記位置情報取得部が取得した位置の誤差と、前記方角情報取得部が取得した方角の誤差と、に基づいて、前記複数の対象物から、前記撮影された対象物が存在する可能性がある範囲内に位置する少なくとも一つの対象物を第１の対象物候補として特定し、前記撮影部が撮影した対象物が前記第１の対象物候補であると仮定した場合の、前記誤差情報に基づいて特定される、前記端末装置から前記第１の対象物候補までの距離の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、に基づいて、前記第１の対象物候補を撮影した位置の範囲を特定し、特定された前記第１の対象物候補を撮影した位置の範囲と、前記誤差情報に基づいて特定される前記対象物の画像を撮影した位置の誤差範囲との関係に基づいて、前記少なくとも一つの第１の対象物候補から、前記撮影された対象物の候補である少なくとも一つの第２の対象物候補を特定し、前記特定された第２の対象物候補の情報を前記端末装置に送信し、前記端末装置は、さらに、前記特定された第２の対象物候補の情報を表示する表示部を有することを特徴とする。

本発明の代表的な実施の形態によれば、位置情報、方角情報、及び撮影対象物との距離から、撮影対象物を自動的に、かつ高精度で特定することができる。

本発明の第１の実施形態の巡視作業支援システムの全体構成の一例を示すブロック図である。 本発明の第１の実施形態の巡視作業支援システムに含まれる携帯情報端末の構成の一例を示すブロック図である。 本発明の第１の実施形態の巡視作業支援システムに含まれるサーバシステムの構成の一例を示すブロック図である。 本発明の第１の実施形態におけるデータベースの構成の一例を示すブロック図である。 本発明の第１の実施形態のデータベースに含まれる設備状況データの構成の一例を示す説明図である。 本発明の第１の実施形態のデータベースに含まれる設備画像データの構成の一例を示す説明図である。 本発明の第１の実施形態のデータベースに含まれる履歴データの構成の一例を示す説明図である。 本発明の第１の実施形態の巡視作業支援システムにおいて実行される処理を示すフローチャートである。 本発明の第１の実施形態の巡視作業支援システムのユーザが実行する対象設備の撮影の説明図である。 本発明の第１の実施形態の表示部によって表示される撮影対象の設備の候補の説明図である。 本発明の第１の実施形態の携帯情報端末の表示部に表示される巡視対象設備に関するデータの一例を示す説明図である。 本発明の第１の実施形態の巡視作業支援システムにおいて実行される撮影対象設備を特定する処理のフローチャートである。 本発明の第１の実施形態の撮影対象物特定プログラムによる、撮影した設備が存在する可能性がある範囲を特定する処理の説明図である。 本発明の第１の実施形態の撮影対象物特定プログラムによる、ユーザの撮影位置を推定する処理の説明図である。 本発明の第１の実施形態の撮影対象物特定プログラムによる、ユーザから被写体までの距離の算出方法の説明図である。 本発明の第１の実施形態の撮影対象物特定プログラムによる、地理的条件に基づいてユーザ位置の妥当性を検証する処理の説明図である。 本発明の第１の実施形態の撮影対象物特定プログラムによる、複数の設備の位置関係に基づいてユーザの撮影位置を推定する処理の説明図である。 本発明の第２の実施形態の巡視作業支援システムの全体構成の一例を示すブロック図である。 本発明の第２の実施形態の巡視作業支援システムに含まれる携帯情報端末の構成の一例を示すブロック図である。 本発明の第２の実施形態の巡視作業支援システムに含まれるサーバシステム及びクライアントＰＣの構成の一例を示すブロック図である。 本発明の第２の実施形態の巡視作業支援システムのユーザが巡視又は点検の作業前に関連データをダウンロードする処理のフローチャートである。 本発明の第２の実施形態の携帯情報端末が実行する処理のフローチャートである。 本発明の第２の実施形態の巡視作業支援システムのユーザが巡視又は点検の作業後に関連データをアップロードする処理のフローチャートである。 本発明の第３の実施形態の店舗情報提示システムにおける携帯情報端末の構成の一例を示すブロック図である。 本発明の第３の実施形態におけるデータベースの構成の一例を示すブロック図である。 本発明の第３の実施形態のデータベースに含まれる店舗データの構成の一例を示す説明図である。 本発明の第３の実施形態の店舗情報提示システムにおいて実行される処理を示すフローチャートである。 本発明の第３の実施形態の携帯情報端末の表示部に表示される撮影対象店舗に関するデータの一例を示した図である。 本発明の第３の実施形態の店舗情報提示システムにおいて実行される撮影対象店舗を特定する処理のフローチャートである。

以下、本発明の実施形態を、図面を用いて説明する。

＜第１の実施形態＞
本実施の形態では、電力配電設備における電柱等の巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示し、さらに撮影した設備画像に設備ＩＤを自動で紐付け蓄積することで巡視作業を支援する巡視作業支援システムの一例を説明する。

図１は、本発明の第１の実施形態の巡視作業支援システムの全体構成の一例を示すブロック図である。

巡視作業支援システムは、サーバシステム１００と複数の携帯情報端末１０１とを含み、それらがネットワーク１０２を介して接続されている。図１の例では３台の携帯情報端末１０１が接続されているが、接続される携帯情報端末１０１の台数はこれに限定されない。以下、本システムの構成要素について説明する。

図２は、本発明の第１の実施形態の巡視作業支援システムに含まれる携帯情報端末１０１の構成の一例を示すブロック図である。

携帯情報端末１０１は、無線通信部２００、撮影画像及び設備情報等をユーザに提示するディスプレイ等の表示部２０１、ＧＰＳ衛星２０９から位置情報を取得する位置情報取得部２０２、撮影対象設備２０８を撮影するデジタルスチルカメラ等の撮影部２０３、全体の処理を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部２０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ２０６、及び、携帯情報端末１０１の向いている方角（すなわち、撮影部２０３が撮影する方角）を取得するための３次元デジタルコンパス２０７から構成される。

携帯情報端末１０１は、具体的には、デジタルカメラ、携帯電話機、又はＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ)等の携帯端末が該当する。位置情報取得部２０２は、受信回路等から構成され、ＧＰＳ衛星２０９からの電波を受信し、受信した電波から距離を測定することで、携帯情報端末の位置する緯度及び経度の位置情報を取得する。

ＣＰＵ２０４は、位置情報取得部２０２から位置情報を取得し、撮影部２０３から撮影画像及び撮影状況の情報を取得し、３次元デジタルコンパス２０７から撮影方角の情報を取得し、取得したそれらの情報をメモリ２０６に格納する。さらに、ＣＰＵ２０４は、それらの情報を、無線通信部２００及びそこに接続されたネットワーク１０２を介してサーバシステム１００に送信する。また、ＣＰＵ２０４は、無線通信部２００及びそこに接続されたネットワーク１０２を介してサーバシステム１００から対象設備に関する情報を取得し、それをメモリ２０６に格納し、さらに、取得した対象設備に関する情報が付加された画像を表示部２０１に表示させる。これらの処理については後述する。

図３は、本発明の第１の実施形態の巡視作業支援システムに含まれるサーバシステム１００の構成の一例を示すブロック図である。

サーバシステム１００は、サーバシステム１００の全体を制御するＣＰＵ３００、他の機器と接続するためのネットワークインタフェース３０１、ＵＳＢなどの、外部機器と接続するためのＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）３０２、設備に関する情報、地図情報及び設備画像等が保存されているデータベース３０３、ユーザが入力するためのキーボード及びマウス等の操作部３０４、処理の結果及びログ等を表示するための表示部３０５、不揮発性記憶装置であるメモリ３０６、及びデータバス３０８から構成され、上記の各部３００〜３０６がそれぞれデータバス３０８と接続されている。メモリ３０６には撮影対象物特定プログラム３０７が格納されており、このプログラムはＣＰＵ３００によって実行される。

データベース３０３は、例えばハードディスクドライブのような記憶装置によって構成されてもよい。データベース３０３の少なくとも一部が必要に応じて（例えば撮影対象物特定プログラム３０７によって処理されるときに）メモリ３０６にコピーされてもよい。

本実施形態では、携帯情報端末１０１を携帯して巡視している巡視員が、撮影対象設備２０８を撮影部２０３によって撮影し、それと同時に位置情報取得部２０２がＧＰＳ衛星２０９から位置情報を取得し、３次元デジタルコンパス２０７が撮影方角を取得し、ＣＰＵ２０４はこれらの情報を無線通信部２００及びネットワーク１０２を介して図１におけるサーバシステム１００に送信する。サーバシステム１００ではＣＰＵ３００がメモリ３０６に格納されている撮影対象物特定プログラム３０７を実行し、受信したこれらの情報を用いて、撮影した設備を特定し、撮影した設備に関する情報をデータベース３０３から検索し、検索された情報を、ネットワーク１０２を介して携帯情報端末１０に送信する。携帯情報端末１０１は、受信したこれらの情報を表示部２０１に表示する。また、サーバシステム１００は、特定した撮影設備画像を設備ＩＤと対応付けてデータベース３０３に蓄積する。処理の詳細については後述する。

次に、図４、図５、図６を参照して、図３のサーバシステム１００におけるデータベース３０３の構成の一例を説明する。

図４は、本発明の第１の実施形態におけるデータベース３０３の構成の一例を示すブロック図である。

データベース３０３は、設備状況データ４００、設備画像データ４０１、履歴データ４０２及び地図データ４０３から構成される。

設備状況データ４００は、巡視対象設備の設置位置、高さ、保全状況及び経年状態等を含む。

図５は、本発明の第１の実施形態のデータベース３０３に含まれる設備状況データ４００の構成の一例を示す説明図である。

設備状況データ４００には、電力配電設備における巡視、点検の対象となる電柱等に関するデータが格納されており、設備ＩＤ５００、設備の設置位置情報５０１、設備の高さ５０４、前回交換年月５０５、前回巡視年月５０６、巡視、点検の際の要チェックポイント５０７等が相互に対応付けられて格納されている。

設備の設置位置情報５０１は、緯度５０２、経度５０３を含んでいる。設置位置情報５０１及び設備の高さ５０４は例えば地面から設備の上端までの高さであり、撮影した設備の特定処理に用いられる。

図５では設備状況データ４００は上記構成となっているが、これに限定する必要はなく、巡視、点検の際に、携帯情報端末１０１上に提示したい情報等を必要に応じて保存しておけばよい。レコード５０８、５０９及び５１０のそれぞれは、設備状況データ４００に格納されているデータの組の一例を示している。例えば、レコード５０８は設備ＩＤ５００の値「１０４」によって識別される設備に関するデータである。この例によれば設備ＩＤ「１０４」の設備は、緯度３５．６５８２度、経度１３９．７４５６度の位置に設置されており、設備の高さは１０ｍであり、前回は２００８年６月に交換されており、前回の巡視が行われたのが２０１０年３月であり、巡視、点検時には、当該設備に付属の変圧器の錆に注意する必要があるということを示している。レコード５０９及び５１０についても同様にそれぞれの設備に関する情報が含まれる。

なお、位置情報５０１及び高さ５０４は、予め与えられる情報である。すなわち、設備が新設されるとその設備に関する位置情報５０１及び高さ５０４が設備状況データ４００に追加され、その後、その設備が移設、撤去、又は形状の変更を伴う交換等をされない限り、変更されない。これに対して、前回交換年月５０５、前回巡視年月５０６及び要チェックポイント５０７は、設備が交換されたとき又は巡視員が設備を巡視したとき等に更新される。

設備画像データ４０１は、巡視、点検の際に携帯情報端末１０１で撮影した設備画像を設備ＩＤと対応づけて格納するものである。図６は、本発明の第１の実施形態のデータベース３０３に含まれる設備画像データ４０１の構成の一例を示す説明図である。

設備画像データ４０１には、設備ＩＤ６００とその設備ＩＤに対応する設備画像６０１とが、撮影の日付とともに格納される。図６には上記のような構成の設備画像データ４０１を示したが、これは一例であり、本発明の設備画像データの構成は上記のものに限定されない。例えば、設備撮影時に巡視員が気付いたこと等をメモとしてともに格納するなどしてもよい。レコード６０２、６０３及び６０４はそれぞれ設備画像データ４０１の格納データの一例を示している。例えば、レコード６０２は設備ＩＤ６００の値「１０４」によって識別される設備に関する設備画像データである。この例によれば、２００９年８月に撮影された設備画像と、２０１０年７月に撮影された設備画像とがレコード６０２に格納されている。レコード６０３及び６０４についても同様にそれぞれの設備の画像データが含まれる。

図７は、本発明の第１の実施形態のデータベース３０３に含まれる履歴データ４０２の構成の一例を示す説明図である。

図７の例では、履歴データ４０２は設備の事故の履歴情報を格納している。履歴データ４０２には、設備ＩＤ７００とその設備ＩＤ７００に対応する事故発生年月７０１とが格納されている。レコード７０２及び７０３はそれぞれ履歴データ４０２の一例を示している。例えば、レコード７０２には設備ＩＤ７００の値「１０４」によって識別される設備における過去の事故発生日「２０００／０５」（２０００年５月）、レコード７０３には設備ＩＤ「４５０」の設備における過去の事故発生日「２００４／０６」（２００４年６月）が格納されている。この例の履歴データ４０２は、巡視、点検の際に、過去事故の発生した設備であるということを考慮して注意深く、巡視、点検を行うように携帯状況端末上に提示して注意を促すためのデータである。しかし、このようなデータは履歴データの一例であり、他の情報が履歴データ４０２として保持されてもよい。

地図データ４０３には、一般的なＧＩＳ(Ｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ)データベースと同様に、道路や建物等の位置情報が格納されており、詳細な説明は割愛する。

なお、メモリ３０６又はデータベース３０３には、さらに、誤差情報（図示省略）が保持される。具体的には、誤差情報は、位置情報取得部２０２によって取得された位置情報の誤差、３次元デジタルコンパス２０７によって取得された方角情報の誤差、及び、後述する方法で計算される撮影対象設備２０８までの距離情報の誤差を示す情報を含む。ネットワーク１０２に複数の機種の携帯情報端末１０１が接続され、機種ごとに誤差が異なる場合には、機種ごとの誤差情報が格納される。この誤差情報は、誤差そのものの値であってもよいし、誤差を計算するために必要となるパラメータ及び計算式を含んでもよい。また、この誤差情報は、予めメモリ３０６等に格納されていてもよいし、必要に応じて携帯情報端末１０１等から取得され、メモリ３０６等に格納されてもよい。誤差の値及びそれを用いて撮影対象設備を特定する処理の具体例については後述する（図１３等参照）。

以上の構成に基づいて、本実施形態における巡視作業支援システム全体の処理について説明する。

図８は、本発明の第１の実施形態の巡視作業支援システムにおいて実行される処理を示すフローチャートである。

具体的には、図８には、電力配電設備における電柱等の巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示し、さらに撮影した設備画像に設備ＩＤを自動で紐付け蓄積することで巡視作業を支援する処理の手順の一例を示す。ステップ８００、８０１、８０２、８０３、８０４、８１１、８１２、８１３、８１４、８１５が携帯情報端末１０１による処理ステップ８１７に含まれ、ステップ８０５、８０６、８０７、８０８、８０９、８１０、８１６がサーバシステム１００による処理ステップ８１８に含まれる。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステム１００における各処理はＣＰＵ３００が実行、制御するものとする。

まず、携帯情報端末１０１による処理ステップ（８００、８０１、８０２、８０３及び８０４）が開始される。

巡視、点検を行っているユーザ（巡視員）が撮影対象設備の付近で携帯情報端末１０１の操作部２０５を操作して撮影部２０３に対象設備２０８の撮影を指示する（ステップ８００）。

ユーザの撮影指示を受けた撮影部２０３が対象設備２０８を撮影し、撮影した画像及び撮影時の条件（カメラのズーム率、カメラの焦点距離、撮像素子サイズ、撮影日時情報等）を取得し、メモリ２０６に格納する（ステップ８０１）。

図９は、本発明の第１の実施形態の巡視作業支援システムのユーザ（巡視員）が実行する対象設備２０８の撮影の説明図であり、具体的には、図８のステップ８０１におけるユーザ（巡視員）の作業イメージを示す。図９に示すように、ユーザ（巡視員）９０２は、巡視・点検対象である設備９００付近へ行き、携帯情報端末９０１を用いて設備９００を撮影する。これによって、例えば設備の撮影画像９０３が得られる。

ユーザからの撮影指示をトリガとして、位置情報取得部２０２がＧＰＳ衛星２０９から携帯情報端末１０１の位置情報を取得し、メモリ２０６に格納する（ステップ８０２）。具体的には、位置情報取得部２０２はＧＰＳ衛星２０９から電波を受信し、受信した電波から距離を測定することで、携帯情報端末１０１の位置する緯度及び経度を算出する。

ユーザからの撮影指示をトリガとして、３次元デジタルコンパス２０７が水平方向の方角及び垂直方向の角度を計測し、メモリ２０６に格納する（ステップ８０３）。

次に、ステップ８００〜８０３によってメモリ２０６に格納された情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影時の条件）を、無線通信部２００がネットワーク１０２を介してサーバシステム１００に送信する（ステップ８０４）。

次にサーバシステム１００による処理ステップ（８０５、８０６、８０７、８０８、８０９及び８１０）に移行する。

サーバシステム１００は携帯情報端末１０１から受信した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影時の条件）を一旦メモリ３０６に格納する（ステップ８０５）。

ＣＰＵ３００は、メモリ３０６に格納されている撮影対象物特定プログラム３０７を実行する。撮影対象物特定プログラム３０７は、メモリ３０６に格納した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影時の条件）及び、データベース３０３に格納されているデータを用いて、撮影した設備を特定する（ステップ８０６）。本実施形態では、撮影対象物特定プログラム３０７は、メモリ３０６に格納した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影時の条件）及び、データベース３０３に格納されているデータを用いて、対象の設備を１つ特定するか、又は幾つかの候補に絞り込む。対象の設備を１つに絞り込むことができない場合には、幾つかの候補をユーザに提示し、ユーザに選択を求めることで最終的に１つの設備に絞り込む。この撮影対象物特定プログラム３０７の処理内容の詳細は後述する。

次に、サーバシステム１００は、上述したように、撮影対象物特定プログラム３０７の処理の結果、対象の設備を１つに特定できたか否かを判定する（ステップ８０７）。

ここで、対象の設備を１つに特定できた場合には、サーバシステム１００は、撮影した画像を設備画像データ４０１に特定した設備ＩＤと対応づけて撮影日時情報を付加して格納する（ステップ８０８）。例えば、撮影対象物特定プログラム３０７によって、図９において撮影した巡視対象設備９００が設備ＩＤ「１０４」によって識別される設備であると特定されたとすると、サーバシステム１００は、その撮影画像を、図６の設備画像データ４０１における設備ＩＤ「１０４」に関する画像データが格納されているレコード６０２に追加する。

反対に、ステップ８０７で対象の設備を１つに特定することができず、幾つか候補が残った場合には、この時点ではステップ８０８を実行せず、ステップ８０９に進む。

サーバシステム１００は、特定した１つ、または幾つかの設備候補に関連するデータを設備状況データ４００、及び履歴データ４０２から検索する（ステップ８０９）。ここで、設備が１つに特定された場合には、その１つの設備に関するデータのみを、幾つかの候補が残っている場合には、それらの対象設備候補に関するデータを検索する。

次に、サーバシステム１００は、ステップ８０９で検索した設備候補に関するデータをネットワークインタフェース３０１、ネットワーク１０２を介して携帯情報端末１０１に送信する（ステップ８１０）。

ここから携帯情報端末１０１による処理ステップ（８１１、８１２、８１３、８１４、８１５）が実行される。

携帯情報端末１０１の無線通信部２００は、サーバシステム１００から送信された設備候補に関するデータを、ネットワーク１０２を介して受信する。受信したデータはメモリ２０６に格納される（ステップ８１１）。

次に、携帯情報端末１０１は、撮影対象の設備候補を１つに特定できているか否かを判別する（ステップ８１２）。具体的には、もしサーバシステム１００から受信した設備候補に関するデータが１つの設備のみ関するデータであったら、設備候補を１つに特定できていると判断してよい。反対に、複数の設備に関するデータであったなら、まだ幾つか設備の候補が残っていると判断できる。

ステップ８１２の処理の結果、撮影対象の設備候補が複数あると判断された場合、携帯情報端末１０１は、複数の候補を表示部２０１に周辺地図とともに提示して、ユーザ（巡視員）に幾つかの候補から１つの設備を選択するように求め、ユーザは操作部２０５を操作することで設備を１つ選択する（ステップ８１３）。

図１０は、本発明の第１の実施形態の表示部２０１によって表示される撮影対象の設備の候補の説明図であり、ステップ８１３において表示される画面の一例を示す。

図１０では、表示部２０１のディスプレイ上にユーザ位置の周辺地図１０００が表示され、さらに、地図１０００上に設備１００４の位置がマッピングされている。例えば図１０の場合では、３つの設備候補１００１、１００２、１００３が強調表示されており、設備候補１００１は設備ＩＤ「１０４」、設備候補１００２は設備ＩＤ「１０５」、設備候補１００３は設備ＩＤ「１０６」に対応する。ディスプレイ上にこれらの設備ＩＤを示す吹き出しが各設備の位置と対応付けて表示される。さらに、ディスプレイ上部には、ユーザに対して、撮影設備を候補から選択するように指示１００５が表示されている。

図１０に例示する携帯情報端末１０１のディスプレイはタッチパネルの機能を備える。この場合、ユーザが指示１００５に従って、ユーザの周囲の状況と地図１０００から判断し、設備候補１００１、１００２、１００３に対応する吹き出しのいずれかをタッチすることで設備を選択する。このように、本実施の形態ではタッチパネルディスプレイを備えた携帯情報端末１０１を想定しているが、もちろん実施の形態はこれに限ったものではない。例えば、携帯情報端末１０１がユーザの操作を受け付けるボタン等を備えてもよく、その場合には、プルダウン等によってディスプレイが設備候補を提示し、ユーザがボタン等を操作することによって設備を選択してもよい。

ステップ８１３においてユーザが幾つかの候補の中から選択することによって１つの撮影設備を特定した後、携帯情報端末１０１は、特定した１つの設備ＩＤと撮影画像とを無線通信部２００からネットワーク１０２を介してサーバシステム１００に送信する（ステップ８１４）。撮影画像は既にサーバシステム１００のメモリ３０６に格納されているので、設備ＩＤのみを送信してもよい。

サーバシステム１００は、携帯情報端末１０１から受信した設備ＩＤと撮影画像とを、設備画像データ４０１に特定した設備ＩＤ６００と対応づけて、さらに撮影日時情報を付加して格納する（ステップ８１６）。例えば、図１０でユーザが選択した設備の設備ＩＤが「１０４」であるとすると、サーバシステム１００は、その撮影画像を図６の設備画像データ４０１における設備ＩＤ「１０４」に関する画像データが格納されているレコード６０２に追加する。

一方、ステップ８１２の処理の結果、撮影対象の設備が１つに特定されていると判断された場合、又は、ステップ８１４の処理が実行された場合、設備は１つに特定されているので、携帯情報端末１０１は、特定した撮影設備に関するデータをメモリ２０６から読み出し、表示部２０１に表示することでユーザ（巡視員）に提示する（ステップ８１５）。

図１１は、本発明の第１の実施形態の携帯情報端末１０１の表示部２０１に表示される巡視対象設備に関するデータの一例を示す説明図である。

携帯情報端末１１０３の表示部１１００に、撮影された撮影対象設備の画像１１０１が表示され、さらに、対象設備に関するデータ１１０２が表示される。図１１では、特定された設備は設備ＩＤ「１０４」によって識別される設備であり、特定された設備の撮影画像１１０１に、設備ＩＤ「１０４」に関するデータ１１０２が重畳表示される。例えば、図５の設備状況データ４００における設備ＩＤ「１０４」に関するデータ５０８、及び、図７の履歴データ４０２における設備ＩＤ「１０４」に関するデータ７０２がデータ１１０２として表示されている。

このようにユーザ（巡視員）が巡視、点検中に対象の設備を携帯情報端末１０１で撮影するだけで、撮影した設備をサーバシステム１００が自動で特定し、その設備に関するデータを検索し、検索したデータを携帯情報端末１０１が提示し、ユーザはその情報を参照しながら巡視、点検を行うことができるので、巡視、点検作業を効率化することができる。図１１の例では、設備に関するデータが撮影画像に重畳表示されているが、実施の形態はこれに限られない。例えば、画像ではなく、データを纏めた表を表示部２０１に提示する等、様々な方法が考えられる。また、本システムでは、設備に関する情報を提示するだけでなく、撮影した設備を自動で特定し、設備ＩＤと撮影画像を対応づけて自動的に設備画像データに蓄積することができる。これによって、設備画像を用いた設備状態の管理も容易になる。

次に、図８の巡視作業支援システムのフローチャートにおけるステップ８０６の撮影対象設備を特定する処理について詳細を説明する。

図１２は、本発明の第１の実施形態の巡視作業支援システムにおいて実行される撮影対象設備を特定する処理のフローチャートであり、具体的には、図８のフローチャートのステップ８０６において実行される処理の詳細を示す。

図１２の処理は、メモリ３０６に格納されている撮影対象物特定プログラム３０７をＣＰＵ３００が実行することで開始される。撮影対象物特定プログラム３０７はメモリ３０６に格納した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影時の条件）、及び、データベース３０３に格納されているデータを用いて、撮影した設備を１つ特定する、又は幾つかの候補に絞り込む（ステップ８０６）。対象の設備を１つに絞り込むことができない場合には、幾つかの候補をユーザに提示し、ユーザに選択を求めることで最終的に１つの設備に絞り込む。

まず、撮影対象物特定プログラム３０７は、メモリ３０６に格納されているユーザ（巡視員）の位置情報（すなわち携帯情報端末１０１の位置情報）及び撮影方角を用いてそれらの測定誤差を含めた範囲を指定し、設備状況データ４００に格納されている設備位置情報５０１を用いて、撮影した設備が存在する可能性がある範囲を特定する（ステップ１２００）。

図１３は、本発明の第１の実施形態の撮影対象物特定プログラム３０７による、撮影した設備が存在する可能性がある範囲を特定する処理の説明図であり、図１２のステップ１２００の処理の具体的な例を示す。

図１３（Ａ）は、地図上の設備配置を示しており、設備１３００が空間上に配置されている。この空間におけるユーザ位置１３０２は、位置情報取得部２０２が取得したユーザの位置情報に基づいてプロットされたユーザ位置である。撮影方角１３０１は、３次元デジタルコンパス２０７が取得した撮影方角情報に基づき、ユーザ位置１３０２を起点として示したものである。

位置情報と撮影方角情報が正確であれば、撮影した設備が、ユーザ位置１３０２から撮影方角１３０１の方角に存在している設備Ａ１３０６であると容易に特定できる。しかし、実際には位置情報取得部２０２から得た位置情報及び３次元デジタルコンパス２０７から得た撮影方角情報には測定誤差が含まれる場合が多い。例えば、位置情報取得部２０２の一例であるＧＰＳによる位置情報には最大１００ｍ程度、３次元デジタルコンパスには±５度程度の測定誤差があり、用いる製品ごとに誤差の程度が開示されている。このため、図１３のような位置情報及び撮影方角情報が得られた場合であっても、実際には設備Ａ１３０６以外の設備を撮影した可能性がある。そこで、実際に撮影した設備を特定するために、測定誤差を考慮して、撮影した設備が存在する可能性がある範囲を特定する必要がある。

撮影対象物特定プログラム３０７は、まず、ユーザ位置１３０２を中心として誤差範囲を含むユーザ位置情報誤差範囲１３０３を算出する。例えば、位置情報取得部２０２の誤差として「１００ｍ」が開示されている場合、ユーザ位置１３０２を中心とする半径１００ｍの円がユーザ位置情報誤差範囲１３０３として算出される。このユーザ位置情報誤差範囲１３０３内にユーザの実際の位置が含まれることとなる。

次に、撮影方角１３０１についても誤差を考慮すると、撮影方角の誤差範囲１３０５を求めることができる。例えば、３次元デジタルコンパス２０７の誤差として「±５度」が開示されている場合、ユーザ位置１３０２を基点とする、撮影方角１３０１に対して±５度の範囲が撮影方角誤差範囲１３０５として算出される。

撮影方角誤差範囲１３０５はユーザ位置１３０２を基点とする撮影方角１３０１の誤差であるが、ユーザ位置１３０２にも上記のユーザ位置情報誤差範囲１３０３として算出された誤差がある。すなわち、撮影した設備は、ユーザ位置情報誤差範囲１３０３内のいずれかの地点を基点とする、撮影方角誤差範囲１３０５と同等の方角範囲内の設備のいずれかである。このため、撮影対象物特定プログラム３０７は、ユーザ位置情報誤差範囲１３０３に対して撮影方角誤差範囲１３０５を考慮することによって、両データの誤差範囲１３０４を算出する。これは、ユーザ位置情報誤差範囲１３０３内の全ての点を起点とする撮影方角誤差範囲１３０５の和集合に相当する。

図１３（Ｂ）の斜線部１３０７は、両データの誤差範囲１３０４に相当し、この範囲内に撮影した設備が存在する可能性がある。言い換えると、実際の測定誤差が、開示されている誤差の範囲内である限り、斜線部１３０７の外側の設備を撮影した可能性はない。

次に、撮影対象物特定プログラム３０７は、撮影した画像から対象設備を抽出し、その高さを測定する（ステップ１２０１）。ここでは、対象設備の一例として電柱を示す。電柱は円柱状の設備であるため、撮影対象物特定プログラム３０７は、簡単なテンプレートマッチング等によって撮影画像から容易に設備を抽出でき、画像中の設備の高さ（すなわち、撮影された画像に含まれる設備の部分の画像の下端から上端までの長さ）を測定する。ここで画像中の設備の高さとは、撮影された画像に含まれる設備の部分の画像の下端から上端までの長さである。電柱の例を説明すると、ユーザが電柱の基部（地面と交差する部分）から先端までの全体が撮影画像に含まれるように撮影し、撮影対象物特定プログラム３０７が撮影画像から電柱の部分の画像を抽出し、その基部から先端までの画像の長さを測定する。

あるいは、そのような抽出処理を行わずに設備の高さを測定する方法も考えられる。例えば、ユーザに、携帯情報端末１０１のディスプレイの高さが画像中の設備の高さとなるように撮影するように制約を設けておけば、高さを測定するまでもなく、ディスプレイの高さが画像中の設備の高さとなる。

次に、撮影対象物特定プログラム３０７は、撮影した設備が存在する可能性がある範囲１３０７内にあるそれぞれの設備が、ユーザが携帯情報端末１０１を用いて撮影した設備であると仮定し、撮影した設備が存在する可能性がある範囲１３０７内にあるそれぞれの設備に対し、設備状況データ４００に格納されている実際の設備の高さ５０４と、処理ステップ１２０１で算出した撮影画像中の設備の高さと、カメラの撮影条件（焦点距離、ズーム率、撮像素子サイズ）と、誤差情報と、を用いてユーザの撮影位置の範囲を推定する（ステップ１２０２）。

図１４は、本発明の第１の実施形態の撮影対象物特定プログラム３０７による、ユーザの撮影位置を推定する処理の説明図であり、図１２のステップ１２０２の具体的な処理イメージを示す。

図１２のステップ１２００で求めた、撮影した設備が存在する可能性がある範囲１４０１（図１３の範囲１３０７に相当する）内にある各設備について、撮影対象物特定プログラム３０７は、ユーザが携帯情報端末１０１を用いて撮影した設備であると仮定し、それぞれの設備が撮影した画像のように写る場合のユーザ（巡視員）の撮影位置を算出する。

例えば、図１４における設備ａ１４０２についてこの処理を行うと、まず、設備ａ１４０２が携帯情報端末１０１の撮影部２０３の被写体であると仮定した場合、設備ａ１４０２の実際の高さＨと、前記ステップ１２０１で求めた撮影画像中の設備の高さと、撮影時の条件（カメラのズーム率ｘ、カメラの焦点距離ｆ、撮像素子サイズ（高さｈ×幅ｗ））の関係を用いて被写体までの距離ｄを算出する。

図１５は、本発明の第１の実施形態の撮影対象物特定プログラム３０７による、ユーザから被写体までの距離の算出方法の説明図であり、具体的には、撮影画像の高さが画像中の設備の高さと等しい場合の、被写体までの距離ｄと、焦点距離ｆと、撮像素子サイズ（高さｈ×幅ｗ）との関係を示した図である。図１５に示す被写体１５００の高さＨ、撮像素子１５０１の高さｈ、及びカメラの焦点距離ｆ１５０３が与えられた場合、被写体までの距離ｄ１５０２は式（１）によって求めることができる。

カメラのズーム率ｘの値からズーム機能を用いたことが判明している場合には、その値に応じて焦点距離等を補正すればよい。また、式（１）は、ユーザが、撮像素子１５０１の高さｈと、撮影された画像中の設備の高さとが同一になるように撮影した場合に適用されるものであるが、実際にはユーザがそのような条件で撮影することができない場合もある。このように、撮影画像の高さが画像中の設備の高さと等しくない場合には、画像中の設備の高さと実際の設備の高さから画像中の高さ方向の撮影範囲を推定すればよい。具体的には、式（１）における撮像素子１５０１の高さｈを、撮影された画像中の設備の高さによって置き換えることによって、被写体までの距離ｄ１５０２を求めることができる。

式（１）によって、図１４の設備ａ１４０２に関して、ユーザから被写体までの距離（撮影距離）ｄが推定される。仮に、撮影距離ｄ及び撮影方角情報のいずれにも誤差がないとすれば、ユーザの撮影位置は、設備ａ１４０２を中心とする半径ｄの円上に存在する点であって、かつ、その点を基点とする撮影方角１３０１上に設備ａ１４０２が存在する、という条件を満たす点である。しかし、実際には、撮影方角情報は上記の誤差範囲１３０５のような誤差を含み、さらに、撮影距離ｄも通常は誤差を含んでいる。このため、撮影対象物特定プログラム３０７は、これらの誤差を考慮して、ユーザの撮影位置の範囲を推定する。

まず、撮影対象物特定プログラム３０７は、撮影距離ｄの誤差範囲を推定する。例えば、撮影対象物特定プログラム３０７は、予め与えられた誤差範囲推定用のパラメータを用いて撮影距離ｄの誤差範囲を計算してもよい。例えば、撮影対象物特定プログラム３０７は、撮影距離ｄ±１０ｍといった所定の距離の加算、又は、撮影距離ｄ±１０％といった所定の比率の乗算によって誤差範囲を推定してもよい。この場合、「±１０ｍ」又は「±１０％」が予め与えられた誤差範囲推定用のパラメータである。これによって、例えば図１４に示すように、上記のようにして求められた撮影距離ｄの誤差範囲が、設備ａ１４０２の設置位置を中心とした二つの同心円にはさまれた範囲１４０３として求められる。

さらに、撮影対象物特定プログラム３０７は、撮影距離の誤差範囲１４０３に撮影方角情報及びその誤差の情報を用いることで、設備ａの推定撮影位置１４０４を算出する。具体的には、撮影対象物特定プログラム３０７は、範囲１４０３に含まれる点であって、かつ、その点を基点とする撮影方角の誤差範囲１３０５に設備ａ１４０２が含まれる点の集合を、ユーザが設備ａ１４０２を撮影したと推定される位置の範囲、すなわち推定撮影位置１４０４として算出する。

図１４における設備ｂ１４０５について同様な処理を実行することによって、例えば、設備ｂの推定撮影位置１４０６が算出される。設備によって高さが異なるため、推定される撮影距離を示す円の大きさも設備によって異なる。撮影対象物特定プログラム３０７は、範囲１４０１内の他の設備についても同様の方法でユーザの撮影位置の範囲を推定する。

次に、撮影対象物特定プログラム３０７は、各設備について推定された撮影位置の範囲の少なくとも一部が、ユーザ位置情報誤差範囲１４００に含まれているか否かを検証することで、設備候補を絞る（ステップ１２０３）。撮影対象物特定プログラム３０７は、ステップ１２０２において、撮影した設備が存在する可能性がある範囲１４０１内にある各設備に対して、推定撮影位置１４０４及び１４０６等を推定した。これらは、例えば、実際の誤差が計算に用いられた誤差を超えない限り、設備ａ１４０２が推定撮影位置１４０４以外の位置から撮影された可能性がないことを意味する。すなわち、撮影された時点で、ユーザが推定撮影位置１４０４の範囲内にいた可能性がない場合、撮影された設備が設備ａ１４０２である可能性はない。

このため、撮影対象物特定プログラム３０７は、推定撮影位置の少なくとも一部が、ＧＰＳによって求めたユーザ位置情報誤差範囲１４００に含まれているか否かを検証し、その検証結果に従って設備候補を絞っていく。例えば、図１４における設備ａの推定撮影位置１４０４の少なくとも一部がユーザ位置情報誤差範囲１４００に含まれているので、両者の重複範囲内のいずれかの位置からユーザが設備ａ１４０２を撮影した可能性がある。すなわち、撮影した設備が設備ａ１４０２である可能性があるため、撮影対象物特定プログラム３０７は、設備ａ１４０２を候補として残しておく。一方、設備ｂの推定撮影位置１４０６は、ユーザ位置情報誤差範囲１４００に含まれていないため、撮影対象物特定プログラム３０７は、設備ｂ１４０５は撮影した設備ではないと判定し、設備候補から除外する。撮影対象物特定プログラム３０７は、範囲１４０１内の他の設備についても同様の検証を行い、設備候補を絞り込む。

次に、撮影対象物特定プログラム３０７は、ステップ１２０３の絞り込みの結果、設備候補を１つに絞り込むことができたか否かを判定する（ステップ１２０４）。

ステップ１２０４において、設備候補がまだ複数残っていると判定された場合には、撮影対象物特定プログラム３０７は、地図データを用いて、地理的条件から推定した巡視員位置の妥当性を検証することで設備候補をさらに絞る（ステップ１２０５）。

図１６は、本発明の第１の実施形態の撮影対象物特定プログラム３０７による、地理的条件に基づいてユーザ位置の妥当性を検証する処理の説明図であり、具体的には、ステップ１２０５の処理の一例を示す図である。

ステップ１２０５において、撮影対象物特定プログラム３０７は、設備候補として残っている複数の設備に対して、それぞれ地図情報を用いて、推定されたユーザの位置から候補設備を物理的に撮影可能であるか否かを検証することでさらに設備候補を絞り込む。例えば、図１６（Ａ）では、撮影対象物特定プログラム３０７は、設備候補１６００とその推定撮影位置１６０１に対して、これらの位置をキーとして地図データ４０３から設備候補１６００とその推定撮影位置１６０１の間に建造物又は山等の障害物が存在するかどうかを検索する。その結果、例えば図１６（Ａ）のように建造物等１６０２が存在する場合、推定撮影位置１６０１から設備候補１６００を撮影することは不可能となるため、設備候補１６００を候補から除外する。なお、この検索を行うために、地図データ４０３は、地形及び建造物の形状等の情報を含んでいる必要がある。

具体的には、例えば、撮影対象物特定プログラム３０７は、地図データ４０３に含まれる建造物等１６０２の形状に基づいて、設備候補１６００を見通し可能な範囲１６０４を特定し、その見通し可能な範囲１６０４と推定撮影位置１６０１の少なくとも一部とが重複しない場合、設備候補１６００を候補から除外する。

また、図１６（Ｂ）の例では、撮影対象物特定プログラム３０７は、設備候補１６００の推定撮影位置１６０１が、ユーザが通ることができる場所であるかを検証することで、推定位置の妥当性を確認する。具体的には、図１６（Ｂ）では、撮影対象物特定プログラム３０７は、推定撮影位置１６０１上に道路があるかどうかを地図データ４０３から検索し、図１６（Ｂ）のように道路があれば、ユーザが推定撮影位置上に存在できるため、推定撮影位置１６０１は妥当である（すなわち設備候補１６００を候補から除外する必要がない）ということが確認できる。もし、推定撮影位置１６０１が、道路以外の（すなわちユーザが通れない）場所であれば、撮影対象物特定プログラム３０７は、設備候補１６００を撮影不可能と判定して、候補から除外する。

図１６（Ｂ）は道路の例を示したが、地図データ４０３から、ユーザが立ち入りできる範囲（例えば公共の領域）と、ユーザが立ち入りできない範囲（例えば私有地など）とを特定できる場合には、推定撮影位置１６０１の少なくとも一部が、ユーザが立ち入りできる範囲と重複するか否かを判定し、重複しない場合には設備候補１６００を候補から除外することができる。このように、撮影対象物特定プログラム３０７は、設備と推定撮影位置の間の遮蔽物、又は、推定撮影位置に対するユーザの存在可能性を検証することで、候補を絞り込む。

撮影対象物特定プログラム３０７は、以上のステップの絞り込みの結果、候補として残った一つ又は複数の設備を、撮影した設備候補として出力する（ステップ１２０６）。

図１７は、本発明の第１の実施形態の撮影対象物特定プログラム３０７による、複数の設備の位置関係に基づいてユーザの撮影位置を推定する処理の説明図である。

図１７の撮影画像１７００のように一つの画像内に設備ｃ１７０１及び設備ｄ１７０２といった複数の設備が写っている場合には、撮影対象物特定プログラム３０７は、これらの位置関係を用いて、設備ｃ１７０１及び設備ｄ１７０２の位置関係を撮影可能なユーザの撮影位置１７０３を特定するという処理をステップ１２０５等で行ってもよい。

具体的には、撮影対象物特定プログラム３０７は、例えば、設備ｃ１７０１及び設備ｄ１７０２のそれぞれについて、図１４を参照して説明した方法によって推定撮影位置を特定してもよい。二つの設備の推定撮影位置が重複し、かつ、重複した範囲の少なくとも一部がユーザ位置情報誤差範囲１４００に含まれる場合には、設備ｃ１７０１及び設備ｄ１７０２を同一画像内に撮影できた可能性があるため、撮影対象物特定プログラム３０７は、それらの設備を候補として残す。一方、二つの設備の推定撮影位置が重複しないか、又は、重複した範囲のどの部分もユーザ位置情報誤差範囲１４００に含まれない場合には、設備ｃ１７０１及び設備ｄ１７０２を同一画像内に撮影することが不可能である（すなわち撮影された画像に含まれる二つの設備は設備ｃ１７０１と設備ｄ１７０２の組ではない）と判定して、設備ｃ１７０１及び設備ｄ１７０２の少なくとも一方を候補から除外してもよい。

以上に説明したように、本発明の第１の実施形態によると、電力配電設備における電柱等、特に高密度で広範囲に数多く散在する設備の保全作業である巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示することで作業を支援するシステムについて、撮影機能及び測位機能を備える携帯端末が取得した位置情報、方角情報及び撮影画像を用いて、測位情報の測定誤差を考慮して自動的にかつ高精度で対象物を特定することができる。そして、それを利用して電力配電設備における電柱等の巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示することができ、それによって巡視、点検の効率を向上させることができる。さらに撮影した設備画像に設備ＩＤを自動で対応付けることができるため、効率良く設備画像を蓄積することができる。

＜第２の実施形態＞
本実施形態では、第１の実施形態とは異なったシステム構成及び処理手順を持つ巡視作業支援システムの一例を説明する。第１の実施形態では、携帯情報端末１０１がサーバシステム１００に必要な情報を送信し、サーバシステム１００側で撮影した設備を特定し、その結果を携帯情報端末１０１に送信する。これに対して、第２の実施形態では、携帯情報端末とサーバシステムがネットワークで接続されていない。ユーザはクライアントＰＣに携帯情報端末を接続し、該当日（すなわち巡視・点検等の作業を行う日）に巡視、点検予定の地域の関連データをダウンロードしてから巡視、点検に行く。点検時に、携帯情報端末内部で撮影設備の特定処理が行われる。該当日の巡視、点検が全て終了してから、携帯情報端末がクライアントＰＣを介してサーバシステムに結果をアップロードする。

図１８は、本発明の第２の実施形態の巡視作業支援システムの全体構成の一例を示すブロック図である。

本実施形態の巡視作業支援システムにおいて、サーバシステム１８００とクライアントＰＣ１８０２が有線又は無線のネットワーク１８０１を介して接続されており、複数の携帯情報端末１８０３がクライアントＰＣ１８０２を介してサーバシステム１８００との間でデータのアップロード及びダウンロードを行う。図１８の例では３台の携帯情報端末１８０３が接続されているが、接続される携帯情報端末１８０３の台数はこれに限定されない。以下、本システムの構成要素について説明する。

図１９は、本発明の第２の実施形態の巡視作業支援システムに含まれる携帯情報端末１８０３の構成の一例を示すブロック図である。

携帯情報端末１８０３は、ＵＳＢ等の、外部機器と接続するためのＩ／Ｏ１９００、ディスプレイ等の表示部１９０１、ＧＰＳ衛星１９１０から位置情報を取得する位置情報取得部１９０２、撮影対象設備１９０８を撮影するデジタルスチルカメラ等の撮影部１９０３、全体の処理を制御するＣＰＵ１９０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部１９０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ１９０６、及び、携帯情報端末１８０３の向いている方角を取得するための３次元デジタルコンパス１９０７から構成される。

ＣＰＵ１９０４は、位置情報取得部１９０２から位置情報を取得し、撮影部１９０３から撮影画像及び撮影状況の情報を取得し、３次元デジタルコンパス１９０７から撮影方角の情報を取得し、取得したそれらの情報をメモリ１９０６に格納する。また、ＣＰＵ１９０４は、対象設備に関する情報が付加された画像を表示部１９０１に表示させる。これらの処理については後述する。

携帯情報端末１８０３は、具体的には、デジタルカメラ、携帯電話機、又はＰＤＡ等の携帯端末が該当する。位置情報取得部１９０２は、受信回路等から構成され、ＧＰＳ衛星１９１０からの電波を受信し、受信した電波から距離を測定することで、携帯情報端末の位置する緯度及び経度の位置情報を取得する。メモリ１９０６には撮影対象設備の特定処理を行うための撮影対象物特定プログラム１９０９が格納されており、ＣＰＵ１９０４がこの撮影対象物特定プログラム１９０９をメモリ１９０６から読み出し、実行する。

なお、メモリ１９０６には、さらに、誤差情報（図示省略）が保持される。この誤差情報は、第１の実施形態のメモリ３０６等に格納されるものと同様に、位置情報取得部１９０２によって取得された位置情報の誤差、３次元デジタルコンパス１９０７によって取得された方角情報の誤差、及び、撮影対象設備２０８までの距離情報の誤差を示す情報を含む。

図２０は、本発明の第２の実施形態の巡視作業支援システムに含まれるサーバシステム１８００及びクライアントＰＣ１８０２の構成の一例を示すブロック図である。

サーバシステム１８００は、サーバシステム１８００の全体を制御するＣＰＵ２０００、ネットワークインタフェース２００１、ＵＳＢなどの、外部機器と接続するためのＩ／Ｏ２００２、設備に関する情報、地図情報及び設備画像等が保存されているデータベース２００３、ユーザが入力するためのキーボード及びマウス等の操作部２００４、処理の結果及びログ等を表示するための表示部２００５、不揮発性記憶装置であるメモリ２００６、及びデータバス２００７から構成され、上記の各部２０００〜２００６がそれぞれデータバス２００７と接続されている。データベース２００３は、例えばハードディスクドライブのような記憶装置によって構成されてもよい。

クライアントＰＣ１８０２は、クライアントＰＣ１８０２の全体を制御するＣＰＵ２０１２、ネットワークインタフェース２００８、ＵＳＢなどの、外部機器と接続するためのＩ／Ｏ２００９、ユーザが入力するためのキーボード及びマウス等の操作部２０１３、処理の結果及びログ等を表示するための表示部２０１１、不揮発性記憶装置であるメモリ２０１０、及びデータバス２０１４から構成され、上記の各部２００８〜２０１３がそれぞれデータバス２０１４と接続されている。サーバシステム１８００とクライアントＰＣ１８０２は有線又は無線のネットワーク１８０１で接続されており、ネットワーク１８０１を介して両者が相互にデータの送受信を行う。

本実施形態では、携帯情報端末１８０３とサーバシステム１８００とがネットワーク１８０１を介して接続されていない。ユーザはクライアントＰＣ１８０２に携帯情報端末１８０３を接続し、該当日に巡視、点検予定の地域の関連データをダウンロードしてから巡視、点検に行く。点検時にユーザは撮影対象設備１９０８を撮影部１９０３によって撮影し、それと同時に位置情報取得部１９０２がＧＰＳ衛星１９１０から位置情報を取得し、３次元デジタルコンパス１９０７が撮影方角を取得する。ＣＰＵ１９０４はこれらの情報を用いて、メモリ１９０６内の撮影対象物特定プログラム１９０９を実行し、撮影した設備を特定し、撮影した設備に関する情報を表示部１９０１に表示する。そして該当日の巡視、点検が全て終了してから、携帯情報端末１８０３がクライアントＰＣを介してサーバシステム１８００に結果をアップロードする。サーバシステム１８００では、撮影画像を設備ＩＤと対応づけてデータベース２００３に蓄積する。処理の詳細については後述する。データベース２００３の構成等、ここで特に説明していないものは第１の実施形態と同じであるため、説明は割愛する。

以上の構成を有する、本実施の形態における巡視作業支援システム全体の処理について説明する。

まず、図２１を参照して、巡視、点検の作業に行く前にユーザ（巡視員）がサーバシステム１８００とクライアントＰＣ１８０２を用いて関連データをダウンロードする処理について説明する。

図２１は、本発明の第２の実施形態の巡視作業支援システムのユーザが巡視又は点検の作業前に関連データをダウンロードする処理のフローチャートである。

まず、ユーザ（巡視員）がクライアントＰＣ１８０２のＩ／Ｏ２００９と携帯情報端末１８０３のＩ／Ｏ１９００とをＵＳＢケーブル等の接続手段によって接続する（ステップ２１００）。これは一例であり、他の方法、例えばフラッシュメモリのような外部記憶媒体を介することによってデータの受け渡しを行ってもよい。

ユーザがクライアントＰＣ１８０２の操作部２０１３を操作し、サーバシステム１８００にネットワーク１８０１を介してアクセスし、該当日の巡視予定地区にある設備に関するデータをデータベース２００３から検索する（ステップ２１０１）。巡視予定地区にある設備に関するデータとは、データベース２００３に格納されている設備状況データ４００、履歴データ４０２、周辺の地図データ４０３である。

ユーザは、ステップ２１０１によって検索したデータをサーバシステム１８００におけるデータベースからネットワーク１８０１を介してクライアントＰＣ１８０２にダウンロードし、そのデータをクライアントＰＣ１８０２内のメモリ２０１０に一時格納し、さらに、クライアントＰＣ１８０２のＩ／Ｏ２００９及び携帯情報端末１８０３のＩ／Ｏ１９００を介して携帯情報端末１８０３のメモリ１９０６に格納する（ステップ２１０２）。

ステップ２１０２が終了したら、ユーザがクライアントＰＣ１８０２から携帯情報端末１８０３を取り外す。

以上の処理フローによって、該当日に巡視予定の設備に関するデータが携帯情報端末１８０３にダウンロードされたので、ユーザは携帯情報端末を持って現場に巡視、点検に行く。

次に、図２２を用いて、巡視作業中の携帯情報端末１８０３の処理について説明する。

図２２は、本発明の第２の実施形態の携帯情報端末１８０３が実行する処理のフローチャートである。

巡視、点検を行っているユーザ（巡視員）が撮影対象設備の付近で携帯情報端末１８０３の操作部１９０５を操作して撮影部１９０３に撮影対象設備１９０８の撮影を指示する（ステップ２２００）。

ユーザの撮影指示を受けた撮影部１９０３が撮影対象設備１９０８を撮影し、撮影した画像及び撮影時の条件（カメラのズーム率、カメラの焦点距離、撮像素子サイズ、撮影日時情報等）を取得し、メモリ１９０６に格納する（ステップ２２０１）。

ユーザからの撮影指示をトリガとして、位置情報取得部１９０２がＧＰＳ衛星１９１０から携帯情報端末１８０３の位置情報を取得し、メモリ１９０６に格納する（ステップ２２０２）。具体的には、位置情報取得部１９０２はＧＰＳ衛星１９１０から電波を受信し、受信した電波から距離を測定することで、携帯情報端末１８０３の位置する緯度及び経度を算出する。

ユーザからの撮影指示をトリガとして、３次元デジタルコンパス１９０７が水平方向の方角及び垂直方向の角度を計測し、メモリ１９０６に格納する（ステップ２２０３）。

次に、ＣＰＵ１９０４がメモリ１９０６に格納されている撮影対象物特定プログラム１９０９を実行し、撮影対象物特定プログラム１９０９はメモリ１９０６に格納されているデータ（撮影画像、携帯情報端末の位置情報、撮影方角、撮影時の条件、及びサーバシステムからダウンロードしたデータ）を用いて、撮影した設備を特定する（ステップ２２０４）。撮影対象物特定プログラム１９０９の処理内容は第１の実施形態で説明した撮影対象物特定プログラム３０７の処理内容と同様であるため、説明を割愛する。

次に、撮影対象物特定プログラム１９０９の処理の結果、対象の設備を１つに特定できたか否かを判定する（ステップ２２０５）。

ステップ２２０５の結果、撮影対象の設備候補が複数あると判断された場合、携帯情報端末１８０３は、複数の候補を表示部１９０１に周辺地図とともに提示して、ユーザ（巡視員）に幾つかの候補から１つの設備を選択するように求め、ユーザは操作部１９０５を操作することで設備を１つ選択する（ステップ２２０６）。表示部１９０１の表示方法については第１の実施形態の表示部２０１の表示方法と同様であるため、説明を割愛する（図１０参照）。

ステップ２２０５の結果、対象の設備を１つに特定できた場合、又は、ステップ２２０６によって複数の設備候補から１つが選択された場合、携帯情報端末１８０３は、撮影した画像と特定した設備ＩＤを対応づけてメモリ１９０６に再び格納する（ステップ２２０７）。

次に、携帯情報端末１８０３は、特定した撮影設備に関連する設備状況データ及び履歴データをメモリ１９０６から検索する（ステップ２２０８）。

次に、携帯情報端末１８０３は、検索したデータを表示部１９０１に表示することでユーザ（巡視員）に提示する（ステップ２２０９）。表示例については第１の実施形態と同様であるため、説明を割愛する（図１１参照）。

次に、図２３を参照して、該当日の巡視、点検作業が終了した後に、ユーザ（巡視員）がサーバシステム１８００とクライアントＰＣ１８０２を用いて関連データをアップロードする処理について説明する。

図２３は、本発明の第２の実施形態の巡視作業支援システムのユーザが巡視又は点検の作業後に関連データをアップロードする処理のフローチャートである。

まず、ユーザ（巡視員）がクライアントＰＣ１８０２のＩ／Ｏ２００９と携帯情報端末１８０３のＩ／Ｏ１９００とをＵＳＢケーブル等の接続手段によって接続する（ステップ２３００）。これは一例であり、他の方法、例えばフラッシュメモリのような外部記憶媒体を介することによってデータの受け渡しを行ってもよい。

ユーザがクライアントＰＣ１８０２の操作部２０１３を操作し、携帯情報端末のメモリ１９０６に格納されている該当日の巡視結果及び設備の撮影画像を、クライアントＰＣ１８０２のＩ／Ｏ２００９及び携帯情報端末１８０３のＩ／Ｏ１９００を介してクライアントＰＣ１８０２のメモリ２０１０に格納する（ステップ２３０１）。

次に、クライアントＰＣ１８０２は、メモリ２０１０に格納されたデータを有線又は無線ネットワーク１８０１を介してサーバシステム１８００に送信する。サーバシステム１８００は、クライアントＰＣ１８０２から受信したデータをメモリ２００６に一時格納し、そこからデータベース２００３の各データにメモリ２００６内のデータを振り分けて格納することでデータベース２００３を更新する（ステップ２３０２）。例えば、サーバシステム１８００は、今回巡視、点検を行った設備に関する設備状況データ４００の前回巡視年月５０６を上書きし、今回撮影した設備画像を、設備画像データ４０１の、対応する設備ＩＤを有するレコードに格納する。

ステップ２３０２が終了したら、ユーザは、クライアントＰＣ１８０２から携帯情報端末１８０３を取り外す（ステップ２３０３）。

以上に説明したように、本発明の第２の実施形態によると、携帯情報端末１８０３とサーバシステム１８００とがネットワーク１８０１によって接続されていない。ユーザはクライアントＰＣ１８０２に携帯情報端末１８０３を接続し、該当日に巡視、点検予定の地域の関連データをダウンロードしてから巡視、点検に行く。点検時には携帯情報端末１８０３内部で撮影設備の特定処理が行われ、該当日の巡視、点検が全て終了してから、携帯情報端末１８０３がクライアントＰＣを介してサーバシステムに結果をアップロードする。

以上の本発明の第２の実施形態によると、電力配電設備における電柱等、特に高密度で広範囲に数多く散在する設備の保全作業である巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示することで作業を支援するシステムについて、撮影機能及び測位機能を備える携帯端末が取得した位置情報、方角情報及び撮影画像を用いて、測位情報の測定誤差を考慮して自動的にかつ高精度で対象物を特定することができる。そして、それを利用して電力配電設備における電柱等の巡視、点検の際に、撮影した対象設備に関連する情報を自動で提示することができ、それによって巡視、点検の効率を向上させることができる。さらに撮影した設備画像に設備ＩＤを自動で対応付けることができるため、効率良く設備画像を蓄積することができる。

＜第３の実施形態＞
本実施形態では、商店街等においてユーザが撮影機能及び測位機能を備える携帯情報端末を用いて店舗を撮影すると、撮影した店舗を自動で特定し、特定した店舗に関する情報をユーザに自動で提示する店舗情報提示システムの一例を説明する。

本実施形態の店舗情報提示システムの全体システム構成は図１の第１の実施形態の巡視作業支援システムの全体構成を示すブロック図と同様であるため、説明は割愛する。以下、本システムの構成要素について説明する。

図２４は、本発明の第３の実施形態の店舗情報提示システムにおける携帯情報端末１０１の構成の一例を示すブロック図である。

第１の実施形態及び第２の実施形態においては、撮影対象となるものが、例えば電力配電設備における電柱等のように、形状が予めわかっている物体であるため、撮影画像中から設備を抽出するのが比較的容易であり、その設備の高さを算出するのも容易であった。また、設備状況データにも設備毎の高さ情報が管理されていた。しかし、本実施形態では、撮影対象となるものが商店街等における店舗であり、店舗は形状も様々あるので抽出処理が複雑になる可能性があり、さらに店舗毎の高さ情報が管理されているとは考えにくい。もちろん、店舗毎の高さ情報が管理されているなら、第１の実施形態、第２の実施形態と同様に、撮影画像中から高さを算出して、高さを用いて撮影対象との距離を算出してもよい。

本実施形態では、店舗毎の高さ情報が管理されていないことを前提とする。本実施形態の携帯情報端末１０１は、撮影対象物との距離を算出する手段として測距部を有し、これによって撮影対象物と携帯情報端末１０１との間の距離を計測する。測距部は例えば、音波を送信して対象物に反射して戻ってくるまでの時間を計測することで距離を算出する超音波距離センサ、又は、同様のことを赤外線によって行う赤外線距離センサ等を用いればよい。

携帯情報端末１０１は、無線通信部２４００、撮影画像及び設備情報等をユーザに提示するディスプレイ等の表示部２４０１、ＧＰＳ衛星２４１０から位置情報を取得する位置情報取得部２４０２、撮影対象店舗２４０８を撮影するデジタルスチルカメラ等の撮影部２４０３、全体の処理を制御するＣＰＵ２４０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部２４０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ２４０６、携帯情報端末１０１の向いている方角を取得するための３次元デジタルコンパス２４０７、及び上記の測距部２４０９から構成される。

位置情報取得部２４０２は、受信回路等から構成され、ＧＰＳ衛星２４１０からの電波を受信し、受信した電波から距離を測定することで、携帯情報端末の位置する緯度及び経度の位置情報を取得する。

ＣＰＵ２４０４は、位置情報取得部２４０２から位置情報を取得し、撮影部２４０３から撮影画像の情報を取得し、３次元デジタルコンパス２４０７から撮影方角の情報を取得し、測距部２４０９から撮影距離の情報を取得し、取得したそれらの情報をメモリ２４０６に格納する。さらに、ＣＰＵ２４０４は、それらの情報を、無線通信部２４００及びそこに接続されたネットワーク１０２を介してサーバシステム１００に送信する。また、ＣＰＵ２４０４は、無線通信部２００及びそこに接続されたネットワーク１０２を介してサーバシステム１００から対象店舗に関する情報を取得し、それをメモリ２４０６に格納し、さらに、取得した対象店舗に関する情報が付加された画像を表示部２４０１に表示させる。これらの処理については後述する。

本実施形態の店舗情報提示システムにおけるサーバシステム１００の内部構成は図３の第１の実施形態のサーバシステム構成を示すブロック図と同様であるため、説明は割愛する。ただし、本実施形態のサーバシステム１００が保持する誤差情報は、測距部２４０９が取得する撮影距離の誤差の情報を含む。さらに、本実施形態のデータベース３０３の内部構成は第１の実施形態のデータベース３０３および第２の実施形態のデータベース２００３のいずれとも異なる。

図２５は、本発明の第３の実施形態におけるデータベース３０３の構成の一例を示すブロック図である。本実施形態のデータベース３０３は、店舗データ２５００及び地図データ２５０１から構成される。

図２６は、本発明の第３の実施形態のデータベース３０３に含まれる店舗データ２５００の構成の一例を示す説明図である。

店舗データ２５００は、店舗ＩＤ２６００、店舗の位置情報２６０１、店舗名２６０４、店舗種類２６０５、コメント２６０６、及び店舗ＵＲＬ２６０７によって構成されるが、これに限定する必要はなく、店舗に関してユーザに提示可能な情報を含むことができる。店舗の位置情報２６０１は、緯度２６０２及び経度２６０３を含む。

データ２６０８、２６０９及び２６１０は格納されている店舗データの一例を示す。例えば、データ２６０８には、店舗ＩＤ２６００の値「２３４」によって識別される店舗についてのデータが格納されている。店舗ＩＤ「２３４」の店舗は緯度３５．６５７９、経度１３９．７４４３に位置し、店舗名は「○○商店」であり、店舗の種類は雑貨店であり、該店舗においては、１２月は全商品が５％ＯＦＦであり、店舗のＷｅｂサイトのＵＲＬはhttp://www...であることが分かる。データ２６０９、２６１０についても同様にそれぞれの店舗に関する情報が含まれる。

地図データ２５０１には、一般的なＧＩＳデータベースと同様に、道路や建物等の位置情報が格納されており、これについての詳細な説明は割愛する。

以上の構成を有する本実施形態における店舗情報提示システム全体の処理について説明する。

図２７は、本発明の第３の実施形態の店舗情報提示システムにおいて実行される処理を示すフローチャートである。

以下、それぞれの処理ステップについて順番に説明する。ステップ２７００、２７０１、２７０２、２７０３、２７０４、２７０５、２７１０、２７１１、２７１２及び２７１３が、本実施形態の携帯情報端末１０１による処理ステップ２７１４であり、ステップ２７０６、２７０７、２７０８及び２７０９が、本実施形態のサーバシステム１００による処理ステップ２７１５である。以下、携帯情報端末１０１における各処理はＣＰＵ２４０４が実行、制御し、サーバシステムにおける各処理はＣＰＵ３００が実行、制御するものとする。

まずは携帯情報端末１０１による処理ステップ（２７００、２７０１、２７０２、２７０３、２７０４及び２７０５）が開始される。

携帯情報端末１０１を持ったユーザが撮影対象店舗の付近で携帯情報端末１０１の操作部２４０５を操作して撮影部２４０３に撮影対象店舗２４０８の撮影を指示する（ステップ２７００）。

ユーザの撮影指示を受けた撮影部２４０３が撮影対象店舗２４０８を撮影し、撮影した画像を取得し、メモリ２４０６に格納する（ステップ２７０１）。

ユーザからの撮影指示をトリガとして、位置情報取得部２４０２がＧＰＳ衛星２４１０から携帯情報端末１０１の位置情報を取得し、メモリ２４０６に格納する（ステップ２７０２）。具体的には、位置情報取得部２４０２はＧＰＳ衛星２４１０から電波を受信し、受信した電波から距離を測定することで、携帯情報端末１０１の位置する緯度及び経度を算出する。

ユーザからの撮影指示をトリガとして、３次元デジタルコンパス２４０７が水平方向の方角と垂直方向の角度を計測し、メモリ２４０６に格納する（ステップ２７０３）。

ユーザからの撮影指示をトリガとして、測距部２４０９が携帯情報端末１０１と撮影対象店舗との間の距離を計測し、メモリ２４０６に格納する（ステップ２７０４）。具体的には測距部２４０９は例えば、音波を送信して対象物に反射して戻ってくるまでの時間を計測することで距離を算出する超音波距離センサ、又は、同様のことを赤外線によって行う赤外線距離センサ等を用いて計測する。

携帯情報端末１０１は、ステップ２７００〜２７０４によってメモリ２４０６に格納された情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影対象店舗との距離）を、無線通信部２４００からネットワーク１０２を介してサーバシステム１００に送信する（ステップ２７０５）。

次にサーバシステム１００による処理ステップ（２７０６、２７０７、２７０８及び２７０９）に移行する。

サーバシステム１００は携帯情報端末１０１から受信した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影対象店舗との距離）を一旦メモリ３０６に格納する（ステップ２７０６）。

ＣＰＵ３００がメモリ３０６に格納されている撮影対象物特定プログラム３０７を実行する。撮影対象物特定プログラム３０７は、メモリ３０６に格納した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影対象店舗との距離）及び、データベース３０３に格納されているデータを用いて、撮影した設備を特定する（ステップ２７０７）。本実施形態では、撮影対象物特定プログラム３０７は、メモリ３０６に格納した情報（撮影画像、携帯情報端末の位置情報、撮影方角、撮影対象店舗との距離）及び、データベース３０３に格納されているデータを用いて、対象の店舗を１つ特定するか、又は幾つかの候補に絞り込む。対象の店舗を１つに絞り込むことができない場合には、幾つかの候補をユーザに提示し、ユーザに選択を求めることで最終的に１つの店舗に絞り込む。本実施の形態における撮影対象物特定プログラム３０７の処理内容の詳細は後述する。

次に、サーバシステム１００は、特定した１つ、または幾つかの店舗候補に関連するデータを店舗データ２５００から検索する（ステップ２７０８）。ここで、サーバシステム１００は、店舗が１つに特定された場合には、その１つの店舗に関するデータのみを、幾つかの候補が残っている場合には、それらの対象店舗候補に関するデータを検索する。

次に、サーバシステム１００は、ステップ２７０８で検索した店舗候補に関するデータをネットワークインタフェース３０１、ネットワーク１０２を介して携帯情報端末１０１に送信する（ステップ２７０９）。

ここから携帯情報端末１０１による処理ステップ（２７１０、２７１１、２７１２及び２７１３）が実行される。

携帯情報端末１０１の無線通信部２４００は、サーバシステム１００から送信された店舗候補に関するデータを、ネットワーク１０２を介して受信する。受信したデータはメモリ２４０６に格納される（ステップ２７１０）。

次に、携帯情報端末１０１は、撮影対象の店舗候補を１つに特定できているか否かを判別する（ステップ２７１１）。具体的には、もしサーバシステム１００から受信した店舗候補に関するデータが１つの店舗だけに関するデータであったら、店舗候補を１つに特定できていると判断してよい。反対に、複数の店舗に関するデータであったなら、まだ幾つか店舗の候補が残っていると判断できる。

ステップ２７１１の処理の結果、撮影対象の店舗候補が複数あると判断された場合、携帯情報端末１０１は、複数の候補を表示部２４０１に周辺地図とともに提示して、ユーザに幾つかの候補から１つの店舗を選択するように求め、ユーザは操作部２４０５を操作することで店舗を１つ選択する（ステップ２７１２）。この具体的な表示例は、表示される対象が店舗すなわち建造物となっていることを除いて、実施の形態１及び２と同様であるので、詳細な説明は割愛する（図１０参照）。図１０では、吹き出しで設備ＩＤを提示しているが、本実施形態では対象が店舗であることから、同様に店舗ＩＤを提示してしまうとユーザが理解しにくいため、店舗名と店舗の種類等を提示することが好ましい。

ステップ２７１１の処理の結果、撮影対象の店舗が１つに特定されていると判断された場合、またはステップ２７１２の処理が実行された場合、店舗は１つに特定されているので、携帯情報端末１０１は、特定した撮影店舗に関するデータをメモリ２４０６から読み出し、表示部２４０１に表示することでユーザに提示する（ステップ８１５）。

図２８は、本発明の第３の実施形態の携帯情報端末１０１の表示部２４０１に表示される撮影対象店舗に関するデータの一例を示した図である。

携帯情報端末２８０３の表示部２８００に、撮影された撮影対象店舗の画像２８０１が表示され、さらに、撮影対象店舗に関するデータ２８０２が表示される。図２８では、特定された店舗は図２６の店舗データにおける店舗ＩＤ「２３４」によって識別される店舗であり、特定された店舗の撮影画像２８０１に、店舗ＩＤ「２３４」によって識別される店舗に関するデータ２８０２が重畳表示される。

例えば、図２６の設備状況データ４００における店舗ＩＤ「２３４」に関するデータ２６０８における店舗名２６０４、店舗の種類２６０５、コメント２６０６及び店舗のｗｅｂサイトのＵＲＬ２６０７の情報が表示されている。例えば、店舗のｗｅｂサイトのＵＲＬをクリックすると、該当するｗｅｂサイトが表示されるように、表示されたＵＲＬにリンクを張ってもよい。

このようにユーザが商店街等において対象の店舗を携帯情報端末で撮影するだけで、撮影した店舗を自動で特定し、その店舗に関するデータを検索し、携帯情報端末上に提示し、ユーザはその情報を参照することができる。これによって、ユーザが店舗を選択することを支援することができる。図２８の例では、撮影画像に店舗に関するデータが重畳表示されているが、本実施形態における表示方法はこれに限られない。例えば、画像ではなく、店舗に関するデータを纏めた表を表示部２４０１に提示する等、様々な方法が考えられる。

図２９は、本発明の第３の実施形態の店舗情報提示システムにおいて実行される撮影対象店舗を特定する処理のフローチャートであり、具体的には、図２７のフローチャートのステップ２７０７において実行される処理の詳細を示す。

図２９の処理は、メモリ３０６に格納されている撮影対象物特定プログラム３０７をＣＰＵ３００が実行することで開始される。具体的な処理内容は第１及び第２の実施形態と同様であるが（図１２参照）、本実施形態では携帯情報端末に搭載の測距部２４０９を用いて、撮影対象店舗との距離を求めるので、距離を求めるステップが無く、測定済みの距離データが用いられる。

まず、撮影対象物特定プログラム３０７は、メモリ３０６に格納されているユーザの位置情報（すなわち携帯情報端末１０１の位置情報）及び撮影方角を用いてそれらの測定誤差を含めた範囲を指定し、店舗データ２５００に格納されている店舗位置情報２６０１を用いて、撮影した店舗が存在する可能性がある範囲を特定する（ステップ２９００）。この処理は、図１２のステップ１２００と同様に実行される（図１３参照）。

次に、撮影対象物特定プログラム３０７は、撮影した店舗が存在する可能性がある範囲内にあるそれぞれの店舗が、ユーザが携帯情報端末１０１を用いて撮影した店舗であると仮定し、撮影した店舗が存在する可能性がある範囲内にあるそれぞれの店舗に対し、測距部２４０９で計測した対象店舗との距離データを用いてユーザの撮影位置を推定する（ステップ２９０１）。この処理は、対象店舗の高さの情報を用いて算出された距離を使用する代わりに、測距部２４０９によって計測された距離データを使用する点を除いて、図１２のステップ１２０２と同様に実行される（図１４参照）。

次に、撮影対象物特定プログラム３０７は、各店舗について推定された撮影位置が、ユーザ位置情報誤差範囲に含まれているか否かを検証することで、店舗候補を絞る（ステップ２９０２）。この処理は、図１２のステップ１２０３と同様に実行される。

次に、撮影対象物特定プログラム３０７は、ステップ２９０２の絞り込みの結果、店舗候補を１つに絞り込むことができたか否かを判定する（ステップ２９０３）。

ステップ２９０３において、店舗候補がまだ複数残っていると判定された場合には、撮影対象物特定プログラム３０７は、地図データを用いて、地理的条件から推定したユーザ位置の妥当性を検証することで店舗候補をさらに絞る（ステップ２９０４）。この処理は、図１２のステップ１２０５と同様に実行される（図１６参照）。

撮影対象物特定プログラム３０７は、以上の処理ステップの絞込みの結果、候補として残った一つ又は複数の店舗を、撮影した店舗候補として出力する（ステップ２９０５）。

以上で説明したように、本実施形態における店舗情報提示システムによれば、ユーザが商店街等において対象の店舗を携帯情報端末で撮影するだけで、撮影した店舗を、測位誤差を考慮した上で自動、かつ高精度で特定し、その店舗に関するデータを検索し、携帯情報端末上に提示し、ユーザにその情報を参照させることによって、ユーザに確かな情報を提示することができる。

以上、本発明の実施形態について、添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。例えば、本発明は、電力配電設備における電柱等の巡視、点検等、数多く高密度に分布している設備の巡視、点検等の保全業務に適用可能であるし、また、買い物、旅行等の状況において、ユーザに撮影対象物に対する情報を自動的に提示するような情報提示用途にも適用可能である。

１００、１８００ サーバシステム
１０１、１８０３ 携帯情報端末
１０２、１８０１ ネットワーク
２００、１９００、２４００ 無線通信部
２０１、１９０１、２４０１ 表示部
２０２、１９０２、２４０２ 位置情報取得部
２０３、１９０３、２４０３ 撮影部
２０４、１９０４、２４０４ ＣＰＵ
２０５、１９０５、２４０５ 操作部
２０６、１９０６、２４０６ メモリ
２０７、１９０７、２４０７ ３次元デジタルコンパス
２０８、１９０８、２４０８ 撮影対象設備
２０９、１９１０、２４１０ ＧＰＳ衛星
２４０９ 測距部

Claims (13)

1. ネットワークに接続される計算機と、
   前記ネットワークに接続される端末装置と、を有する対象物特定システムであって、
   前記計算機は、前記ネットワークに接続されるインターフェースと、前記インターフェースに接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有し、
   前記記憶装置は、複数の対象物の位置情報を保持し、
   前記端末装置は、前記対象物の画像を撮影する撮影部と、前記対象物の画像を撮影した位置の情報を取得する位置情報取得部と、前記対象物の画像を撮影した方角の情報を取得する方角情報取得部と、前記位置情報取得部が取得した位置の情報及び前記方角情報取得部が取得した方角の情報を、前記ネットワークを介して前記計算機に送信する通信部と、を有し、
   前記記憶装置は、さらに、前記位置情報取得部が取得した位置の誤差、前記方角情報取得部が取得した方角の誤差及び前記端末装置から撮影された対象物までの距離の誤差を示す誤差情報を保持し、
   前記計算機は、
   前記複数の対象物の位置情報と、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した方角の情報と、前記位置情報取得部が取得した位置の誤差と、前記方角情報取得部が取得した方角の誤差と、に基づいて、前記複数の対象物から、前記撮影された対象物が存在する可能性がある範囲内に位置する少なくとも一つの対象物を第１の対象物候補として特定し、
   前記撮影部が撮影した対象物が前記第１の対象物候補であると仮定した場合の、前記誤差情報に基づいて特定される、前記端末装置から前記第１の対象物候補までの距離の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、に基づいて、前記第１の対象物候補を撮影した位置の範囲を特定し、
   特定された前記第１の対象物候補を撮影した位置の範囲と、前記誤差情報に基づいて特定される前記対象物の画像を撮影した位置の誤差範囲との関係に基づいて、前記少なくとも一つの第１の対象物候補から、前記撮影された対象物の候補である少なくとも一つの第２の対象物候補を特定し、
   前記特定された第２の対象物候補の情報を前記端末装置に送信し、
   前記端末装置は、さらに、前記特定された第２の対象物候補の情報を表示する表示部を有することを特徴とする対象物特定システム。
2. 前記計算機は、
   前記誤差情報に基づいて、前記対象物の画像を撮影した位置の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、を特定し、前記対象物の画像を撮影した位置の誤差範囲内の全ての点を基点とする前記対象物の画像を撮影した方角の誤差範囲の和集合の範囲を、前記撮影された対象物が存在する可能性がある範囲として特定し、
   前記第１の対象物候補を撮影した位置の範囲の少なくとも一部が、前記対象物の画像を撮影した位置の誤差範囲に含まれる場合、前記第１の対象物候補を前記第２の対象物候補として特定することを特徴とする請求項１に記載の対象物特定システム。
3. 前記記憶装置は、さらに、地図情報を保持し、
   前記計算機は、
   前記地図情報に基づいて、前記第１の対象物候補を撮影可能な範囲を特定し、
   前記撮影部が撮影した対象物が前記第１の対象物候補であると仮定した場合に特定された、前記第１の対象物候補を撮影した位置の範囲の少なくとも一部が、前記対象物の画像を撮影した位置の範囲に含まれ、かつ、前記第１の対象物候補を撮影可能な範囲に含まれる場合、前記第１の対象物候補を前記第２の対象物候補として特定することを特徴とする請求項２に記載の対象物特定システム。
4. 前記地図情報は、地形の情報及び建造物の形状の情報を含み、
   前記計算機は、前記地図情報に基づいて、前記第１の対象物候補を見通し可能な範囲を、前記第１の対象物候補を撮影可能な範囲として特定することを特徴とする請求項３に記載の対象物特定システム。
5. 前記地図情報は、前記端末装置のユーザが立ち入り可能な範囲を示す情報を含み、
   前記計算機は、前記地図情報に基づいて、前記端末装置のユーザが立ち入り可能な範囲を、前記第１の対象物候補を撮影可能な範囲として特定することを特徴とする請求項３に記載の対象物特定システム。
6. 前記撮影部が二つの前記対象物を撮影した場合、前記計算機は、前記誤差情報に基づいて、複数の前記第１の対象物候補のうち二つが前記撮影部によって撮影された前記二つの対象物であると仮定した場合の、前記端末装置から前記二つの第１の対象物候補の各々までの距離の誤差範囲と、前記二つの第１の対象物候補の各々の画像を撮影した方角の誤差範囲と、に基づいて、前記二つの第１の対象物候補の各々を撮影した位置の範囲を特定し、
   前記二つの第１の対象物候補の各々を撮影した位置の範囲の少なくとも一部が互いに重複し、かつ、前記重複した範囲の少なくとも一部が、前記二つの第１の対象物候補の画像を撮影した位置の範囲に含まれる場合、前記二つの第１の対象物候補を二つの前記第２の対象物候補として特定することを特徴とする請求項２に記載の対象物特定システム。
7. 前記通信部は、前記撮影部が撮影した画像を、前記ネットワークを介して前記計算機に送信し、
   前記記憶装置は、さらに、前記複数の対象物の高さの情報を保持し、
   前記計算機は、前記第１の対象物候補の高さと、前記撮影された画像に含まれる前記対象物の部分の画像の長さと、に基づいて、前記撮影された対象物と前記端末装置との距離を計算することを特徴とする請求項１に記載の対象物特定システム。
8. 前記端末装置は、さらに、前記端末装置から前記撮影された対象物までの距離の情報を取得する測距部を有し、
   前記通信部は、さらに、前記測距部が取得した距離の情報を、前記ネットワークを介して前記計算機に送信することを特徴とする請求項１に記載の対象物特定システム。
9. 前記通信部は、前記撮影部が撮影した画像を、前記ネットワークを介して前記計算機に送信し、
   前記計算機は、一つの前記第２の対象物候補のみが特定された場合、前記特定された第２の対象物候補を識別する情報と、前記撮影部が撮影した画像とを対応付けて前記記憶装置に格納し、
   複数の前記第２の対象物候補が特定された場合、前記表示部は、前記複数の特定された第２の対象物候補の情報を表示し、
   前記端末装置は、さらに、前記複数の特定された第２の対象物候補の情報のうち一つを選択する情報が入力される操作部を有し、
   前記通信部は、選択された前記第２の対象物候補を識別する情報を、前記ネットワークを介して前記計算機に送信し、
   前記計算機は、前記選択された第２の対象物候補を識別する情報と、前記撮影部が撮影した画像とを対応付けて前記記憶装置に格納することを特徴とする請求項１に記載の対象物特定システム。
10. ネットワークに接続されるインターフェースと、前記インターフェースに接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有する対象物特定サーバであって、
    前記記憶装置は、複数の対象物の位置情報を保持し、
    前記対象物特定サーバは、前記ネットワークを介して、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した方角の情報と、を端末装置から受信し、
    前記記憶装置は、さらに、前記対象物の画像を撮影した位置の誤差、前記対象物の画像を撮影した方角の誤差及び前記端末装置から撮影された対象物までの距離の誤差を示す誤差情報を保持し、
    前記対象物特定サーバは、
    前記複数の対象物の位置情報と、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した方角の情報と、前記対象物の画像を撮影した位置の誤差と、前記対象物の画像を撮影した方角の誤差と、に基づいて、前記複数の対象物から、前記撮影された対象物が存在する可能性がある範囲内に位置する少なくとも一つの対象物を第１の対象物候補として特定し、
    前記撮影された対象物が前記第１の対象物候補であると仮定した場合の、前記誤差情報に基づいて特定される、前記端末装置から前記第１の対象物候補までの距離の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、に基づいて、前記第１の対象物候補を撮影した位置の範囲を特定し、
    特定された前記第１の対象物候補を撮影した位置の範囲と、前記誤差情報に基づいて特定される前記対象物の画像を撮影した位置の誤差範囲との関係に基づいて、前記少なくとも一つの第１の対象物候補から、前記撮影された対象物の候補である少なくとも一つの第２の対象物候補を特定し、
    前記特定された第２の対象物候補の情報を前記端末装置に送信することを特徴とする対象物特定サーバ。
11. 前記対象物特定サーバは、
    前記誤差情報に基づいて、前記対象物の画像を撮影した位置の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、を特定し、前記対象物の画像を撮影した位置の誤差範囲内の全ての点を基点とする前記対象物の画像を撮影した方角の誤差範囲の和集合の範囲を、前記撮影された対象物が存在する可能性がある範囲として特定し、
    前記第１の対象物候補を撮影した位置の範囲の少なくとも一部が、前記対象物の画像を撮影した位置の誤差範囲に含まれる場合、前記第１の対象物候補を前記第２の対象物候補として特定することを特徴とする請求項１０に記載の対象物特定サーバ。
12. 複数の対象物の位置情報を保持するメモリと、前記対象物の画像を撮影する撮影部と、前記対象物の画像を撮影した位置の情報を取得する位置情報取得部と、前記対象物の画像を撮影した方角の情報を取得する方角情報取得部と、前記メモリ、前記撮影部、前記位置情報取得部及び前記方角情報取得部に接続されるプロセッサと、前記プロセッサに接続される表示部と、を有する対象物特定端末であって、
    前記メモリは、さらに、前記位置情報取得部が取得した位置の誤差、前記方角情報取得部が取得した方角の誤差及び前記対象物特定端末から撮影された対象物までの距離の誤差を示す誤差情報を保持し、
    前記プロセッサは、
    前記複数の対象物の位置情報と、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した方角の情報と、前記位置情報取得部が取得した位置の誤差と、前記方角情報取得部が取得した方角の誤差と、に基づいて、前記複数の対象物から、前記撮影された対象物が存在する可能性がある範囲内に位置する少なくとも一つの対象物を第１の対象物候補として特定し、
    前記撮影部が撮影した対象物が前記第１の対象物候補であると仮定した場合の、前記誤差情報に基づいて特定される、前記対象物特定端末から前記第１の対象物候補までの距離の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、に基づいて、前記第１の対象物候補を撮影した位置の範囲を特定し、
    特定された前記第１の対象物候補を撮影した位置の範囲と、前記誤差情報に基づいて特定される前記対象物の画像を撮影した位置の誤差範囲との関係に基づいて、前記少なくとも一つの第１の対象物候補から、前記撮影された対象物の候補である少なくとも一つの第２の対象物候補を特定し、
    前記表示部は、前記特定された第２の対象物候補の情報を表示することを特徴とする対象物特定端末。
13. 前記プロセッサは、
    前記誤差情報に基づいて、前記対象物の画像を撮影した位置の誤差範囲と、前記対象物の画像を撮影した方角の誤差範囲と、を特定し、前記対象物の画像を撮影した位置の誤差範囲内の全ての点を基点とする前記対象物の画像を撮影した方角の誤差範囲の和集合の範囲を、前記撮影された対象物が存在する可能性がある範囲として特定し、
    前記第１の対象物候補を撮影した位置の範囲の少なくとも一部が、前記対象物の画像を撮影した位置の誤差範囲に含まれる場合、前記第１の対象物候補を前記第２の対象物候補として特定することを特徴とする請求項１２に記載の対象物特定端末。