JPWO2010150643A1 - 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影オブジェクトを特定することに多大な時間を要する。【解決手段】オブジェクト識別子とオブジェクトの領域情報とを有するオブジェクト情報を１以上格納し、映像を取得するカメラ部と、位置情報と方向情報とを有する端末情報を取得する端末情報取得部と、端末情報と視野角とを各オブジェクト情報の領域情報に適用し、装置からの距離が近い順に撮影オブジェクトを検査し、オブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に検査を終了する撮影オブジェクト決定部と、決定した１以上の撮影オブジェクト情報を取得する撮影オブジェクト情報取得部と、映像と１以上の撮影オブジェクト情報とを出力する出力部とを具備する端末装置により、カメラで撮影しているオブジェクトを認識し、かかるオブジェクトに関連する情報を出力することができる。【選択図】図１

Description

本発明は、カメラで撮影されているオブジェクトを認識し、オブジェクトの情報を画面上に表示する情報システム等に関するものである。

従来、コンピュータ上の地理的情報と実風景の景観画像中の各部分とを対応付けて利用者に提示するとともに、各種情報（広告情報、案内情報等）を利用者に流す情報発信型景観ラベリング装置があった（特許文献１）。

また、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間を大幅に削減し、最新の背景地図を用いた三次元地図情報を端末装置上で構成し、軽快な操作を行うことができる地図関連情報配信システムがあった（特許文献２）。

さらに、カメラ装置で撮影される映像に、被写体の情報を自動的に埋め込む被写体情報処理装置および被写体情報処理方法があった（特許文献３）。
特開平１１−６６３４７号公報 特開２００８−１５８５８３号公報 特開２００２−１５２７１３号公報

しかしながら、従来のシステムにおいては、多数のオブジェクトが登録されていることを想定していない。つまり、非常に多くのオブジェクトが登録されている場合、現在、撮影されているオブジェクトを特定することに多大な時間を要する、とともに多大なＣＰＵパワーが必要となる。したがって、例えば、ナビゲーションシステムに利用できない。

本第一の発明の情報システムは、サーバ装置と端末装置とを具備する情報システムであって、サーバ装置は、オブジェクトを識別するオブジェクト識別子と、オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、端末装置から、端末装置の位置を示す位置情報と端末装置が向いている方向を示す方向情報とを有する端末情報を受信するサーバ受信部と、端末情報が有する位置情報と、端末情報が有する方向情報と、予め格納されているまたは端末情報が有する視野角とを、オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、撮影オブジェクト情報を、端末装置に送信するサーバ送信部とを具備し、端末装置は、端末装置の位置を示す位置情報と、端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、映像を取得するカメラ部と、カメラ部が取得した映像を出力するカメラ映像出力手段を具備する出力部と、端末情報取得部が取得した端末情報をサーバ装置に送信する送信部と、端末情報の送信に対応して、１以上の撮影オブジェクト情報を受信する受信部と、受信部が受信した１以上の撮影オブジェクト情報が有する１以上の領域情報を含む出力情報を取得する出力情報取得部とを具備し、出力部は、出力部が出力している映像に重ねて、出力情報取得部が取得した１以上の出力情報に含まれる領域情報を出力する領域出力手段を具備し、前記撮影オブジェクト情報決定部は、前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了する情報システムである。

かかる構成により、撮影オブジェクトを検知する処理を適切に打ち切ることにより、高速な処理が可能となる。そのために、ナビゲーションシステムにも利用できる。

また、本第二の発明の情報システムは、第一に対して、領域情報は、地図上での二次元の領域を示す二次元領域情報とオブジェクトの高さを示す高さ情報を有し、撮影オブジェクト決定部は、端末情報が有する位置情報および方向情報と、予め格納されているまたは端末情報が有する視野角とを用いて、三次元空間上での撮影領域を取得し、撮影領域を、オブジェクト情報格納部の各オブジェクト情報が有する領域情報に対して適用し、端末装置が撮影している１以上のオブジェクトを決定する情報システムである。

かかる構成により、カメラで撮影しているオブジェクトを三次元で捕らえることができる。したがって、例えば、前のビルより高いビルであり、カメラ画像に写っているビルを認識し、当該ビルに関する情報を出力できる。また、撮影オブジェクトを検知する処理を適切に打ち切ることにより、高速な処理が可能となる。そのために、ナビゲーションシステムにも利用できる。

また、本第三の発明の情報システムは、第一または第二に対して、領域出力手段は、出力情報取得部が取得した１以上の出力情報に含まれる領域情報に対応する大きさの領域を、他の領域と視覚的に区別可能なように、出力部が出力している映像に重ねて出力する情報システムである。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトの領域を、オブジェクトの大きさに合わせて出力できる。

また、本第四の発明の情報システムは、第一から第三いずれかに対して、サーバ装置は、撮影オブジェクト決定部が決定した各オブジェクトと端末装置との距離を、各オブジェクトのオブジェクト情報と端末情報が有する位置情報とから、撮影オブジェクト決定部が決定したオブジェクトごとに算出する距離算出部をさらに具備し、撮影オブジェクト情報取得部は、撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む情報をオブジェクト情報格納部から取得し、領域情報を含む情報と距離算出部が算出した距離とを含む１以上の撮影オブジェクト情報を構成する情報システムである。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトまでの距離を取得できる。

また、本第五の発明の情報システムは、第四に対して、出力情報取得部は、受信部が受信した撮影オブジェクト情報が有する１以上の領域情報と１以上の距離とを含む出力情報を取得し、出力部は、出力情報取得部が取得した１以上の出力情報に含まれる距離を出力する距離出力手段をさらに具備する情報システムである。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトまでの距離を出力できる。

また、本第六の発明の情報システムは、第四または第五に対して、領域出力手段は、出力情報取得部が取得した１以上の出力情報に含まれる距離が大きいほど、距離に対応するオブジェクトの領域を小さくして出力する情報システムである。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトの領域を、オブジェクトの大きさに合わせて、端末装置に出力できる。

また、本第七の発明の情報システムは、第一から第六いずれかに対して、１以上のウェブサーバ装置をさらに具備し、ウェブサーバ装置は、オブジェクトに関する情報であるオブジェクト関連情報を格納し得るオブジェクト関連情報格納部と、外部からの指示に応じて、オブジェクト関連情報を取得するオブジェクト関連情報取得部と、オブジェクト関連情報を送信するオブジェクト関連情報送信部とを具備し、端末装置は、オブジェクト関連情報を受信するオブジェクト関連情報受信部をさらに具備し、出力部は、オブジェクト関連情報受信部が受信したオブジェクト関連情報を出力するオブジェクト関連情報出力手段をさらに具備する情報システムである。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトに関連する情報を出力できる。

また、本第八の発明の情報システムは、第七に対して、端末装置は、２つの分離された表示部である第一表示手段および第二表示手段を具備し、カメラ映像出力手段は、カメラ部が取得した映像を、第一表示手段に表示し、オブジェクト関連情報出力手段は、オブジェクト関連情報受信部が受信したオブジェクト関連情報を、第二表示手段に表示する情報システムである。

かかる構成により、カメラで撮影している映像と、映像内のオブジェクトに関連する情報との両方を、適切な領域にそれぞれ出力できる。

また、本第九の発明の情報システムは、第一から第八いずれかに対して、領域出力手段は、他のオブジェクトの領域情報は出力せず、一のオブジェクトの領域情報のみを他の領域情報と視覚的に区別可能なように、出力部が出力している映像に重ねて出力する情報システムである。

かかる構成により、カメラで撮影している映像内のオブジェクトの領域を適切に出力できる。

また、本第十の発明の情報システムは、第七から第九いずれかに対して、オブジェクト関連情報出力手段は、他のオブジェクトのオブジェクト関連情報は出力せず、一のオブジェクトのオブジェクト関連情報のみを出力する情報システムである。

かかる構成により、カメラで撮影している映像内のオブジェクトに関連する情報を適切に出力できる。

また、本第十一の発明の情報システムは、第九または第一に対して、撮影オブジェクト決定部は、カメラ部が撮影している映像の中で最も近い位置に存在するオブジェクトの撮影オブジェクト、またはカメラ部が撮影している映像の中で最も中央寄りに位置するオブジェクトの撮影オブジェクト、またはカメラ部が撮影している映像の中で最も大きい領域を有するオブジェクトの撮影オブジェクトを決定する情報システムである。

かかる構成により、カメラで撮影している映像内の一つのオブジェクトに関連する情報、または領域を出力できる。

また、本第十二の発明の情報システムは、第一から第一一いずれかに対して、端末装置は、ユーザの指示を受け付ける第一受付手段と、受付部が指示を受け付けた場合、出力部が出力中の映像と領域を固定する出力固定部とをさらに具備する情報システムである。

かかる構成により、カメラで撮影している映像を固定し、当該固定できるので、映像内のオブジェクトに対する操作が容易となる。

また、本第十三の発明の情報システムは、第一二に対して、撮影オブジェクト情報は、オブジェクト識別子を含み、端末装置は、固定された領域に対する入力を受け付ける第二受付手段と、第二受付手段で受け付けた入力に対応する領域に対するオブジェクト識別子を取得するオブジェクト識別子取得部と、オブジェクト識別子取得部が取得したオブジェクト識別子を１以上のウェブサーバ装置のいずれかに送信するオブジェクト識別子送信部とをさらに具備し、オブジェクト関連情報受信部は、オブジェクト識別子の送信に対応して、オブジェクト関連情報を受信し、オブジェクト識別子の送信は、外部からの指示により行われる情報システムである。

かかる構成により、カメラで撮影している映像を固定し、当該固定できるので、映像内のオブジェクトに対する操作が容易となる。

また、本第十四の発明の情報システムは、第八から第一三いずれかに対して、端末装置は、カメラ部が取得した映像を出力するレイヤであるカメラレイヤ、オブジェクトに対応する領域を出力するレイヤであるオブジェクト識別レイヤ、オブジェクト関連情報を出力するレイヤであるウェブサーチレイヤを含む複数のレイヤのうちの、現在のレイヤであるカレントレイヤを格納し得るカレントレイヤ格納部と、カレントレイヤを設定する入力を受け付ける第三受付手段と、第三受付手段で受け付けた入力に従って、カレントレイヤ格納部のカレントレイヤを変更するカレントレイヤ変更部とをさらに具備し、カレントレイヤがカメラレイヤである場合、カメラ映像出力手段はカメラ部が取得した映像を出力し、カレントレイヤがオブジェクト識別レイヤである場合、カメラ映像出力手段はカメラ部が取得した映像を出力し、かつ、領域出力手段は領域を他の領域と視覚的に区別可能なように、出力部が出力している映像に重ねて出力し、カレントレイヤがウェブサーチレイヤである場合、カメラ映像出力手段はカメラ部が取得した映像を出力し、かつ、領域出力手段は領域を他の領域と視覚的に区別可能なように、出力部が出力している映像に重ねて出力し、かつ、オブジェクト関連情報出力手段はオブジェクト関連情報を出力する情報システムである。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

また、本第十五の発明の情報システムは、第七から第一三いずれかに対して、オブジェクト関連情報は、ウェブページ、オブジェクトのシンボル画像、またはオブジェクトに関する音情報のうちの１以上の情報である情報システムである。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

また、本第十六の発明の情報システムは、サーバ装置と端末装置とを具備する情報システムであって、サーバ装置は、オブジェクトを識別するオブジェクト識別子と、オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、端末装置から、端末装置の位置を示す位置情報と端末装置が向いている方向を示す方向情報とを有する端末情報を受信するサーバ受信部と、端末情報が有する位置情報と、端末情報が有する方向情報と、予め格納されているまたは端末情報が有する視野角とを、オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、オブジェクト識別子を含む１以上の撮影オブジェクト情報を、オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、撮影オブジェクト情報を、端末装置に送信するサーバ送信部とを具備し、端末装置は、端末装置の位置を示す位置情報と、端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、映像を取得するカメラ部と、カメラ部が取得した映像を出力するカメラ映像出力手段を具備する出力部と、端末情報取得部が取得した端末情報をサーバ装置に送信する送信部と、端末情報の送信に対応して、撮影オブジェクト情報を受信する受信部と、受信部が受信した撮影オブジェクト情報を出力する出力部とを具備する情報システムである。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

また、本第十七の発明の情報システムは、第一六に対して、１以上のウェブサーバ装置をさらに具備し、ウェブサーバ装置は、オブジェクトに関する情報であるオブジェクト関連情報を格納し得るオブジェクト関連情報格納部と、外部からの指示に応じて、オブジェクト関連情報を取得するオブジェクト関連情報取得部と、オブジェクト関連情報を送信するオブジェクト関連情報送信部とを具備し、サーバ装置のサーバ送信部は、撮影オブジェクト情報を、端末装置または１以上のいずれかのウェブサーバ装置に送信し、端末装置の受信部が受信する撮影オブジェクト情報は、オブジェクト関連情報である情報システムである。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

また、本第十八の発明の端末装置は、オブジェクトを識別するオブジェクト識別子と、オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、端末装置の位置を示す位置情報と、端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、端末情報取得部が取得した端末情報が有する位置情報と、端末情報が有する方向情報と、予め格納されている視野角とを、オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、映像を取得するカメラ部と、カメラ部が取得した映像を出力するカメラ映像出力手段と、映像に重ねて、１以上の撮影オブジェクト情報に含まれる領域情報を出力する領域出力手段とを具備する出力部とを具備する端末装置である。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。また、サーバ装置との通信なしに、簡易に適切な情報が表示できる。

また、本第十九の発明の端末装置は、第一八に対して、領域情報は、地図上での二次元の領域を示す二次元領域情報とオブジェクトの高さを示す高さ情報を有し、撮影オブジェクト決定部は、端末情報が有する位置情報および方向情報と、予め格納されている視野角とを用いて、三次元空間上での撮影領域を取得し、撮影領域を、オブジェクト情報格納部の各オブジェクト情報が有する領域情報に対して適用し、端末装置が撮影している１以上のオブジェクトを決定する端末装置である。

かかる構成により、カメラで撮影しているオブジェクトを三次元で捕らえることができる。

また、本第二十の発明の端末装置は、第一八または第一九に対して、領域出力手段は、出力情報取得部が取得した１以上の出力情報に含まれる領域情報に対応する大きさの領域を、他の領域と視覚的に区別可能なように、出力部が出力している映像に重ねて出力する端末装置である。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトの領域を、オブジェクトの大きさに合わせて出力できる。

また、本第二十一の発明の端末装置は、第一八から第二いずれかに対して、撮影オブジェクト決定部が決定した各オブジェクトと端末装置との距離を、各オブジェクトのオブジェクト情報と端末情報が有する位置情報とから、撮影オブジェクト決定部が決定したオブジェクトごとに算出する距離算出部をさらに具備し、撮影オブジェクト情報取得部は、撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む情報をオブジェクト情報格納部から取得し、領域情報を含む情報と距離算出部が算出した距離とを含む１以上の撮影オブジェクト情報を構成する端末装置である。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトまでの距離を取得できる。

また、本第二十二の発明の端末装置は、第二一に対して、出力部は、１以上の撮影オブジェクト情報に含まれる距離を出力する距離出力手段をさらに具備する端末装置である。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトまでの距離を出力できる。

また、本第二十三の発明の端末装置は、第二一または第二二に対して、領域出力手段は、１以上の撮影オブジェクト情報に含まれる距離が大きいほど、距離に対応するオブジェクトの領域を小さくして出力する端末装置である。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトの領域を、オブジェクトの大きさに合わせて、端末装置に出力できる。

また、本第二十四の発明の端末装置は、第一八から第二三いずれかに対して、外部の装置からオブジェクト関連情報を受信するオブジェクト関連情報受信部をさらに具備し、出力部は、オブジェクト関連情報受信部が受信したオブジェクト関連情報を出力するオブジェクト関連情報出力手段をさらに具備する端末装置である。

かかる構成により、カメラで撮影して、ディスプレイ上に表示されているオブジェクトに関連する情報を出力できる。

また、本第二十五の発明の端末装置は、第二四に対して、２つの分離された表示部である第一表示手段および第二表示手段をさらに具備し、カメラ映像出力手段は、カメラ部が取得した映像を、第一表示手段に表示し、オブジェクト関連情報出力手段は、オブジェクト関連情報受信部が受信したオブジェクト関連情報を、第二表示手段に表示する端末装置である。

かかる構成により、カメラで撮影している映像と、映像内のオブジェクトに関連する情報との両方を、適切な領域にそれぞれ出力できる。

また、本第二十六の発明の端末装置は、第一八から第二五いずれかに対して、領域出力手段は、他のオブジェクトの領域情報は出力せず、一のオブジェクトの領域情報のみを他の領域情報と視覚的に区別可能なように、出力部が出力している映像に重ねて出力する端末装置である。

かかる構成により、カメラで撮影している映像内のオブジェクトの領域を適切に出力できる。

また、本第二十七の発明の端末装置は、第二四から第二六いずれかに対して、オブジェクト関連情報出力手段は、他のオブジェクトのオブジェクト関連情報は出力せず、一のオブジェクトのオブジェクト関連情報のみを出力する端末装置である。

かかる構成により、カメラで撮影している映像内のオブジェクトに関連する情報を適切に出力できる。

また、本第二十八の発明の端末装置は、第二六または第二七に対して、撮影オブジェクト決定部は、カメラ部が撮影している映像の中で最も近い位置に存在するオブジェクトの撮影オブジェクト、またはカメラ部が撮影している映像の中で最も中央寄りに位置するオブジェクトの撮影オブジェクト、またはカメラ部が撮影している映像の中で最も大きい領域を有するオブジェクトの撮影オブジェクトを決定する端末装置である。

かかる構成により、カメラで撮影している映像内の一つのオブジェクトに関連する情報、または領域を出力できる。

また、本第二十九の発明の端末装置は、第一八から第二八いずれかに対して、端末装置は、ユーザの指示を受け付ける第一受付手段と、受付部が指示を受け付けた場合、出力部が出力中の映像と領域を固定する出力固定部とをさらに具備する端末装置である。

かかる構成により、カメラで撮影している映像を固定し、当該固定できるので、映像内のオブジェクトに対する操作が容易となる。

また、本第三十の発明の端末装置は、第二九に対して、撮影オブジェクト情報は、オブジェクト識別子を含み、固定された領域に対する入力を受け付ける第二受付手段と、第二受付手段で受け付けた入力に対応する領域に対するオブジェクト識別子を取得するオブジェクト識別子取得部と、オブジェクト識別子取得部が取得したオブジェクト識別子を１以上のウェブサーバ装置のいずれかに送信するオブジェクト識別子送信部とをさらに具備し、オブジェクト関連情報受信部は、オブジェクト識別子の送信に対応して、オブジェクト関連情報を受信し、オブジェクト識別子の送信は、外部からの指示により行われる端末装置である。

かかる構成により、カメラで撮影している映像を固定し、当該固定できるので、映像内のオブジェクトに対する操作が容易となる。

また、本第三十一の発明の端末装置は、第二五から第三いずれかに対して、カメラ部が取得した映像を出力するレイヤであるカメラレイヤ、オブジェクトに対応する領域を出力するレイヤであるオブジェクト識別レイヤ、オブジェクト関連情報を出力するレイヤであるウェブサーチレイヤを含む複数のレイヤのうちの、現在のレイヤであるカレントレイヤを格納し得るカレントレイヤ格納部と、カレントレイヤを設定する入力を受け付ける第三受付手段と、第三受付手段で受け付けた入力に従って、カレントレイヤ格納部のカレントレイヤを変更するカレントレイヤ変更部とをさらに具備し、カレントレイヤがカメラレイヤである場合、カメラ映像出力手段はカメラ部が取得した映像を出力し、カレントレイヤがオブジェクト識別レイヤである場合、カメラ映像出力手段はカメラ部が取得した映像を出力し、かつ、領域出力手段は領域を他の領域と視覚的に区別可能なように、出力部が出力している映像に重ねて出力し、カレントレイヤがウェブサーチレイヤである場合、カメラ映像出力手段はカメラ部が取得した映像を出力し、かつ、領域出力手段は領域を他の領域と視覚的に区別可能なように、出力部が出力している映像に重ねて出力し、かつ、オブジェクト関連情報出力手段はオブジェクト関連情報を出力する端末装置である。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

また、本第三十二の発明の端末装置は、オブジェクトを識別するオブジェクト識別子と、オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、端末装置の位置を示す位置情報と、端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、端末情報取得部が取得した端末情報が有する位置情報と、端末情報が有する方向情報と、予め格納されている視野角とを、オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、オブジェクト識別子を含む１以上の撮影オブジェクト情報を、オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、映像を取得するカメラ部と、カメラ部が取得した映像を出力し、１以上の撮影オブジェクト情報を出力する出力部とを具備する端末装置である。

かかる構成により、カメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

本発明による情報システムによれば、カメラで撮影したオブジェクトを認識し、かかるオブジェクトに関連する情報を出力することができる。

以下、情報システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）

本実施の形態において、カメラで撮影して取得した映像に映っているオブジェクトを認識し、オブジェクトに関連する情報を出力する情報システム１について説明する。

オブジェクトに関連する情報とは、オブジェクトの領域や、オブジェクトに関連するウェブページや、オブジェクトのシンボル画像やシンボル的な音楽や音情報や、オブジェクトに到達するまでの案内情報（画像、文字列、音声など問わない）などである。

図１は、本実施の形態における情報システム１の概念図である。情報システム１は、サーバ装置１１、１以上のウェブサーバ装置１２、端末装置１３を具備する。端末装置１３は、図１においては２画面のディスプレイを有する端末であるが、１画面のディスプレイを有する端末でも良い。端末装置１３は、カメラ機能を有し、外部の風景、建物などを撮影している際に、撮影している映像内のオブジェクト（建物など）の領域や、オブジェクトに関連する情報などを出力できる。また、サーバ装置１１、ウェブサーバ装置１２、および端末装置１３は、通常、通信可能である。

なお、情報システム１は、サーバ装置１１と端末装置１３のみにより実現されても良い。また、かかる場合、サーバ装置１１は、ウェブサーバ装置の機能を有していても良い。また、ウェブサーバ装置１２は、いわゆるウェブ上のウェブページを格納している装置であるが、格納している情報は、ウェブページでなく、広告情報など、他の情報でも良い。ウェブサーバ装置１２が格納している情報の形式や内容は問わない。

図２は、本実施の形態における情報システム１のブロック図である。サーバ装置１１は、オブジェクト情報格納部１１１、サーバ受信部１１２、撮影オブジェクト決定部１１３、距離算出部１１４、撮影オブジェクト情報取得部１１５、サーバ送信部１１６を具備する。

ウェブサーバ装置１２は、オブジェクト関連情報格納部１２１、オブジェクト関連情報取得部１２２、オブジェクト関連情報送信部１２３を具備する。

端末装置１３は、カレントレイヤ格納部１３０１、受付部１３０２、端末情報取得部１３０３、カメラ部１３０４、送信部１３０５、受信部１３０６、オブジェクト関連情報受信部１３０７、出力情報取得部１３０８、出力部１３０９、カレントレイヤ変更部１３１０、出力固定部１３１１、オブジェクト識別子取得部１３１２、オブジェクト識別子送信部１３１３、表示部１３１４を具備する。

受付部１３０２は、第一受付手段１３０２１、第二受付手段１３０２２、第三受付手段１３０２３を具備する。端末情報取得部１３０３は、位置情報取得手段１３０３１、方向情報取得手段１３０３２を有する。出力部１３０９は、カメラ映像出力手段１３０９１、領域出力手段１３０９２、距離出力手段１３０９３、オブジェクト関連情報出力手段１３０９４を具備する。表示部１３１４は、第一表示手段１３１４１、第二表示手段１３１４２を具備する。

オブジェクト情報格納部１１１は、１以上のオブジェクト情報を格納し得る。オブジェクト情報とは、オブジェクト識別子と、オブジェクトが存在する領域を示す領域情報とを有する情報である。オブジェクトとは、通常、地図上または地理上に現れるオブジェクトである地理オブジェクトである。オブジェクトは、例えば、建物、山、川、名勝、公園などである。オブジェクトは、例えば、ビルの中の店舗や会社などでも良い。オブジェクトは、地図上または地理上に現れるものであれば、内容は問わない。オブジェクト情報格納部１１１は、地図情報を格納していても良い。かかる場合、地図情報は1以上のオブジェクト情報を含む。オブジェクト識別子とはオブジェクトを識別する情報であり、例えば、オブジェクトの名称、オブジェクトを識別するＩＤ、オブジェクトについての情報が格納されているウェブページのＵＲＬ、ＵＲＩなどである。領域情報とは、通常、二次元の領域の情報である。ただし、三次元の領域の情報でも、一次元の情報（点の情報）でも良い。つまり、領域情報はオブジェクトの位置（点）を特定する位置情報（Ｘ，Ｙ）でも良い。この（Ｘ，Ｙ）は、例えば、（緯度，経度）であり、例えば、オブジェクトの領域の重心点を示す情報である。領域が矩形であるとする場合、領域情報は、例えば、矩形の左上点、右下点の位置情報（経度，緯度）の情報である。さらに、領域情報は、例えば、三次元のオブジェクトの立体図形（例えば、６面体）の頂点を構成する点（８点）の集合や、立体図形（例えば、６面体）の高さを有する４点の集合などである。

オブジェクト情報格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。オブジェクト情報格納部１１１にオブジェクト情報が記憶される過程は問わない。例えば、記録媒体を介してオブジェクト情報がオブジェクト情報格納部１１１で記憶されるようになってもよく、通信回線等を介して送信されたオブジェクト情報がオブジェクト情報格納部１１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたオブジェクト情報がオブジェクト情報格納部１１１で記憶されるようになってもよい。

サーバ受信部１１２は、端末装置１３から、端末情報を受信する。端末情報は、端末装置１３の位置を示す位置情報と端末装置１３が向いている方向を示す方向情報とを有する。端末情報は、通常、端末装置１３を識別する端末識別子を有する。位置情報とは、通常、（緯度，経度）の情報であるが、空間内の位置を示す情報でも良い。空間内の位置を示す情報は、例えば、（緯度，経度、高度）である。方向情報は、東西南北などの方位の情報を含んでも良い。また、方向情報は、端末の向き（上向き、下向きなど）を含んでも良い。方向情報は、例えば、５６．２°（北を０°、東を９０°とする方位）や、南南西などである。方向情報は、例えば、高さ方向の角度を含んでも良い。また、方向情報は、例えば、（Yaw,Pitch,Roll）などでも良い。（Yaw,Pitch,Roll）の「Yaw」は垂直軸に対する角度や先端の左右の揺れの度合い（長さなど）、「Pitch」は横軸に対する角度や先端の上下の揺れの度合い、「Roll」は縦軸に対する角度や端末装置１３全体の左右の揺れの度合いである。なお、位置情報とは、例えば、ＧＰＳ受信機により取得される。また、方向情報とは、例えば、コンパス、またはコンパスとジャイロにより取得される。方向情報や位置情報を取得する手段は問わない。さらに、端末情報は、端末装置１３を識別する端末識別子（例えば、情報の送受信に用いられるＩＰアドレスや、電話番号や、ＩＤや、ＭＡＣアドレスなど）も含むことは好適である。

サーバ受信部１１２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

撮影オブジェクト決定部１１３は、端末情報が有する位置情報と、端末情報が有する方向情報と、視野角とを、オブジェクト情報格納部１１１の各オブジェクト情報の領域情報に適用し、端末装置１３が撮影している１以上のオブジェクトを決定する。視野角とは、カメラ部１３０４が撮影可能な角度であり、平面上の角度でも良いし、高さ方向を含めた立体的な角度でも良い。立体的な角度とは、例えば、平面上の角度（θ１）と高さ方向の角度（θ２）とにより得られる。また、視野角は、撮影オブジェクト決定部１１３が予め格納していても良いし、端末情報に含まれていても良い。ここで、「オブジェクトを決定する」とは、オブジェクト識別子を取得することでも良いし、オブジェクト情報の全部または一部を取得することでも良いし、オブジェクト情報を管理しているテーブルのレコードＩＤを取得すること等でも良い。つまり、「オブジェクトを決定する」とは、オブジェクトを特定する情報を取得することであれば良い。

撮影オブジェクト決定部１１３は、例えば、カメラ部１３０４が撮影した映像の中で、端末装置１３から最も距離が近い位置に存在するオブジェクトの撮影オブジェクト、またはカメラ部１３０４が撮影した映像の中で最も中央寄りに位置するオブジェクトの撮影オブジェクト、またはカメラ部１３０４が撮影した映像の中で最も大きい領域（平面上または立体上）を有するオブジェクトの撮影オブジェクトを決定しても良い。

撮影オブジェクト決定部１１３は、端末情報が有する位置情報と、オブジェクト情報格納部１１１の各オブジェクト情報の領域情報等から取得されるオブジェクトの位置を示すオブジェクト位置情報とから、端末装置１３とオブジェクトの距離を算出し、当該距離が予め決められた距離以内、または、当該距離が近い方から、予め決められた数のオブジェクトを、撮影オブジェクトとして決定しても良い。かかる場合、撮影オブジェクトの取得アルゴリズムとしては正確ではないが、高速な処理が可能となる。のあ、距離の算出は、距離算出部１１４が行っても良いことは言うまでもない。

撮影オブジェクト決定部１１３は、さらに具体的には、例えば、後述する図５のフローチャートに示すようなアルゴリズムで、端末装置１３が撮影している１以上のオブジェクトを決定することは好適である。

撮影オブジェクト決定部１１３は、通常、ＭＰＵやメモリ等から実現され得る。撮影オブジェクト決定部１１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

距離算出部１１４は、撮影オブジェクト決定部１１３が決定した各オブジェクトと端末装置１３との距離を、各オブジェクトのオブジェクト情報と端末情報が有する位置情報とから、撮影オブジェクト決定部１１３が決定したオブジェクトごとに算出する。ここで、距離とは、領域の重心と位置情報が示す位置との距離、領域のいずれかの点と位置情報が示す位置との距離、位置情報が示す位置に最も近い領域内の点との距離などでも良い。つまり、距離の算出基準は種々あり得る。また、位置情報は、領域情報から生成された情報でも良い。位置情報は、例えば、領域情報から得られる領域の重心を取得されることにより得られる。距離算出部１１４は、通常、ＭＰＵやメモリ等から実現され得る。距離算出部１１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

撮影オブジェクト情報取得部１１５は、撮影オブジェクト決定部１１３が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、オブジェクト情報格納部１１１から取得する。撮影オブジェクト情報取得部１１５は、撮影オブジェクト情報として、どのような情報を含んでも良い。撮影オブジェクト情報取得部１１５は、例えば、撮影オブジェクトごとに、距離算出部１１４が算出した距離を含んでも良い。撮影オブジェクト情報取得部１１５は、通常、ＭＰＵやメモリ等から実現され得る。撮影オブジェクト情報取得部１１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

サーバ送信部１１６は、撮影オブジェクト情報取得部１１５が取得した撮影オブジェクト情報を、端末装置１３に送信する。サーバ送信部１１６は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

オブジェクト関連情報格納部１２１は、オブジェクトに関する情報であるオブジェクト関連情報を格納し得る。オブジェクト関連情報とは、ウェブページ、特に、電子商取引や予約のウェブページ、前記オブジェクトのシンボル画像、または前記オブジェクトに関する音情報（音楽情報を含む）、オブジェクトを宣伝広告する広告情報、オブジェクトに到達するための道案内情報（音声、画像、テキストなど）、オブジェクトを想起させるゲームのプログラムなど、オブジェクトに関連する情報であれば何でも良い。オブジェクト関連情報格納部１２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

オブジェクト関連情報格納部１２１にオブジェクト関連情報が記憶される過程は問わない。例えば、記録媒体を介してオブジェクト関連情報がオブジェクト関連情報格納部１２１で記憶されるようになってもよく、通信回線等を介して送信されたオブジェクト関連情報がオブジェクト関連情報格納部１２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたオブジェクト関連情報がオブジェクト関連情報格納部１２１で記憶されるようになってもよい。

オブジェクト関連情報取得部１２２は、外部からの指示に応じて、オブジェクト関連情報を取得する。外部からの指示とは、例えば、端末装置１３に出力された領域（オブジェクトの領域、枠など）を、ユーザがポイントすることにより発生した指示である。かかる指示は、端末装置１３から直接届いても良いし、サーバ装置１１経由で届いても良い。オブジェクト関連情報とは、オブジェクト関連情報を構成する一部の情報でも良い。オブジェクト関連情報取得部１２２は、通常、ＭＰＵやメモリ等から実現され得る。オブジェクト関連情報取得部１２２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

オブジェクト関連情報送信部１２３は、オブジェクト関連情報取得部１２２が取得したオブジェクト関連情報を送信する。オブジェクト関連情報送信部１２３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

カレントレイヤ格納部１３０１は、カレントレイヤを格納し得る。カレントレイヤとは、現在のレイヤである。レイヤとは、端末装置１３が行う処理の階層である。端末装置１３は、通常、複数のレイヤを有する。レイヤには、例えば、カメラ部１３０４が取得した映像を出力するレイヤであるカメラレイヤ、オブジェクトに対応する領域を出力するレイヤであるオブジェクト識別レイヤ、オブジェクト関連情報を出力するレイヤであるウェブサーチレイヤがある。そして、例えば、端末装置１３は、下から、カメラレイヤ、オブジェクト識別レイヤ、ウェブサーチレイヤというレイヤを有する。また、例えば、端末装置１３は、ナビゲーションレイヤやゲームレイヤや音楽レイヤや写真レイヤなどの他のアプリケーションを示すレイヤを有しても良い。ナビゲーションレイヤとは、オブジェクトまでの道案内を出力するためのレイヤである。ゲームレイヤとは、ゲームプログラムを出力し、ゲームを行える環境を提供するレイヤである。音楽レイヤとは、音楽を出力するレイヤである。写真レイヤとは、１以上の写真を出力するレイヤである。

カレントレイヤ格納部１３０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。カレントレイヤ格納部１３０１にカレントレイヤが記憶される過程は問わない。例えば、記録媒体を介してカレントレイヤがカレントレイヤ格納部１３０１で記憶されるようになってもよく、通信回線等を介して送信されたカレントレイヤがカレントレイヤ格納部１３０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたカレントレイヤがカレントレイヤ格納部１３０１で記憶されるようになってもよい。

受付部１３０２は、ユーザから、指示やデータ等の入力を受け付ける。指示やデータ等の入力手段は、キーボードやマウスやテンキーやメニュー画面によるもの等、何でも良い。受付部１３０２は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

受付部１３０２を構成する第一受付手段１３０２１は、ユーザの指示を受け付ける。また、第二受付手段１３０２２は、固定された領域に対する入力を受け付ける。さらに、第三受付手段１３０２３は、カレントレイヤを設定する入力を受け付ける。ユーザの指示や、固定された領域に対する入力や、カレントレイヤを設定する入力などの入力手段は同じ手段でも良いし、異なる手段でも良い。

端末情報取得部１３０３は、端末装置１３の位置を示す位置情報と、端末装置１３が向いている方向を示す方向情報とを有する端末情報を取得する。

端末情報取得部１３０３を構成する位置情報取得手段１３０３１は、端末装置１３の位置を示す位置情報を取得する。位置情報取得手段１３０３１は、例えば、ＧＰＳ受信機により構成される。また、位置情報取得手段１３０３１は、例えば、無線電波の受信手段と、３つ以上の基地局から受信した３つ以上の電波の強度から位置情報を取得する処理手段（例えば、ＭＰＵやメモリ等で構成される手段）とから構成されても良い。位置情報取得手段１３０３１が位置情報を取得する方法は問わない。また、位置情報は、二次元上の位置でも良いし、三次元空間における位置でも良い。

方向情報取得手段１３０３２は、端末装置１３が向いている方向を示す方向情報を取得する。方向情報は、２次元上の向きを示す情報でも良いし、３次元上の方向（上下方向も含む）を示す情報でも良い。方向情報取得手段１３０３２は、例えば、コンパスで実現される。また、方向情報取得手段１３０３２は、例えば、コンパスとジャイロで実現される。

また、端末情報は、カメラ部１３０４の視野角を含んでも良い。視野角とは、視野角の情報と同意義である。かかる場合、例えば、端末情報取得部１３０３は、カメラ部１３０４の視野角を予め格納している、とする。視野角は、二次元の角度でも三次元の角度でも良い。なお、端末装置１３（カメラ部１３０４）の位置、方向、視野角が分かれば、撮影できる領域が分かる。つまり、端末情報は、カメラ部１３０４が撮影する領域を特定する情報である。撮影する領域は、三次元の領域であることが好適であるが、二次元の領域でも良い。

また、端末情報は、端末識別子を含んでも良い。視野角や端末識別子は、例えば、端末情報取得部１３０３が有する図示しない記憶媒体に格納されている。端末識別子とは、端末を識別する情報であり、例えば、電話番号、ＩＰアドレス、ＭＡＣアドレスなどである。

カメラ部１３０４は、映像を取得する。カメラ部１３０４は、いわゆるカメラである。カメラ部１３０４は、通常、現在、ファインダーに映っている映像を取得する。カメラ部１３０４は、例えば、ＣＣＤカメラにより実現され得る。

送信部１３０５は、端末情報取得部１３０３が取得した端末情報をサーバ装置１１に送信する。送信部１３０５は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

受信部１３０６は、端末情報の送信に対応して、撮影オブジェクト情報を受信する。撮影オブジェクト情報は、通常、オブジェクト識別子も含む。撮影オブジェクト情報は、端末装置１３から当該オブジェクトまでの距離を含んでも良い。受信部１３０６は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

オブジェクト関連情報受信部１３０７は、オブジェクト関連情報を受信する。オブジェクト関連情報受信部１３０７は、オブジェクト識別子の送信に対応して、オブジェクト関連情報を受信しても良い。また、オブジェクト関連情報受信部１３０７は、オブジェクト関連情報を、ウェブサーバ装置１２、またはサーバ装置１１から受信する。また、オブジェクト関連情報受信部１３０７は、オブジェクト関連情報を、ウェブサーバ装置１２からサーバ装置１１経由で受信しても良い。オブジェクト関連情報受信部１３０７は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

出力情報取得部１３０８は、受信部１３０６が受信した撮影オブジェクト情報が有する１以上の領域情報を含む出力情報を取得する。なお、通常、出力情報取得部１３０８は、領域情報とオブジェクト識別子とを対に有する出力情報を取得する。出力情報取得部１３０８は、受信部１３０６が受信した撮影オブジェクト情報が有する１以上の領域情報と1以上の距離とを含む出力情報を取得しても良い。なお、出力情報取得部１３０８は、撮影オブジェクト情報を出力部１３０９などの他の要素に、単に渡す場合は、何ら処理を行わない。かかる場合、出力情報取得部１３０８は、不要である。出力情報取得部１３０８は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力情報取得部１３０８は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

出力部１３０９は、映像、音声、文字列、画像などのうちの一以上の情報を出力する。出力部１３０９は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１３０９は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

カメラ映像出力手段１３０９１は、カメラ部１３０４が取得した映像を出力する。カメラ映像出力手段１３０９１は、カメラ部１３０４が取得した映像を、第一表示手段１３１４１に表示することは好適である。

領域出力手段１３０９２は、カメラ映像出力手段１３０９１が出力している映像に重ねて、出力情報取得部１３０８が取得した１以上の出力情報に含まれる領域情報を出力する。かかる場合、領域情報が示すオブジェクトの領域が視覚的に判断できるように、領域情報（例えば、枠）を出力する。領域出力手段１３０９２は、出力情報取得部１３０８が取得した１以上の出力情報に含まれる領域情報に対応する大きさの領域を、他の領域と視覚的に区別可能なように、カメラ映像出力手段１３０９１が出力している映像に重ねて出力する。領域出力手段１３０９２は、出力情報取得部１３０８が取得した１以上の出力情報に含まれる距離が大きいほど、距離に対応するオブジェクトの領域を小さくして出力することは好適である。領域出力手段１３０９２は、他のオブジェクトの領域は出力せず、一のオブジェクトの領域のみを他の領域と視覚的に区別可能なように、カメラ映像出力手段１３０９１が出力している映像に重ねて出力することは好適である。「一のオブジェクトの領域のみ」とは、他の領域を出力しない意図であり、他の種類の情報（領域情報以外の情報）を出力しない意図ではない。なお、上記において、出力情報取得部１３０８が取得した１以上の出力情報に含まれる領域情報は、１以上の撮影オブジェクトに含まれる領域情報でも良い。

領域出力手段１３０９２は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。領域出力手段１３０９２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

距離出力手段１３０９３は、１以上の撮影オブジェクトに含まれる距離を出力する。距離出力手段１３０９３は、領域出力手段１３０９２が出力した領域に対応付けて出力することは好適である。また、距離出力手段１３０９３は、出力部１３０９が出力している映像に重ねて、距離を出力することは好適である。ここで、「領域に対応付けて」とは、領域内に距離を出力することが好適であるが、領域外への距離の出力でも良い。距離出力手段１３０９３は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。距離出力手段１３０９３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

オブジェクト関連情報出力手段１３０９４は、オブジェクト関連情報受信部１３０７が受信したオブジェクト関連情報を出力する。

オブジェクト関連情報出力手段１３０９４は、オブジェクト関連情報受信部１３０７が受信したオブジェクト関連情報を、第二表示手段１３１４２に表示することは好適である。かかる場合、カメラ部１３０４が取得した映像が第一表示手段１３１４１に表示され、オブジェクト関連情報が第二表示手段１３１４２に表示される。オブジェクト関連情報出力手段１３０９４は、他のオブジェクトのオブジェクト関連情報は出力せず、一のオブジェクトのオブジェクト関連情報のみを出力することは好適である。ここで、「一のオブジェクトのオブジェクト関連情報のみを出力する」とは、他のオブジェクトのオブジェクト関連情報は出力しないことであり、他の種類の情報を出力しないことではない。オブジェクト関連情報出力手段１３０９４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。オブジェクト関連情報出力手段１３０９４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

カレントレイヤ変更部１３１０は、第三受付手段１３０２３で受け付けた入力に従って、カレントレイヤ格納部１３０１のカレントレイヤを変更する。第三受付手段１３０２３で受け付けた入力には、カレントレイヤを特定する情報（カレントレイヤまたは、カレントレイヤを進める情報（レイヤに順序がある場合））が含まれる、とする。カレントレイヤ変更部１３１０は、通常、ＭＰＵやメモリ等から実現され得る。カレントレイヤ変更部１３１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力固定部１３１１は、受付部１３０２が指示を受け付けた場合、出力部１３０９が出力中の映像と領域を固定する。ここで、固定とは、Ｐａｕｓｅ、Ｒｅｓｕｍｅのことである。つまり、固定とは、カメラのアングルを動かしても、画面上に出力されている映像や領域情報などは動かない、という意味である。そして、出力固定部１３１１は、出力部１３０９が出力中の映像と領域を、少なくとも一時的に、図示しない記憶媒体に記録する。なお、出力中の映像などを固定する技術は、いわゆるビデオムービーなどの機能と同様であり、公知技術である。出力固定部１３１１は、通常、ＭＰＵやメモリ等から実現され得る。出力固定部１３１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

オブジェクト識別子取得部１３１２は、第二受付手段１３０２２で受け付けた入力に対応する領域に対するオブジェクト識別子を取得する。オブジェクト識別子取得部１３１２は、例えば、領域情報と対になっているオブジェクト識別子を取得する。オブジェクト識別子取得部１３１２は、例えば、指示された枠（領域）で特定される領域情報を、１以上の撮影オブジェクト情報から取得し、当該領域情報と対になるオブジェクト識別子を取得する。なお、ここで、オブジェクト識別子とは、オブジェクトを識別する情報であれば良く、例えば、ＵＲＬやオブジェクト名などでも良い。また、オブジェクト識別子取得部１３１２が取得するオブジェクト識別子と、他の構成要素が処理するオブジェクト識別子とが異なった種類の情報（例えば、オブジェクトＩＤとＵＲＬなど）でも良い。オブジェクト識別子取得部１３１２は、通常、ＭＰＵやメモリ等から実現され得る。オブジェクト識別子取得部１３１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

オブジェクト識別子送信部１３１３は、オブジェクト識別子取得部１３１２が取得したオブジェクト識別子を1以上のウェブサーバ装置１２のいずれかに送信する。オブジェクト識別子送信部１３１３は、オブジェクト識別子をサーバ装置１１に送信しても良い。オブジェクト識別子送信部１３１３は、オブジェクト識別子により特定できるウェブサーバ装置１２に、オブジェクト関連情報の送信指示を送信しても良い。かかる場合も、オブジェクト識別子の送信である、とする。オブジェクト識別子送信部１３１３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

表示部１３１４は、情報を表示するデバイスである。第一表示手段１３１４１は、情報を表示する第一のデバイスである。第二表示手段１３１４２は、情報を表示する第二のデバイスである。第一表示手段１３１４１と第二表示手段１３１４２とは、例えば、物理的に分離されていることは好適であるが、それぞれ、一ディスプレイを２分割したウィンドウでも良い。

次に、情報システム１の動作について説明する。まず、サーバ装置１１の動作について、図４のフローチャートを用いて説明する。

（ステップＳ４０１）サーバ受信部１１２は、端末装置１３から、端末情報を受信したか否かを判断する。端末情報を受信すればステップＳ４０２に行き、端末情報を受信しなければステップＳ４０１に戻る。

（ステップＳ４０２）撮影オブジェクト決定部１１３は、ステップＳ４０１で受信された端末情報を用いて、当該端末情報が有する位置情報および／または方向情報を、オブジェクト情報格納部１１１の各オブジェクト情報の領域情報に適用し、端末装置１３が撮影している（端末装置１３のディスプレイに映っている）１以上のオブジェクトを決定する。かかる処理を撮影オブジェクト決定処理という。なお、撮影オブジェクト決定部１１３は、予め格納されている視野角をも用いて、端末装置１３が撮影している１以上のオブジェクトを決定することは好適である。なお、端末装置１３が撮影しているオブジェクトを撮影オブジェクトとも言う。撮影オブジェクト決定処理について、図５のフローチャートを用いて説明する。

（ステップＳ４０３）距離算出部１１４は、ステップＳ４０１で受信された端末情報が有する位置情報を取得する。かかる位置情報は、端末装置１３の位置を示す情報である。

（ステップＳ４０４）距離算出部１１４は、カウンタｉに１を代入する。

（ステップＳ４０５）距離算出部１１４は、ｉ番目の撮影オブジェクトが存在するか否かを判断する。ｉ番目の撮影オブジェクトが存在すればステップＳ４０６に行き、ｉ番目の撮影オブジェクトが存在しなければステップＳ４１０に行く。

（ステップＳ４０６）距離算出部１１４は、ｉ番目の撮影オブジェクトの位置情報を、オブジェクト情報格納部１１１から取得する。なお、ｉ番目の撮影オブジェクトの位置情報は、ｉ番目の撮影オブジェクトのオブジェクト情報に含まれる。

（ステップＳ４０７）距離算出部１１４は、ステップＳ４０３で取得した位置情報が示す地点と、ステップＳ４０６で取得した位置情報が示す地点との距離を算出する。２地点の各位置情報から、両地点の距離を算出する技術は公知技術である。なお、ここで算出された距離は、端末装置１３と撮影オブジェクトとの距離である。

（ステップＳ４０８）撮影オブジェクト情報取得部１１５は、ｉ番目の撮影オブジェクトの領域情報を含む情報をオブジェクト情報格納部１１１から取得する。そして、撮影オブジェクト情報取得部１１５は、オブジェクト情報格納部１１１から取得したｉ番目の撮影オブジェクトの情報と、ステップＳ４０７で取得した距離を有する撮影オブジェクト情報を構成する。次に、撮影オブジェクト情報取得部１１５は、ｉ番目の撮影オブジェクト情報をバッファに一時格納する。

（ステップＳ４０９）距離算出部１１４は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。

（ステップＳ４１０）サーバ送信部１１６は、ステップＳ４０８でバッファに一時格納された１以上の撮影オブジェクト情報を、端末装置１３に送信する。ステップＳ４０１に戻る。

なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図４のフローチャートにおいて、端末装置１３と撮影オブジェクトとの距離の算出は、一度だけで良いことは言うまでもない。つまり、ステップＳ４０２の中で、端末装置１３と撮影オブジェクトとの距離を算出し、格納した場合には、ステップＳ４０６からＳ４０７の処理は不要となる。

次に、ステップＳ４０２の撮影オブジェクト決定処理について、図５のフローチャートを用いて説明する。

（ステップＳ５０１）撮影オブジェクト決定部１１３は、ステップＳ４０１で受信された端末情報が有する位置情報を取得する。

（ステップＳ５０２）撮影オブジェクト決定部１１３は、ステップＳ４０１で受信された端末情報が有する方向情報と、視野角とを用いて、撮影されない角度を取得する。そして、撮影オブジェクト決定部１１３は、かかる角度（不可視領域の角度）を記録媒体に登録（記録）する。例えば、方向情報が９０度（例えば、真東）であり、視野角が４０度である場合、撮影される角度は「７０度から１１０度」である。したがって、撮影オブジェクト決定部１１３は、「０＜＝不可視領域の角度＜７０」および「１１０＜不可視領域の角度＜＝３６０」を登録する。なお、ここで、撮影オブジェクト決定部１１３は、撮影される角度（可視領域の角度）を取得し、登録しても良い。つまり、可視領域の角度の登録も、不可視領域の角度の登録と同意義である、とする。

（ステップＳ５０３）撮影オブジェクト決定部１１３は、ステップＳ５０１で取得した位置情報を用いて、端末装置１３から近いオブジェクトの順に、オブジェクト情報格納部１１１のオブジェクト情報をソートする。かかる処理をオブジェクトソート処理という。オブジェクトソート処理について、図６のフローチャートを用いて説明する。

（ステップＳ５０４）撮影オブジェクト決定部１１３は、カウンタｉに１を代入する。

（ステップＳ５０５）撮影オブジェクト決定部１１３は、オブジェクト情報格納部１１１に、ｉ番目のオブジェクトが存在するか否かを判断する。ｉ番目のオブジェクトが存在すればステップＳ５０６に行き、ｉ番目のオブジェクトが存在しなければ上位処理にリターンする。

（ステップＳ５０６）撮影オブジェクト決定部１１３は、オブジェクト情報格納部１１１から、ｉ番目のオブジェクトのオブジェクト情報が有する領域情報を取得する。

（ステップＳ５０７）撮影オブジェクト決定部１１３は、ステップＳ５０１で取得した位置情報と、ステップＳ５０５で取得した領域情報とを用いて、ｉ番目のオブジェクトが、撮影オブジェクト（端末装置１３のディスプレイに映っている）か否かを判断する。かかる判断を、可視判断処理という。可視判断処理について、図７、図８のフローチャートを用いて説明する。

（ステップＳ５０８）撮影オブジェクト決定部１１３は、ステップＳ５０６における判断の結果、ｉ番目のオブジェクトが撮影オブジェクトであればステップＳ５０９に行き、撮影オブジェクトでなければステップＳ５１０に行く。

（ステップＳ５０９）撮影オブジェクト決定部１１３は、少なくとも、ｉ番目のオブジェクトのオブジェクト識別子を図示しない記憶媒体に格納する。

（ステップＳ５１０）撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在するか否かを判断する。可視領域が存在すればステップＳ５１１に行き、存在しなければ上位処理にリターンする。なお、かかる判断は、二次元平面において行われても良いし、三次元空間において行われても良い。

（ステップＳ５１１）撮影オブジェクト決定部１１３は、カウンタｉを１、インクリメントする。ステップＳ５０５に戻る。

なお、図５のフローチャートにおいて、不可視領域の角度を登録したが、可視領域の角度を登録し、以後、かかる角度に入いるオブジェクトのみを処理対象としても良い。

また、図５のフローチャートのステップＳ５１０において、撮影オブジェクト情報決定部１１３は、端末装置１３からの距離が近い順（範囲や角度を区切った中のオブジェクトの集合の中での近い順でも良い）にオブジェクトを検査し、端末装置１３が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合（すべてが不可視領域になった場合と同意義）に、オブジェクトが端末装置１３に撮影されているか否かの検査を終了することを説明した。

さらに、具体的には、ステップＳ５１０の処理は、以下である。つまり、撮影オブジェクト情報決定部１１３は、端末装置１３から近い順にオブジェクトを検査し、端末装置１３が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報（ここでは、通常、後述の最小角度（θ_１）および最大角度（θ_２））を不可視領域として登録し、次に検査するオブジェクトと端末装置１３とにより不可視領域となる領域の情報を取得し、前記最小角度（θ_３）および最大角度（θ_４）により特定される領域のすべてが既に不可視領域として登録されているか否かを判断し、不可視領域として登録されていなければ前記次に検査するオブジェクトを端末装置１３が撮影しているとして決定し、当該最小角度（θ_３）および最大角度（θ_４)により特定される領域を不可視領域として登録する処理を繰り返し、端末情報が有する視野角すべての領域が不可視領域となった場合に、オブジェクトの検査を終了することである。

また、図５のフローチャートにおいて、ステップＳ５１０の処理は無くても良い。
さらに、図５のフローチャートにおいて、可視領域が存在しなくなった場合に、撮影されているオブジェクトの検知処理を終了した。しかし、閾値の数だけ、可視領域内のオブジェクトが見つかった場合、予め決められた条件に合致するオブジェクトが見つかった場合など、他の条件により、オブジェクトの検知処理を終了しても良い。

次に、ステップＳ５０２のオブジェクトソート処理について、図６のフローチャートを用いて説明する。

（ステップＳ６０１）撮影オブジェクト決定部１１３は、カウンタｉに１を代入する。

（ステップＳ６０２）撮影オブジェクト決定部１１３は、オブジェクト情報格納部１１１に、ｉ番目のオブジェクトが存在するか否かを判断する。ｉ番目のオブジェクトが存在すればステップＳ６０３に行き、ｉ番目のオブジェクトが存在しなければステップＳ６０７に行く。

（ステップＳ６０３）撮影オブジェクト決定部１１３は、ｉ番目のオブジェクトの位置情報を、オブジェクト情報格納部１１１から取得する。なお、ｉ番目のオブジェクトの位置情報は、ｉ番目のオブジェクトのオブジェクト情報に含まれる。

（ステップＳ６０４）撮影オブジェクト決定部１１３は、ステップＳ４０３で取得した位置情報が示す地点と、ステップＳ６０３で取得した位置情報が示す地点との距離を算出する。

（ステップＳ６０５）撮影オブジェクト決定部１１３は、ステップＳ６０４で取得した距離とｉ番目のオブジェクトのオブジェクト情報（またはそのうちの一部の情報）とを対にして、図示しない記録媒体に一時的に格納する。

（ステップＳ６０６）撮影オブジェクト決定部１１３は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。

（ステップＳ６０７）撮影オブジェクト決定部１１３は、距離をキーとして、距離の近い（小さい）順に、オブジェクト情報をソートする。上位処理にリターンする。

次に、ステップＳ５０６の可視判断処理について、図７のフローチャートを用いて説明する。なお、ここでの可視判断処理は、第一の可視判断処理である。第一の可視判断処理は、オブジェクトの平面的な情報のみを用いて、オブジェクトが端末装置１３のディスプレイに出力されているか否かを判断する処理である。

（ステップＳ７０１）撮影オブジェクト決定部１１３は、カウンタｉに１を代入する。

（ステップＳ７０２）撮影オブジェクト決定部１１３は、判断対象となるオブジェクトの領域情報の中にｉ番目の点が存在するか否かを判断する。ｉ番目の点が存在すればステップＳ７０３に行き、ｉ番目の点が存在しなければステップＳ７０５に行く。なお、領域情報は、例えば、その外形を示す点から構成されるとする。外形を示す点とは、領域情報が示す領域が４角形であれば４点存在し、８角形であれば８点存在する。点とは、通常、（緯度，経度）または（ｘ座標、ｙ座標）などで示される。

（ステップＳ７０３）撮影オブジェクト決定部１１３は、ｉ番目の点と位置情報との角度（θ）を算出し、当該角度（θ）をバッファに一時記憶する。角度（θ）の基準は、例えば、真北である。ただし、基準は一定であれば良く、真北であるとは限らない。なお、位置情報とは、端末装置１３の位置を示す情報である。

（ステップＳ７０４）撮影オブジェクト決定部１１３は、カウンタｉを１、インクリメントする。ステップＳ７０２に戻る。

（ステップＳ７０５）撮影オブジェクト決定部１１３は、ステップＳ７０３でバッファに一時格納された角度（θ）から、最小の角度（θ_１）と最大角度（θ_２）とを取得する。

（ステップＳ７０６）撮影オブジェクト決定部１１３は、ステップＳ７０５で取得した最小の角度（θ_１）と最大角度（θ_２）の領域すべてが、既に登録されている角度の領域であるか否かを判断する。既に登録されている角度の領域であればステップＳ７１０に行き、既に登録されている角度の領域を一部でも含まない場合はステップＳ７０７に行く。

（ステップＳ７０７）撮影オブジェクト決定部１１３は、このオブジェクトを撮影オブジェクトであると判断する。リターン値として、撮影オブジェクトである旨の情報（例えば、「１」）を代入する。

（ステップＳ７０８）撮影オブジェクト決定部１１３は、このオブジェクトを撮影オブジェクトであるとしたために、現在、不可視領域として登録されている角度に加え、最小の角度（θ_１）と最大角度（θ_２）の領域を不可視領域とする角度の幅（領域）を取得する。なお、例えば、現在、「３０度から４０度」が登録されており、最小の角度（θ_１）が３５度であり、最大角度（θ_２）が４５度である場合、撮影オブジェクト決定部１１３は、「３０度から４５度」を取得する。また、例えば、現在、「３０度から４０度」が登録されており、最小の角度（θ_１）が５５度であり、最大角度（θ_２）が６０度である場合、「５５度から６０度」を取得する。

（ステップＳ７０９）撮影オブジェクト決定部１１３は、ステップＳ７０８で取得した角度を登録する。なお、例えば、上記において、「３０度から４５度」は、「３０度から４０度」の情報に上書きされる。また、例えば、上記において、「５５度から６０度」が追記される。上位処理にリターンする。このとき、リターン値も返される。

（ステップＳ７１０）撮影オブジェクト決定部１１３は、撮影オブジェクト決定部１１３は、このオブジェクトを非撮影オブジェクトであると判断する。リターン値として、非撮影オブジェクトである旨の情報（例えば、「０」）を代入する。上位処理にリターンする。このとき、リターン値も返される。

次に、ステップＳ５０６の可視判断処理について、図８のフローチャートを用いて説明する。なお、ここでの可視判断処理は、第二の可視判断処理である。第二の可視判断処理は、オブジェクトの立体的な情報のみを用いて、オブジェクトが端末装置１３のディスプレイに出力されているか否かを判断する処理である。図８のフローチャートにおいて、図７のフローチャートと同様のステップについて、説明を省略する。

（ステップＳ８０１）撮影オブジェクト決定部１１３は、ｉ番目の点（ｘ１，ｙ１，ｚ１）と位置情報（ｘ０，ｙ０，ｚ０）との高さ方向の角度（θ_ｈ）を算出し、バッファに格納する。

（ステップＳ８０２）撮影オブジェクト決定部１１３は、視点（位置情報）からの高さ方向の角度（θ_３）を取得する。θ_３は、ステップＳ８０１で格納したθ_ｈのうち、最大の角度である。

（ステップＳ８０３）撮影オブジェクト決定部１１３は、最小の角度（θ_１）と最大角度（θ_２）の領域において、高さ方向の角度（θ_３）以上の角度が既に、登録されているか否かを判断する。登録されていればステップＳ７１０に行き、登録されていなければステップＳ７０７に行く。高さ方向の角度（θ_３）以上の角度が既に登録されている場合は、対象となるオブジェクトは不可視領域にあり、撮影オブジェクトではないことを示す。

（ステップＳ８０４）撮影オブジェクト決定部１１３は、このオブジェクトを撮影オブジェクトであるとしたために、現在、不可視領域として登録されている角度に加え、最小角度（θ_１）と最大角度（θ_２）の平面領域を不可視領域とする角度の幅（領域）を取得する。なお、例えば、現在、「３０度から４０度」が登録されており、最小の角度（θ_１）が３５度であり、最大角度（θ_２）が４５度である場合、撮影オブジェクト決定部１１３は、「３０度から４５度」を取得する。

（ステップＳ８０５）撮影オブジェクト決定部１１３は、このオブジェクトを撮影オブジェクトであるとしたために、高さ方向の角度（θ_３）を取得する。なお、例えば、現在、最小の角度（θ_１）と最大角度（θ_２）の平面領域において、高さの角度「３０度」が登録されている場合、取得した高さ方向の角度（θ_３）が「３５度」であれば、「３５度」を取得する。

（ステップＳ８０６）撮影オブジェクト決定部１１３は、ステップＳ８０４で取得した平面領域の角度（例えば、「３０度から４５度」）と、高さ方向の角度（例えば、「３５度」）を対応付けて蓄積（登録）する。上位処理にリターンする。このとき、リターン値も返される。なお、撮影オブジェクト決定部１１３は、最小角度（θ_１）と最大角度（θ_２）の平面領域において、現在、不可視領域として登録されている高さ方向の角度が、高さ方向の角度（θ_３）以上であるか否かを判断し、高さ方向の角度（θ_３）以上であれば、高さ方向の角度（θ_３）を蓄積しない。

次に、情報システム１のウェブサーバ装置１２の動作について説明する。ウェブサーバ装置１２のオブジェクト関連情報取得部１２２は、外部（通常、端末装置１３またはサーバ装置１１）からの指示に応じて、オブジェクト関連情報を、オブジェクト関連情報格納部１２１から取得する。そして、オブジェクト関連情報送信部１２３は、オブジェクト関連情報取得部１２２が取得したオブジェクト関連情報を端末装置１３またはサーバ装置１１に送信する。

次に、端末装置１３の動作について、図９のフローチャートを用いて説明する。

（ステップＳ９０１）受付部１３０２は、指示等を受け付けたか否かを判断する。指示等を受け付ければステップＳ９０２に行き、指示等を受け付けなければステップＳ９０１に戻る。

（ステップＳ９０２）第一受付手段１３０２１は、ステップＳ９０１で受け付けた指示がオブジェクト取得指示であるか否かを判断する。オブジェクト取得指示とは、撮影しているオブジェクトに関する情報を取得する指示である。オブジェクト取得指示であればステップＳ９０３に行き、オブジェクト取得指示でなければステップＳ９０９に行く。

（ステップＳ９０３）端末情報取得部１３０３の位置情報取得手段１３０３１は、端末装置１３の位置情報を取得する。

（ステップＳ９０４）方向情報取得手段１３０３２は、端末装置１３が向いている方向を示す方向情報を取得する。

（ステップＳ９０５）端末情報取得部１３０３は、ステップＳ９０３で取得した位置情報と、ステップＳ９０４で取得した方向情報とを有する端末情報を構成する。なお、端末情報取得部１３０３は、予め格納している視野角を含む端末情報を構成することは好適である。

（ステップＳ９０６）送信部１３０５は、ステップＳ９０５で構成した端末情報をサーバ装置１１に送信する。

（ステップＳ９０７）受信部１３０６は、端末情報の送信に対応して、撮影オブジェクト情報を受信したか否かを判断する。撮影オブジェクト情報を受信すればステップＳ９０８に行き、撮影オブジェクト情報を受信しなければステップＳ９０７に戻る。

（ステップＳ９０８）出力部１３０９等は、ステップＳ９０７で受信した撮影オブジェクト情報を出力する処理を行う。かかる処理は、撮影オブジェクト情報出力処理という。ステップＳ９０１に戻る。

（ステップＳ９０９）第二受付手段１３０２２は、ステップＳ９０１で受け付けた入力が領域に対する入力であるか否かを判断する。領域に対する入力とは、オブジェクトを示す領域（枠）の表示に対する指示である。領域に対する入力であればステップＳ９１０に行き、領域に対する入力でなければステップＳ９１１に行く。

（ステップＳ９１０）出力部１３０９等は、指示された領域に対するオブジェクトに関する情報を出力する処理を行う。かかる処理を、オブジェクト関連情報出力処理という。ステップＳ９０１に戻る。

（ステップＳ９１１）第三受付手段１３０２３は、ステップＳ９０１で受け付けた入力がカレントレイヤを設定する入力であるか否かを判断する。カレントレイヤを設定する入力であればステップＳ９１２に行き、カレントレイヤを設定する入力でなければステップＳ９１３に行く。

（ステップＳ９１２）カレントレイヤ変更部１３１０は、ステップＳ９１１で受け付けた入力に従って、カレントレイヤ格納部１３０１のカレントレイヤを変更する。

（ステップＳ９１３）各構成要素は、受け付けた指示に対応した動作を行う。例えば、受け付けた指示が撮影開始指示であれば、カメラ部１３０４が起動し、映像を取得し、カメラ映像出力手段１３０９１が、カメラ部１３０４が取得した映像を出力する。また、例えば、受け付けた指示が出力固定指示である場合、出力固定部１３１１は、出力部１３０９が出力中の映像と領域を固定する。

次に、ステップＳ９０８の撮影オブジェクト情報出力処理について、図１０のフローチャートを用いて説明する。

（ステップＳ１００１）出力部１３０９は、カレントレイヤを、カレントレイヤ格納部１３０１から読み出す。

（ステップＳ１００２）出力情報取得部１３０８は、カウンタｉに１を代入する。

（ステップＳ１００３）出力情報取得部１３０８は、出力対象の撮影オブジェクト情報の中に、ｉ番目の撮影オブジェクトが存在するか否かを判断する。ｉ番目の撮影オブジェクトが存在すればステップＳ１００４に行き、ｉ番目の撮影オブジェクトが存在しなければ上位処理にリターンする。

（ステップＳ１００４）出力情報取得部１３０８は、ｉ番目の撮影オブジェクトの領域情報を取得する。

（ステップＳ１００５）出力部１３０９は、ｉ番目の撮影オブジェクトの領域情報から、枠サイズを決定する。枠サイズとは、通常、領域情報に対応する大きさの枠（通常、矩形）である。

（ステップＳ１００６）出力部１３０９は、ステップＳ１００１で読み出したカレントレイヤが、オブジェクト識別レイヤであるか否かを判断する。オブジェクト識別レイヤであればステップＳ１００７に行き、オブジェクト識別レイヤでなければステップＳ１０１０に行く。

（ステップＳ１００７）領域出力手段１３０９２は、ステップＳ１００５で決定された枠サイズに合致する枠を構成する。枠とは、例えば、矩形の領域のウィンドウやオブジェクトや図形等である。

（ステップＳ１００８）領域出力手段１３０９２は、領域情報が示す領域に、ステップＳ１００７で構成した枠を出力する。領域出力手段１３０９２は、通常、カメラ映像出力手段１３０９１が出力している映像に重ねて、枠を出力する。この枠は、出力情報取得部１３０８が取得した１以上の出力情報に含まれる領域情報とも言える。

なお、本ステップで、距離出力手段１３０９３は、出力情報取得部１３０８が取得した１以上の出力情報に含まれる距離をも出力することは好適である。この距離の出力は、枠内または枠に対応付けて出力することはさらに好適である。

（ステップＳ１００９）出力情報取得部１３０８は、カウンタｉを１、インクリメントする。ステップＳ１００３に戻る。

（ステップＳ１０１０）出力部１３０９は、ステップＳ１００１で読み出したカレントレイヤが、ウェブサーチレイヤであるか否かを判断する。ウェブサーチレイヤであればステップＳ１００７に行き、ウェブサーチレイヤでなければステップＳ１００９に行く。

（ステップＳ１０１１）出力部１３０９は、オブジェクト関連情報の出力処理を行う。ステップＳ１００９に行く。

なお、図１０のフローチャートにおいて、領域情報（例えば、枠）の出力は必須ではない。また、距離の出力も必須ではない。出力部１３０９は、撮影オブジェクト情報のうちのいかなる情報を出力しても良い。

次に、ステップＳ１０１のオブジェクト関連情報出力処理について、図１１のフローチャートを用いて説明する。

（ステップＳ１１０１）オブジェクト識別子取得部１３１２は、第二受付手段１３０２２で受け付けた入力に対応する領域に対するオブジェクト識別子を取得する。

（ステップＳ１１０２）オブジェクト識別子送信部１３１３は、ステップＳ１１０１で取得されたオブジェクト識別子を1以上のウェブサーバ装置１２のいずれかに送信する。オブジェクト識別子がウェブサーバ装置１２のＵＲＬである場合、オブジェクト識別子送信部１３１３は、オブジェクト識別子を、当該ＵＲＬに対応するウェブサーバ装置１２に送信する。なお、オブジェクト識別子の送信とは、オブジェクト関連情報を取得するための、何らかの情報の送信も含まれる。

（ステップＳ１１０３）オブジェクト関連情報受信部１３０７は、ステップＳ１１０２におけるオブジェクト識別子の送信に対応して、オブジェクト関連情報を受信したか否かを判断する。オブジェクト関連情報を受信すればステップＳ１１０４に行き、オブジェクト関連情報を受信しなければステップＳ１１０３に戻る。

（ステップＳ１１０４）出力部１３０９は、ステップＳ１１０３で受信したオブジェクト関連情報がシンボル情報であるか否かを判断する。シンボル情報であればステップＳ１１０５に行き、シンボル情報でなければステップＳ１１０６に行く。なお、シンボル情報とは、オブジェクトを特定する画像やアイコンなどである。シンボル情報とは、例えば、後述するシンボル画像やシンボル音楽（特に、アイコン）などである。

（ステップＳ１１０５）オブジェクト関連情報出力手段１３０９４は、オブジェクト関連情報受信部１３０７が受信したオブジェクト関連情報を、領域に合わせて縮小または拡大する。

（ステップＳ１１０６）オブジェクト関連情報出力手段１３０９４は、オブジェクト関連情報を出力する。上位処理にリターンする。

以下、本実施の形態における情報システム１の具体的な動作について説明する。情報システム１の概念図は図１である。

まず、情報システム１の技術的な概念について説明する。情報システム１は、例えば、図１２に示すような概念を有している。情報システム１は、拡張ウェブブラウジング（Augmented Web Browsing）を実現できる。つまり、情報システム１は、カメラで捉えている画像に含まれるオブジェクトに関する情報（領域を示す枠、ウェブページ、シンボル画像など）を、当該オブジェクトに重ねて、または他の領域（他のウィンドウや他のディスプレイ）に表示できる。

また、情報システム１の端末装置１３は、図１２に示すように、複数のレイヤを有する。レイヤとは、端末装置１３が行う処理の階層である。レイヤとは、例えば、カメラレイヤ（camera layer）、地図センシングレイヤ（Geospatial Sensing layer）、オブジェクト識別レイヤ（Object-identification layer）、ウェブサーチレイヤ（Web search API layer）、タッチコントロールレイヤ（Touch-control layer）などである。かかる複数のレイヤが有する構造を、Layer-based Media Integration Platform という。

なお、地図センシングレイヤとは、地図情報を検出するための処理のレイヤである。また、タッチコントロールレイヤとは、ユーザからの指示（通常、タッチ）を受け付け、指示に対応する処理に移行するレイヤである。また、カメラレイヤ、オブジェクト識別レイヤ、ウェブサーチレイヤは、出力する情報を区別でき、かつ処理も行えるレイヤである。地図センシングレイヤ、タッチコントロールレイヤは、処理を行うためのレイヤである。

ここでは、カレントレイヤがカメラレイヤの場合は、カメラ部１３０４が取得した映像のみを出力する。また、カレントレイヤがオブジェクト識別レイヤの場合は、カメラ部１３０４が取得した映像と、当該映像に含まれるオブジェクトに関する情報（例えば、枠など）を出力する。さらに、カレントレイヤがウェブサーチレイヤの場合は、カメラ部１３０４が取得した映像、当該映像に含まれるオブジェクトに関する情報（例えば、枠など）、およびウェブサーバ装置１２から取得した情報を出力する。なお、カレントレイヤがウェブサーチレイヤの場合は、カメラ部１３０４が取得した映像およびウェブサーバ装置１２から取得した情報のみを出力しても良い。

また、情報システム１において、上記したレイヤだけでなく、種々のレイヤを有しても良い（図１３参照）。種々のレイヤとは、上述したレイヤの他、例えば、メディア重畳レイヤ（Media Superimposing layer）や、ナビゲーションレイヤがある。メディア重畳レイヤとは、種々のメディアを重畳して出力するレイヤである。ナビゲーションレイヤとは、オブジェクトへの道などをナビゲーションするレイヤである。

次に、２つの具体例を用いて、情報システム１について説明する。具体例１は、オブジェクトの高さまでは考慮せず、オブジェクトの平面的な情報のみを考慮して、撮影されている映像の中に含まれるオブジェクトを認識し、当該オブジェクトに関する情報を出力する態様である。具体例２は、オブジェクトの高さをも考慮して、撮影されている映像の中に含まれるオブジェクトを認識し、当該オブジェクトに関する情報を出力する態様である。

（具体例１）

今、サーバ装置１１のオブジェクト情報格納部１１１は、図１４に示すオブジェクト情報管理表を保持している。オブジェクト情報管理表は、地図上のオブジェクト情報を管理している表である。オブジェクト情報管理表は、「オブジェクト識別子」「オブジェクト名」「ＵＲＬ」「位置情報」「領域情報」などの属性値を有するレコードを１以上、管理している。「オブジェクト識別子」は、ここでは、オブジェクトのＩＤである。「オブジェクト名」は、オブジェクトの名称を示す。ＵＲＬは、オブジェクトに関して説明するウェブページ（ここでのオブジェクト関連情報）が存在する場所を示す情報である。「位置情報」は、オブジェクトの位置を特定する情報であり、ここでは、（緯度，経度）である。「領域情報」は、オブジェクトが配置されている二次元領域を示す情報であり、ここでは、多角形であるオブジェクトの３以上の頂点を示す。頂点も、ここでは、（緯度，経度）である。

また、ウェブサーバ装置１２のオブジェクト関連情報格納部１２１は、例えば、図１５に示すオブジェクト関連情報を有する。オブジェクト関連情報は、ここでは、シンボル画像、シンボル音楽、ウェブページを有する。シンボル画像は、オブジェクトを象徴する画像（アイコン）である。シンボル音楽は、オブジェクトを象徴する音楽と、音楽を示す画像（アイコン）である。なお、シンボル音楽は、オブジェクトを象徴する音楽だけでも良い。また、ウェブページは、オブジェクトを説明する説明情報の一種である。ウェブページは、オブジェクトについて、単に説明するページでも良いし、オブジェクトの広告情報でも良いし、オブジェクトに対して何らかのアクションを発生させるページ（例えば、商品やサービスの注文や予約など）でも良い。つまり、説明情報は、ウェブページを用いて行える処理を実現する情報などでも良い。また、図１５において、ウェブページに、シンボル画像、シンボル音楽などが含まれても良い。

また、端末装置１３は、２つのディスプレイを有する端末である、とする。なお、端末装置１３は、一つのディスプレイを有する端末であっても良いし、３つ以上のディスプレイを有する端末であっても良い。

さらに、端末装置１３のカレントレイヤ格納部１３０１は、「カレントレイヤ＝カメラレイヤ」を格納している、とする。

かかる場合、ユーザは、端末装置１３を起動した、とする。すると、受付部１３０２は、起動の指示を受け付ける。そして、カメラ部１３０４は、カレントレイヤ格納部１３０１から「カレントレイヤ＝カメラレイヤ」を読み出す。そして、カメラ部１３０４は、カメラを起動する。すると、図１６に示すように、端末装置１３の第一表示手段１３１４１に、外界の映像が出力される。

次に、ユーザは、カレントレイヤをオブジェクト識別レイヤにする指示を入力した、とする。すると、第三受付手段１３０２３は、受け付けた入力がカレントレイヤを設定する入力であると判断する。次に、カレントレイヤ変更部１３１０は、受け付けた入力に従って、カレントレイヤ格納部１３０１のカレントレイヤをオブジェクト識別レイヤに変更する。

次に、ユーザは、図１６の端末装置１３の状態から、映像中のオブジェクトの情報を得ようとして、オブジェクト取得指示を入力する。オブジェクト取得指示は、タッチすることにより入力されることが好適であるが、メニューからの選択、キーボード等の入力手段による入力等により、入力されても良い。次に、第一受付手段１３０２１は、オブジェクト取得指示を受け付ける。

次に、端末情報取得部１３０３の位置情報取得手段１３０３１（ここでは、例えば、ＧＰＳ受信機）は、端末装置１３の位置情報（Ｘ，Ｙ）を取得する。

次に、方向情報取得手段１３０３２は、端末装置１３が向いている方向を示す方向情報（θＡ）を取得する。方向情報（θＡ）は、例えば、真北から時計回りの角度（真東は９０度）を示す。

また、端末情報取得部１３０３は、カメラ部１３０４が有する視野角の情報（単に「視野角」という）を読み出す。ここでは、視野角は「θａ」である、とする。また、カメラ部１３０４は、予め視野角「θａ」を格納している。とする。

次に、端末情報取得部１３０３は、取得した位置情報（Ｘ，Ｙ）と、取得した方向情報（θＡ）と、視野角（θａ）とを有する端末情報（Ｘ，Ｙ，θＡ，θａ）を構成する。

次に、送信部１３０５は、構成した端末情報（Ｘ，Ｙ，θＡ，θａ）をサーバ装置１１に送信する。

そして、サーバ受信部１１２は、端末装置１３から、端末情報（Ｘ，Ｙ，θＡ，θａ）を受信する。

次に、サーバ受信部１１２は、以下のように、撮影オブジェクトを決定する。つまり、撮影オブジェクト決定部１１３は、受信された端末情報が有する位置情報（Ｘ，Ｙ）を取得する。

次に、撮影オブジェクト決定部１１３は、端末情報が有する方向情報（θＡ）と視野角（θａ）とを用いて、不可視領域となる角度を算出する。撮影オブジェクト決定部１１３は、「（θＡ−（θａ／２））＜＝可視領域＜＝（θＡ＋（θａ／２））」を可視領域となる角度として決定する。そして、可視領域を除く角度を不可視領域角度として算出し、蓄積する。かかる概念を図１７に示す。なお、可視領域が真北のラインをまたがっていない場合、不可視領域角度は「０＜＝不可視領域角度＜（θＡ−（θａ／２））」および「（θＡ＋（θａ／２））＜不可視領域角度＜＝３６０」である。また、可視領域が真北のラインをまたがっている場合、不可視領域角度は「（θＡ＋（θａ／２））＜不可視領域角度＜（θＡ−（θａ／２））」である。

そして、撮影オブジェクト決定部１１３は、取得した位置情報（Ｘ，Ｙ）を用いて、端末装置１３から近いオブジェクトの順に、オブジェクト情報格納部１１１のオブジェクト情報をソートする。ソート処理については、図６で説明した処理により行う。ソート処理の結果、撮影オブジェクト決定部１１３は、図１８に示すようなオブジェクト一時管理表を取得する。オブジェクト一時管理表の各レコードは、オブジェクト識別子と距離とを有する。距離は、位置情報（Ｘ，Ｙ）が示す点とオブジェクトの位置情報が示す点との距離である。

次に、撮影オブジェクト決定部１１３は、オブジェクト一時管理表の上位のレコードから、撮影オブジェクトであるか否かを判断する。

つまり、撮影オブジェクト決定部１１３は、オブジェクト一時管理表の１番目のレコードのオブジェクト識別子「１」を読み出す。そして、当該オブジェクト識別子「１」をキーとして、オブジェクト情報管理表を検索し、オブジェクト識別子「１」と対になる領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」を取得する。

次に、撮影オブジェクト決定部１１３は、受信された端末情報（Ｘ，Ｙ，θＡ，θａ）と、取得した領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」とを用いて、１番目のオブジェクトが、撮影オブジェクトか否かを判断する。

まず、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１」のオブジェクト）の領域情報の中の１番目の点（ｘ_１，ｙ_１）を取得する。

次に、撮影オブジェクト決定部１１３は、１番目の点（ｘ_１，ｙ_１）と位置情報（Ｘ，Ｙ）との角度（θ１）を算出し、当該角度（θ１）をバッファに一時記憶する。同様に、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１」のオブジェクト）の領域情報の中の２番目の点から４番目の各点と位置情報（Ｘ，Ｙ）との角度（θ２，θ３，θ４）を算出し、当該角度（θ２，θ３，θ４）もバッファに一時記憶する。バッファには、（θ１，θ２，θ３，θ４）が格納されたことになる。

次に、撮影オブジェクト決定部１１３は、バッファに一時格納された角度（θ１，θ２，θ３，θ４）から、最小角度（例えば、（θ１））と最大角度（例えば、（θ４））とを取得する。

次に、撮影オブジェクト決定部１１３は、取得した最小角度（θ１）と最大角度（θ４）の領域すべてが、既に登録されている角度の領域（「（θＡ−（θａ／２））＜＝可視領域＜＝（θＡ＋（θａ／２））」を除く角度）であるか否かを判断する。ここで、撮影オブジェクト決定部１１３は、取得した最小角度（θ１）と最大角度（θ４）の領域は、可視領域であると判断した、とする。そして、撮影オブジェクト決定部１１３は、オブジェクト識別子「１」のオブジェクトは、撮影オブジェクトであると判断する。

次に、撮影オブジェクト決定部１１３は、「θ１＜＝不可視領域＜＝θ４」を新たな不可視領域とする。つまり、撮影オブジェクト決定部１１３は、例えば、「０＜＝不可視領域角度＜（θＡ−（θａ／２））」および「（θＡ＋（θａ／２））＜不可視領域角度＜＝３６０」と「θ１＜＝不可視領域＜＝θ４」とをマージした不可視領域角度を記録媒体に登録する。ここで、マージとは、今までの不可視領域に、「θ１＜＝不可視領域＜＝θ４」を加えることである。

次に、撮影オブジェクト決定部１１３は、１番目のオブジェクトのオブジェクト識別子「１」を図示しない記憶媒体に格納する。
次に、撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在する、と判断する。

次に、撮影オブジェクト決定部１１３は、オブジェクト一時管理表の２番目のオブジェクト識別子「１７」を取得し、当該識別子「１７」をキーとして、オブジェクト情報管理表を検索し、オブジェクト識別子「１７」と対になる領域情報（例えば、「（ｘ_１０１，ｙ_１０１）（ｘ_１０２，ｙ_１０２）（ｘ_１０３，ｙ_１０３）（ｘ_１０３，ｙ_１０３）」）を取得する。

次に、撮影オブジェクト決定部１１３は、受信された端末情報（Ｘ，Ｙ，θＡ，θａ）と、取得した領域情報「（ｘ_１０１，ｙ_１０１）（ｘ_１０２，ｙ_１０２）（ｘ_１０３，ｙ_１０３）（ｘ_１０３，ｙ_１０３）」とを用いて、２番目のオブジェクトが、撮影オブジェクトか否かを判断する。

まず、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１７」のオブジェクト）の領域情報の中の１番目の点（ｘ_１０１，ｙ_１０１）を取得する。

次に、撮影オブジェクト決定部１１３は、１番目の点（ｘ_１０１，ｙ_１０１）と位置情報（Ｘ，Ｙ）との角度（θ１０１）を算出し、当該角度（θ１０１）をバッファに一時記憶する。同様に、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１７」のオブジェクト）の領域情報の中の２番目の点から４番目の各点と位置情報（Ｘ，Ｙ）との角度（θ１０２，θ１０３，θ１０４）を算出し、当該角度（θ１０２，θ１０３，θ１０４）もバッファに一時記憶する。バッファには、（θ１０１，θ１０２，θ１０３，θ１０４）が格納されたことになる。

次に、撮影オブジェクト決定部１１３は、バッファに一時格納された角度（θ１０１，θ１０２，θ１０３，θ１０４）から、最小角度（例えば、（θ１０１））と最大角度（例えば、（θ１０３））とを取得する。

次に、撮影オブジェクト決定部１１３は、取得した最小角度（θ１０１）と最大角度（θ１０３）の領域すべてが、既に登録されている角度の領域であるか否かを判断する。そして、撮影オブジェクト決定部１１３は、最小角度（θ１０１）と最大角度（θ１０３）の領域すべてが、既に登録されている角度の領域であると、判断したとする。したがって、撮影オブジェクト決定部１１３は、オブジェクト識別子「１７」のオブジェクトは撮影オブジェクトでない、と決定する。
次に、撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在する、と判断する。

次に、撮影オブジェクト決定部１１３は、オブジェクト一時管理表の３番目のオブジェクト識別子「３」を取得し、当該識別子「３」をキーとして、オブジェクト情報管理表を検索し、オブジェクト識別子「１７」と対になる領域情報「（ｘ_１１，ｙ_１１）（ｘ_１２，ｙ_１２）（ｘ_１３，ｙ_１３）（ｘ_１４，ｙ_１４）」を取得する。

次に、撮影オブジェクト決定部１１３は、受信された端末情報（Ｘ，Ｙ，θＡ，θａ）と、取得した領域情報「（ｘ_１１，ｙ_１１）（ｘ_１２，ｙ_１２）（ｘ_１３，ｙ_１３）（ｘ_１４，ｙ_１４）」とを用いて、３番目のオブジェクトが、撮影オブジェクトか否かを判断する。

まず、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「３」のオブジェクト）の領域情報の中の１番目の点（ｘ_１１，ｙ_１１）を取得する。

次に、撮影オブジェクト決定部１１３は、１番目の点（ｘ_１１，ｙ_１１）と位置情報（Ｘ，Ｙ）との角度（θ１１）を算出し、当該角度（θ１１）をバッファに一時記憶する。同様に、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「３」のオブジェクト）の領域情報の中の２番目の点から４番目の各点と位置情報（Ｘ，Ｙ）との角度（θ１２，θ１３，θ１４）を算出し、当該角度（θ１２，θ１３，θ１４）もバッファに一時記憶する。バッファには、（θ１１，θ１２，θ１３，θ１４）が格納されたことになる。

次に、撮影オブジェクト決定部１１３は、バッファに一時格納された角度（θ１１，θ１２，θ１３，θ１４）から、最小角度（例えば、（θ１１））と最大角度（例えば、（θ１４））とを取得する。

次に、撮影オブジェクト決定部１１３は、取得した最小角度（θ１１）と最大角度（θ１４）の領域すべてが、既に登録されている角度の領域であるか否かを判断する。ここで、撮影オブジェクト決定部１１３は、取得した最小角度（θ１１）と最大角度（θ１４）の領域と、既に登録されている不可視領域の角度とを比較する。そして、撮影オブジェクト決定部１１３は、取得した最小角度（θ１１）と最大角度（θ１４）の領域は、可視領域であると判断した、とする。そして、撮影オブジェクト決定部１１３は、オブジェクト識別子「３」のオブジェクトは、撮影オブジェクトであると判断する。

次に、撮影オブジェクト決定部１１３は、「θ１１＜＝不可視領域＜＝θ１４」を新たな不可視領域とする。

次に、撮影オブジェクト決定部１１３は、３番目のオブジェクトのオブジェクト識別子「３」を図示しない記憶媒体に格納する。
次に、撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在する、と判断する。

以上の処理を、４番目以降のオブジェクトに対しても繰り返す。そして、オブジェクト識別子「２５」で識別されるオブジェクトを撮影オブジェクトであると決定した後、撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在しない、と判断した、とする。そして、最終的に、撮影オブジェクトの識別子の集合「１，３，２５」が得られた、とする。

次に、オブジェクト識別子「１」の撮影オブジェクト情報を構成する。つまり、撮影オブジェクト情報取得部１１５は、オブジェクト情報管理表から、オブジェクト識別子「１」のオブジェクト名「コーヒーショップＡ」、ＵＲＬ「http://www.coffee-A.co.jp」、位置情報（ｘａ，ｙａ）、領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」を読み出す。次に、撮影オブジェクト情報取得部１１５は、オブジェクト一時管理表から距離「１００ｍ」を読み出す。そして、撮影オブジェクト情報取得部１１５は、オブジェクト識別子「１」のオブジェクト名「コーヒーショップＡ」、ＵＲＬ「http://www.coffee-A.co.jp」、位置情報（ｘａ，ｙａ）、領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」、距離「１００ｍ」を有する撮影オブジェクト情報を構成し、バッファに一時格納する。

そして、同様に、撮影オブジェクト情報取得部１１５は、オブジェクト識別子「３」、オブジェクト識別子「２５」の撮影オブジェクト情報を構成し、バッファに追記する。そして、撮影オブジェクト情報取得部１１５は、図１９に示す撮影オブジェクト情報管理表を得る。

次に、サーバ送信部１１６は、バッファに一時格納された１以上の撮影オブジェクト情報（図１９に示す撮影オブジェクト情報管理表）を、端末装置１３に送信する。

次に、受信部１３０６は、端末情報の送信に対応して、１以上の撮影オブジェクト情報を受信する。

次に、出力部１３０９は、カレントレイヤ格納部１３０１から、「カレントレイヤ＝オブジェクト識別レイヤ」を読み出す。

次に、出力情報取得部１３０８は、受信した撮影オブジェクト情報の中の最も距離が近いオブジェクトの撮影オブジェクト情報（オブジェクト識別子「１」、オブジェクト名「コーヒーショップＡ」、ＵＲＬ「http://www.coffee-A.co.jp」、位置情報（ｘａ，ｙａ）、領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」、距離「１００ｍ」）を取得する。

そして、出力部１３０９の領域出力手段１３０９２は、この撮影オブジェクトの領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」から、枠サイズを決定する。

次に、領域出力手段１３０９２は、決定された枠サイズに合致する枠を構成する。そして、領域出力手段１３０９２は、領域情報が示す領域に、構成した枠を出力する。

また、距離出力手段１３０９３は、撮影オブジェクト情報に含まれる距離「１００ｍ」を、枠に対応付けて出力する。かかる出力例を図２０に示す。ここでは、枠は、四角形である。また、枠の高さは、ディスプレイの高さに合致している。つまり、すべてのオブジェクトの枠の高さは一定である。

なお、上記において、端末装置１３からの距離が最も近い撮影オブジェクトの情報のみを出力した。しかし、端末装置１３の最も中央部に存在する撮影オブジェクトの情報のみを出力しても良い。かかる場合、撮影オブジェクト情報は、撮影オブジェクトの方向情報（最大の角度と最小の角度の真ん中の角度（平均））を有することとなる。そして、撮影オブジェクトの方向情報と、端末情報が有する方向情報との差異が最も小さい撮影オブジェクトが選択され、かかる撮影オブジェクトの情報が出力される。さらに、領域出力手段１３０９２は、すべての撮影オブジェクトの情報を出力しても良いことは言うまでもない。かかる場合の出力例を図２１に示す。図２１において、距離が最も近い（または最も中央寄りの）撮影オブジェクトの距離のみが出力されているが、すべての撮影オブジェクトの距離を出力しても良いことは言うまでもない。

なお、図２０の画面出力の状態で、ユーザは、出力を固定する指示を入力した、とする。すると、出力固定部１３１１は、出力部１３０９が出力中の映像と領域（図２０の画面）を固定する。なお、かかる画面の固定化処理は公知技術である。また、画面の固定化処理は、例えば、ＶＲＡＭの画像を変更しないようにし、カメラ部１３０４の動作を停止するなどの処理により行われる。

次に、画面が固定されている状態で、ユーザは、オブジェクト識別子「１」の撮影オブジェクト（枠が表示されているオブジェクト）の枠に対して指示を入力する（タッチする）、とする。すると、第二受付手段１３０２２は、領域（ここでは、矩形の枠）に対する入力を受け付ける。なお、画面が固定されているので、端末装置１３を動かしても、画面上の表示は変わらず、ユーザにとって操作しやすくなる。

次に、以降で説明するような処理により、オブジェクトに関する情報が出力される。つまり、オブジェクト識別子取得部１３１２は、第二受付手段１３０２２で受け付けた入力に対応する領域に対するオブジェクト識別子を、撮影オブジェクト情報から取得する。ここでのオブジェクト識別子は、「ＵＲＬ」であるとする。つまり、オブジェクト識別子取得部１３１２は、ＵＲＬ「http://www.coffee-A.co.jp」を取得する。

なお、撮影オブジェクト（枠が表示されているオブジェクト）の枠に対して指示が入力された場合、少なくとも、一時的に、カレントレイヤ格納部１３０１のカレントレイヤがウェブサーチレイヤに変更される、としても良い。

次に、オブジェクト識別子送信部１３１３は、取得されたＵＲＬ「http://www.coffee-A.co.jp」を用いて、ＵＲＬ「http://www.coffee-A.co.jp」に対応するウェブサーバ装置１２にアクセスする。

そして、ウェブサーバ装置１２のオブジェクト関連情報取得部１２２は、ＵＲＬ「http://www.coffee-A.co.jp」に対応するオブジェクト関連情報を取得する。ここで、取得したオブジェクト関連情報は、図１５に示すオブジェクト関連情報である。

次に、ウェブサーバ装置１２のオブジェクト関連情報送信部１２３は、図１５に示すオブジェクト関連情報を、端末装置１３に送信する。

次に、端末装置１３のオブジェクト関連情報受信部１３０７は、図１５に示すオブジェクト関連情報を受信する。

そして、出力部１３０９は、受信したオブジェクト関連情報にシンボル情報（シンボル画像）が含まれるので、当該シンボル画像を、枠サイズの大きさに縮小する。そして、オブジェクト関連情報出力手段１３０９４は、縮小したシンボル画像を、枠の領域に配置する。かかる出力例が図２２である。縮小されたシンボル画像は、２２０１である。

なお、出力部１３０９は、カメラ部１３０４が取得した映像を、第一の画面（第一表示手段１３１４１）に表示し、オブジェクト関連情報出力手段１３０９４は、受信されたオブジェクト関連情報（ここでは、シンボル画像）を、第二表示手段１３１４２に表示することは好適である。かかる出力例は図２３である。図２３において、オブジェクト関連情報出力手段１３０９４は、枠や距離を第一表示手段１３１４１に表示し、シンボル画像を、第二表示手段１３１４２に表示している。

さらに、今、端末装置１３は、図１６の表示状態である、とする。そして、次に、ユーザは、カレントレイヤをウェブサーチレイヤにする指示を入力した、とする。すると、第三受付手段１３０２３は、受け付けた入力がカレントレイヤを設定する入力であると判断する。次に、カレントレイヤ変更部１３１０は、受け付けた入力に従って、カレントレイヤ格納部１３０１のカレントレイヤをウェブサーチレイヤに変更する。

次に、ユーザは、図１６の端末装置１３の状態から、映像中のオブジェクトの情報を得ようとして、オブジェクト取得指示を入力する。

次に、上記で説明した処理により、端末情報取得部１３０３は、端末情報（Ｘ，Ｙ，θＡ，θａ）を構成する。

次に、送信部１３０５は、構成した端末情報（Ｘ，Ｙ，θＡ，θａ）をサーバ装置１１に送信する。

そして、サーバ受信部１１２は、端末装置１３から、端末情報（Ｘ，Ｙ，θＡ，θａ）を受信する。

次に、サーバ受信部１１２は、上記で説明した処理により、撮影オブジェクト（ＩＤ［１，３，２５］）を決定する。そして、撮影オブジェクト情報取得部１１５は、図１９に示す撮影オブジェクト情報管理表を得る。

次に、サーバ送信部１１６は、バッファに一時格納された１以上の撮影オブジェクト情報（図１９に示す撮影オブジェクト情報管理表）を、端末装置１３に送信する。

次に、受信部１３０６は、端末情報の送信に対応して、１以上の撮影オブジェクト情報を受信する。

次に、出力部１３０９は、カレントレイヤ格納部１３０１から、「カレントレイヤ＝ウェブサーチレイヤ」を読み出す。

次に、出力情報取得部１３０８は、受信した撮影オブジェクト情報の中の最も距離が近いオブジェクトの撮影オブジェクト情報（オブジェクト識別子「１」、オブジェクト名「コーヒーショップＡ」、ＵＲＬ「http://www.coffee-A.co.jp」、位置情報（ｘａ，ｙａ）、領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」、距離「１００ｍ」）を取得する。

そして、出力部１３０９の領域出力手段１３０９２は、この撮影オブジェクトの領域情報「（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）」から、枠サイズを決定する。

次に、領域出力手段１３０９２は、決定された枠サイズに合致する枠を構成する。そして、領域出力手段１３０９２は、領域情報が示す領域に、構成した枠を出力する。

また、距離出力手段１３０９３は、撮影オブジェクト情報に含まれる距離「１００ｍ」を、枠に対応付けて出力する。

次に、オブジェクト関連情報出力手段１３０９４は、受信されたオブジェクト関連情報（ここでは、シンボル画像）を、第二表示手段１３１４２に表示する。かかる出力例を図２３に示す。なお、オブジェクト関連情報出力手段１３０９４は、図２３ではなく、図２２のように出力しても良い。つまり、オブジェクト関連情報の出力態様は問わない。

また、オブジェクトの領域は二次元の領域であるので、図２０、図２１、図２２、図２３において、枠は上下一杯の大きさの枠であった。しかし、例えば、距離をパラメータとする減少関数により、オブジェクトの領域の大きさ（枠の大きさ）を算出し、枠を出力しても良い。つまり、距離が大きいほど、当該距離に対応するオブジェクトの領域を小さくして出力しても良い。かかる場合、例えば、図２４のような枠の出力となる。図２４において、枠の高さが距離に反比例している。

（具体例２）

今、サーバ装置１１のオブジェクト情報格納部１１１は、図２５に示すオブジェクト情報管理表を保持している。オブジェクト情報管理表は、地図上のオブジェクト情報を管理している表である。オブジェクト情報管理表は、「オブジェクト識別子」「オブジェクト名」「ＵＲＬ」「位置情報」「領域情報」などの属性値を有するレコードを１以上、管理している。図２５において、図１４のオブジェクト情報管理表との差異は、領域情報を構成する各点が高さ情報（ｚ）を有している点である。

また、ウェブサーバ装置１２のオブジェクト関連情報格納部１２１は、例えば、図１５に示すオブジェクト関連情報を有する。

また、端末装置１３は、２つのディスプレイを有する端末である、とする。なお、端末装置１３は、一つのディスプレイを有する端末であっても良いし、３つ以上のディスプレイを有する端末であっても良い。

さらに、端末装置１３のカレントレイヤ格納部１３０１は、「カレントレイヤ＝カメラレイヤ」を格納している、とする。

かかる場合、ユーザは、端末装置１３を起動した、とする。すると、受付部１３０２は、起動の指示を受け付ける。そして、カメラ部１３０４は、カレントレイヤ格納部１３０１から「カレントレイヤ＝カメラレイヤ」を読み出す。そして、カメラ部１３０４は、カメラを起動する。すると、図１６に示すように、端末装置１３には、外界の映像が出力される。

次に、ユーザは、カレントレイヤをオブジェクト識別レイヤにする指示を入力した、とする。すると、第三受付手段１３０２３は、受け付けた入力がカレントレイヤを設定する入力であると判断する。次に、カレントレイヤ変更部１３１０は、受け付けた入力に従って、カレントレイヤ格納部１３０１のカレントレイヤをオブジェクト識別レイヤに変更する。

次に、ユーザは、図１６の端末装置１３の状態から、映像中のオブジェクトの情報を得ようとして、オブジェクト取得指示を入力する。オブジェクト取得指示は、タッチすることにより入力されることが好適であるが、メニューからの選択、キーボード等の入力手段による入力等により、入力されても良い。次に、第一受付手段１３０２１は、オブジェクト取得指示を受け付ける。

次に、端末情報取得部１３０３の位置情報取得手段１３０３１（ここでは、例えば、ＧＰＳ受信機）は、端末装置１３の位置情報（Ｘ，Ｙ，Ｚ）を取得する。なお、Ｚは、高さである。

次に、方向情報取得手段１３０３２は、端末装置１３が向いている方向を示す方向情報（θＡ，θＢ）を取得する。θＡは平面上の角度、θＢは高さ方向の角度である。

また、端末情報取得部１３０３は、カメラ部１３０４が有する視野角の情報（単に「視野角」という）を読み出す。ここでは、視野角は（θａ，θｂ）である、とする。また、カメラ部１３０４は、予め視野角（θａ，θｂ）を格納している、とする。なお、θａは平面上の角度、θｂは高さ方向の角度である。視野角（θａ，θｂ）を図２６に示す。

次に、端末情報取得部１３０３は、取得した位置情報（Ｘ，Ｙ，Ｚ）と、取得した方向情報（θＡ，θＢ）と、視野角（θａ，θｂ）とを有する端末情報（Ｘ，Ｙ，Ｚ，θＡ，θＢ，θａ，θｂ）を構成する。

次に、送信部１３０５は、構成した端末情報（Ｘ，Ｙ，Ｚ，θＡ，θＢ，θａ，θｂ）をサーバ装置１１に送信する。

そして、サーバ受信部１１２は、端末装置１３から、端末情報（Ｘ，Ｙ，Ｚ，θＡ，θＢ，θａ，θｂ）を受信する。

次に、撮影オブジェクト決定部１１３は、以下のように、撮影オブジェクトを決定する。つまり、撮影オブジェクト決定部１１３は、受信された端末情報が有する位置情報（Ｘ，Ｙ，Ｚ）を取得する。

次に、撮影オブジェクト決定部１１３は、端末情報が有する方向情報（θＡ，θＢ）と視野角（θａ，θｂ）とを用いて、不可視領域となる三次元の角度を算出する。撮影オブジェクト決定部１１３は、可視領域となる二次元の角度「（θＡ−（θａ／２））＜＝可視領域＜＝（θＡ＋（θａ／２））」を取得する。そして、可視領域となる高さ方向の角度「（θＢ−（θｂ／２））＜＝可視領域＜＝（θＢ＋（θｂ／２））」を取得する。そして、上記の可視領域ではない領域を、不可視領域として蓄積する。

そして、撮影オブジェクト決定部１１３は、取得した位置情報（Ｘ，Ｙ，Ｚ）を用いて、端末装置１３から近いオブジェクトの順に、オブジェクト情報格納部１１１のオブジェクト情報をソートする。ソート処理については、図６で説明した処理により行う。なお、ここでは、位置情報（Ｘ，Ｙ，Ｚ）のうちの（Ｘ，Ｙ）と、各オブジェクトの位置情報（例えば、（ｘ_ａ，ｙ_ａ））とを用いて、端末装置１３と各オブジェクトとの距離を算出し、距離をキーとしてソートする。そして、ソート処理の結果、撮影オブジェクト決定部１１３は、図１８に示すようなオブジェクト一時管理表を取得する。オブジェクト一時管理表の各レコードは、オブジェクト識別子と距離とを有する。距離は、位置情報（Ｘ，Ｙ，Ｚ）（ただし、Ｚは利用されない）が示す点とオブジェクトの位置情報が示す点との距離である。

次に、撮影オブジェクト決定部１１３は、オブジェクト一時管理表の上位のレコードから、撮影オブジェクトであるか否かを判断する。

つまり、撮影オブジェクト決定部１１３は、オブジェクト一時管理表の１番目のレコードのオブジェクト識別子「１」を読み出す。そして、当該オブジェクト識別子「１」をキーとして、オブジェクト情報管理表を検索し、オブジェクト識別子「１」と対になる領域情報「（ｘ_１，ｙ_１，ｚ_１）（ｘ_２，ｙ_２，ｚ_２）（ｘ_３，ｙ_３，ｚ_３）（ｘ_４，ｙ_４，ｚ_４）」を取得する。

次に、撮影オブジェクト決定部１１３は、受信された端末情報（Ｘ，Ｙ，Ｚ，θＡ，θＢ，θａ，θｂ）と、取得した領域情報「（ｘ_１，ｙ_１，ｚ_１）（ｘ_２，ｙ_２，ｚ_２）（ｘ_３，ｙ_３，ｚ_３）（ｘ_４，ｙ_４，ｚ_４）」とを用いて、１番目のオブジェクトが、撮影オブジェクトか否かを判断する。

まず、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１」のオブジェクト）の領域情報の中の１番目の点（ｘ_１，ｙ_１，ｚ_１）を取得する。

次に、撮影オブジェクト決定部１１３は、１番目の点（ｘ_１，ｙ_１，ｚ_１）と位置情報（Ｘ，Ｙ，Ｚ）との平面上の角度（θ１１）を算出し、当該角度（θ１１）をバッファに一時記憶する。また、撮影オブジェクト決定部１１３は、１番目の点（ｘ_１，ｙ_１，ｚ_１）と位置情報（Ｘ，Ｙ，Ｚ）との高さ方向の角度（θ１２）を算出し、当該角度（θ１２）をバッファに一時記憶する。同様に、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１」のオブジェクト）の領域情報の中の２番目の点から４番目の各点と位置情報（Ｘ，Ｙ，Ｚ）との平面上の角度（θ１２，θ１３，θ１４）を算出し、当該角度（θ１２，θ１３，θ１４）もバッファに一時記憶する。バッファには、（θ１１，θ１２，θ１３，θ１４）が格納されたことになる。さらに、同様に、撮影オブジェクト決定部１１３は、判断対象となるオブジェクト（オブジェクト識別子「１」のオブジェクト）の領域情報の中の２番目の点から４番目の各点と位置情報（Ｘ，Ｙ，Ｚ）との高さ方向の角度（θ２２，θ２３，θ２４）を算出し、当該角度（θ２２，θ２３，θ２４）もバッファに一時記憶する。バッファには、（θ２１，θ２２，θ２３，θ２４）が格納されたことになる。

次に、撮影オブジェクト決定部１１３は、バッファに一時格納された角度（θ１１，θ１２，θ１３，θ１４）から、平面上の最小角度（例えば、（θ１１））と最大角度（例えば、（θ１４））とを取得する。

また、撮影オブジェクト決定部１１３は、バッファに一時格納された角度（θ２１，θ２２，θ２３，θ２４）から、高さ方向の最大角度（θ２４）を取得する。

次に、撮影オブジェクト決定部１１３は、取得した平面上の最小角度（θ１１）と最大角度（θ１４）の領域すべてが、既に登録されている領域であるか否かを判断する。ここで、撮影オブジェクト決定部１１３は、取得した最小角度（θ１１）と最大角度（θ１４）の領域は、可視領域であると判断した、とする。そして、撮影オブジェクト決定部１１３は、オブジェクト識別子「１」のオブジェクトは、撮影オブジェクトであると判断する。

なお、ここで、例えば、撮影オブジェクト決定部１１３は、取得した平面上の最小角度（θ１１）と最大角度（θ１４）の領域の一部が、既に登録されている領域ではないと判断した場合も、可視領域であると判断する。つまり、撮影オブジェクト決定部１１３は、オブジェクト識別子「１」のオブジェクトが、撮影オブジェクトであると判断する。また、例えば、撮影オブジェクト決定部１１３は、取得した平面上の最小角度（θ１１）と最大角度（θ１４）の領域のすべてが、既に登録されている角度の領域であると判断した場合でも、高さ方向の最大角度（θ２４）が、登録されている高さ方向の最大角度より大きい場合、平面上の最小角度（θ１１）と最大角度（θ１４）の領域において、可視領域であると判断する。つまり、撮影オブジェクト決定部１１３は、オブジェクト識別子「１」のオブジェクトが、撮影オブジェクトであると判断するのである。

次に、撮影オブジェクト決定部１１３は、「θ１１＜＝不可視領域＜＝θ１４」を新たな不可視領域とする。つまり、撮影オブジェクト決定部１１３は、例えば、「０＜＝不可視領域角度＜（θＡ−（θａ／２））」および「（θＡ＋（θａ／２））＜不可視領域角度＜＝３６０」と「θ１１＜＝不可視領域＜＝θ１４」とをマージした平面上の不可視領域角度を記録媒体に登録する。そして、登録されている高さ方向の最大角度が（θ２４）より小さい場合、この平面上の領域に対応付けて、撮影オブジェクト決定部１１３は、高さ方向の最大角度（θ２４）を登録する。

次に、撮影オブジェクト決定部１１３は、１番目のオブジェクトのオブジェクト識別子「１」を図示しない記憶媒体に格納する。
次に、撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在する、と判断した、とする。

以上の処理を、図１８の２番目以降のオブジェクトに対しても行い、撮影オブジェクトを決定する。
そして、撮影オブジェクト情報決定部１１３は、登録されている不可視領域、または可視領域から、可視領域が存在しない、と判断するまで、上記の検査（撮影オブジェクトの決定のための検査）を繰り返す。そして、撮影オブジェクト情報取得部１１５は、撮影オブジェクトのオブジェクト識別子「１」、「３」、「２５」を取得した、とする。そして、撮影オブジェクト情報取得部１１５は、図１９に示す撮影オブジェクト情報管理表を得た、とする。

次に、サーバ送信部１１６は、バッファに一時格納された１以上の撮影オブジェクト情報（図１９に示す撮影オブジェクト情報管理表）を、端末装置１３に送信する。

次に、受信部１３０６は、端末情報の送信に対応して、撮影オブジェクト情報を受信する。

次に、出力部１３０９は、カレントレイヤ格納部１３０１から、「カレントレイヤ＝オブジェクト識別レイヤ」を読み出す。

次に、出力情報取得部１３０８は、受信した撮影オブジェクト情報の中の最も距離が近いオブジェクトの撮影オブジェクト情報（オブジェクト識別子「１」、オブジェクト名「コーヒーショップＡ」、ＵＲＬ「http://www.coffee-A.co.jp」、位置情報（ｘａ，ｙａ）、領域情報「（ｘ_１，ｙ_１，ｚ_１）（ｘ_２，ｙ_２，ｚ_２）（ｘ_３，ｙ_３，ｚ_３）（ｘ_４，ｙ_４，ｚ_４）」、距離「１００ｍ」）を取得する。

そして、出力部１３０９の領域出力手段１３０９２は、この撮影オブジェクトの領域情報「（ｘ_１，ｙ_１，ｚ_１）（ｘ_２，ｙ_２，ｚ_２）（ｘ_３，ｙ_３，ｚ_３）（ｘ_４，ｙ_４，ｚ_４）」から、高さも含めた枠サイズを決定する。

次に、領域出力手段１３０９２は、決定された枠サイズに合致する枠を構成する。そして、領域出力手段１３０９２は、領域情報が示す領域に、構成した枠を出力する。

また、距離出力手段１３０９３は、撮影オブジェクト情報に含まれる距離「１００ｍ」を、枠に対応付けて出力する。かかる出力例を図２７に示す。ここでは、枠は、四角形である。

なお、上記において、端末装置１３からの距離が最も近い撮影オブジェクトの情報のみを出力した。しかし、端末装置１３の最も中央部に存在する撮影オブジェクトの情報のみを出力しても良い。かかる場合、撮影オブジェクト情報は、撮影オブジェクトの方向情報（最大の角度と最小の角度の真ん中の角度（平均））を有することとなる。そして、撮影オブジェクトの方向情報と、端末情報が有する方向情報との差異が最も小さい撮影オブジェクトが選択され、かかる撮影オブジェクトの情報が出力される。さらに、領域出力手段１３０９２は、すべての撮影オブジェクトの情報を出力しても良いことは言うまでもない。かかる場合の出力例を図２８に示す。図２８において、距離が最も近い（または最も中央寄りの）撮影オブジェクトの距離のみが出力されているが、すべての撮影オブジェクトの距離を出力しても良いことは言うまでもない。

以降の処理は、具体例１で説明した処理と同様で良い。

以上、本実施の形態によれば、カメラで撮影しているオブジェクトを認識し、かかるオブジェクトに関連する情報を出力することができる。したがって、ユーザは、自分の目で見ている建物やランドマークや公園などの情報を非常に簡単に得ることができる。
また、本実施の形態によれば、撮影オブジェクトを検知する処理を適切に打ち切ることにより、高速な処理が可能となる。そのために、端末装置はナビゲーションシステムにも利用できる。

また、本実施の形態によれば、オブジェクトの高さをも考慮するので、例えば、ある建物の後ろに見えている建物の情報も得ることができる。

また、本実施の形態によれば、出力されるオブジェクトの情報は、カメラ上の表示領域（枠）の大きさに合わせて縮小、拡大されるので、オブジェクトのサイズが一目瞭然に分かる。

また、本実施の形態によれば、カメラからオブジェクトまでの距離を算出し、出力するので、カメラで撮影しているオブジェクトまでの距離が容易に把握でき、そこまで行くべきか否かなど、次の行動の支援になる。

また、本実施の形態によれば、オブジェクトの高さ情報を管理していない場合でも、カメラで撮影しているオブジェクトを認識し、かかるオブジェクトに関連する情報を出力することができる。

また、本実施の形態によれば、オブジェクト関連情報を、ウェブサーバ装置から取得し、出力することにより、オブジェクトの適切な情報を得ることができる。

また、本実施の形態によれば、２画面のうちの１画面にオブジェクト関連情報が出力されることにより、カメラの映像を邪魔せずに、ユーザは、オブジェクト関連情報を見ることができる。

また、本実施の形態によれば、複数のオブジェクトのうち、一のオブジェクトを選択して、当該選択されたオブジェクトの情報を画面上に出力することにより、多数のオブジェクトが画面上に存在する場合でも、ユーザが欲するオブジェクトの情報を得ることができる。

さらに、本実施の形態によれば、画面上の映像を固定することにより、オブジェクト関連情報を得たい場合に、ユーザは楽な姿勢で、端末装置１３を操作できる。

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。また、このソフトウェアまたは、このソフトウェアを記録した記録媒体は、コンピュータプログラム製品として流通しても良いことは言うまでもない。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるサーバ装置１１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納しており、コンピュータを、前記端末装置から、当該端末装置の位置を示す位置情報と当該端末装置が向いている方向を示す方向情報とを有する端末情報を受信するサーバ受信部と、前記端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されているまたは前記端末情報が有する視野角とを、前記記憶媒体の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記記憶媒体から取得する撮影オブジェクト情報取得部と、前記撮影オブジェクト情報を、前記端末装置に送信するサーバ送信部として機能させるためのプログラム、である。

また、上記プログラムにおいて、前記領域情報は、地図上での二次元の領域を示す二次元領域情報とオブジェクトの高さを示す高さ情報を有し、前記撮影オブジェクト決定部は、前記端末情報が有する位置情報および方向情報と、予め格納されているまたは前記端末情報が有する視野角とを用いて、三次元空間上での撮影領域を取得し、当該撮影領域を、前記記憶媒体の各オブジェクト情報が有する領域情報に対して適用し、前記端末装置が撮影している１以上のオブジェクトを決定することは好適である。

また、上記プログラムにおいて、前記撮影オブジェクト決定部が決定した各オブジェクトと前記端末装置との距離を、前記各オブジェクトのオブジェクト情報と前記端末情報が有する位置情報とから、前記撮影オブジェクト決定部が決定したオブジェクトごとに算出する距離算出部をさらに具備し、前記撮影オブジェクト情報取得部は、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む情報を前記記憶媒体から取得し、当該領域情報を含む情報と前記距離算出部が算出した距離とを含む１以上の撮影オブジェクト情報を構成することは好適である。

また、上記プログラムにおいて、前記撮影オブジェクト決定部は、前記カメラ部が撮影している映像の中で最も近い位置に存在するオブジェクトの撮影オブジェクト、または前記カメラ部が撮影している映像の中で最も中央寄りに位置するオブジェクトの撮影オブジェクト、または前記カメラ部が撮影している映像の中で最も大きい領域を有するオブジェクトの撮影オブジェクトを決定することは好適である。

また、上記プログラムにおいて、前記サーバ送信部は、前記撮影オブジェクト情報を、前記端末装置または前記1以上のいずれかのウェブサーバ装置に送信ことは好適である。なお、サーバ送信部が撮影オブジェクト情報を、1以上のいずれかのウェブサーバ装置に送信する場合、オブジェクト関連情報は、ウェブサーバ装置から（直接または間接的に）端末装置に送信される。

本実施の形態における端末装置１３を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、映像を取得するカメラ部と、前記カメラ部が取得した映像を出力するカメラ映像出力手段を具備する出力部と、前記端末情報取得部が取得した端末情報を前記サーバ装置に送信する送信部と、前記端末情報の送信に対応して、前記１以上の撮影オブジェクト情報を受信する受信部と、前記受信部が受信した１以上の撮影オブジェクト情報が有する１以上の領域情報を含む出力情報を取得する出力情報取得部とを具備し、前記出力部は、前記出力部が出力している映像に重ねて、前記出力情報取得部が取得した１以上の出力情報に含まれる領域情報を出力する領域出力手段を具備するものとして機能させるためのプログラム、である。

また、上記プログラムにおいて、前記領域出力手段は、前記出力情報取得部が取得した１以上の出力情報に含まれる領域情報に対応する大きさの領域を、他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力することは好適である。

また、上記プログラムにおいて、前記出力情報取得部は、前記受信部が受信した撮影オブジェクト情報が有する１以上の領域情報と1以上の距離とを含む出力情報を取得し、前記出力部は、前記出力情報取得部が取得した１以上の出力情報に含まれる距離を出力する距離出力手段をさらに具備することは好適である。

また、上記プログラムにおいて、前記領域出力手段は、前記出力情報取得部が取得した１以上の出力情報に含まれる距離が大きいほど、当該距離に対応するオブジェクトの領域を小さくして出力することは好適である。

また、上記プログラムにおいて、オブジェクト関連情報を受信するオブジェクト関連情報受信部をさらに具備し、前記出力部は、前記オブジェクト関連情報受信部が受信したオブジェクト関連情報を出力するオブジェクト関連情報出力手段をさらに具備することは好適である。

また、上記プログラムにおいて、２つの分離された表示部である第一表示手段および第二表示手段を具備し、前記カメラ映像出力手段は、前記カメラ部が取得した映像を、前記第一表示手段に表示し、前記オブジェクト関連情報出力手段は、前記オブジェクト関連情報受信部が受信したオブジェクト関連情報を、前記第二表示手段に表示することは好適である。

また、上記プログラムにおいて、前記領域出力手段は、他のオブジェクトの領域情報は出力せず、一のオブジェクトの領域情報のみを他の領域情報と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力することは好適である。

また、上記プログラムにおいて、前記オブジェクト関連情報出力手段は、他のオブジェクトのオブジェクト関連情報は出力せず、一のオブジェクトのオブジェクト関連情報のみを出力することは好適である。

また、上記プログラムにおいて、ユーザの指示を受け付ける第一受付手段と、前記受付部が指示を受け付けた場合、前記出力部が出力中の映像と領域を固定する出力固定部とをさらに具備することは好適である。

また、上記プログラムにおいて、前記撮影オブジェクト情報は、オブジェクト識別子を含み、前記固定された領域に対する入力を受け付ける第二受付手段と、前記第二受付手段で受け付けた入力に対応する領域に対するオブジェクト識別子を取得するオブジェクト識別子取得部と、前記オブジェクト識別子取得部が取得したオブジェクト識別子を前記1以上のウェブサーバ装置のいずれかに送信するオブジェクト識別子送信部とをさらに具備し、前記オブジェクト関連情報受信部は、前記オブジェクト識別子の送信に対応して、オブジェクト関連情報を受信し、前記オブジェクト識別子の送信は、前記外部からの指示により行われることは好適である。

また、記憶媒体に、前記カメラ部が取得した映像を出力するレイヤであるカメラレイヤ、オブジェクトに対応する領域を出力するレイヤであるオブジェクト識別レイヤ、オブジェクト関連情報を出力するレイヤであるウェブサーチレイヤを含む複数のレイヤのうちの、現在のレイヤであるカレントレイヤを格納しており、上記プログラムにおいて、カレントレイヤを設定する入力を受け付ける第三受付手段と、前記第三受付手段で受け付けた入力に従って、前記記憶媒体のカレントレイヤを変更するカレントレイヤ変更部とをさらに具備し、前記カレントレイヤがカメラレイヤである場合、前記カメラ映像出力手段は前記カメラ部が取得した映像を出力し、前記カレントレイヤがオブジェクト識別レイヤである場合、前記カメラ映像出力手段は前記カメラ部が取得した映像を出力し、かつ、前記領域出力手段は前記領域を他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力し、前記カレントレイヤがウェブサーチレイヤである場合、前記カメラ映像出力手段は前記カメラ部が取得した映像を出力し、かつ、前記領域出力手段は前記領域を他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力し、かつ、前記オブジェクト関連情報出力手段は前記オブジェクト関連情報を出力することは好適である。

また、端末装置１３を実現するソフトウェアは、以下のようなプログラムでも良い。つまり、このプログラムは、コンピュータを、当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、映像を取得するカメラ部と、前記カメラ部が取得した映像を出力するカメラ映像出力手段を具備する出力部と、前記端末情報取得部が取得した端末情報を前記サーバ装置に送信する送信部と、前記端末情報の送信に対応して、前記撮影オブジェクト情報を受信する受信部と、前記受信部が受信した撮影オブジェクト情報を出力する出力部とを具備するものとして機能させるためのプログラム、である。

（実施の形態２）
本実施の形態において、端末装置がスタンドアロンで動作する場合について説明する。なお、端末装置は、必要に応じて、ウェブサーバ装置にアクセスする、とする。

図２９は、情報システム２の概念図である。情報システム２は、ウェブサーバ装置１２、端末装置２３を具備する。端末装置２３は、１画面のディスプレイを有する端末でも、多画面のディスプレイを有する端末でも良い。端末装置２３は、カメラ機能を有し、外部の風景、建物などを撮影している際に、撮影した映像内のオブジェクト（建物など）の領域や、オブジェクトに関連する情報などを出力できる。また、ウェブサーバ装置１２、および端末装置２３は、通常、通信可能である。

図３０は、本実施の形態における情報システム２のブロック図である。 端末装置２３は、オブジェクト情報格納部１１１、撮影オブジェクト決定部１１３、距離算出部１１４、撮影オブジェクト情報取得部１１５、カレントレイヤ格納部１３０１、受付部１３０２、端末情報取得部１３０３、カメラ部１３０４、オブジェクト関連情報受信部１３０７、出力情報取得部１３０８、出力部１３０９、カレントレイヤ変更部１３１０、出力固定部１３１１、オブジェクト識別子取得部１３１２、オブジェクト識別子送信部１３１３、表示部１３１４を具備する。

次に、情報システム２を構成する端末装置２３の動作について、図３１のフローチャートを用いて説明する。図３１のフローチャートにおいて、既に説明したフローチャートに出現していないステップについてのみ説明する。

（ステップＳ３１０１）撮影オブジェクト情報取得部１１５は、ｉ番目の撮影オブジェクトの領域情報を含む情報をオブジェクト情報格納部１１１から取得する。そして、撮影オブジェクト情報取得部１１５は、既に算出されているｉ番目の撮影オブジェクトの距離を取得する。次に、撮影オブジェクト情報取得部１１５は、オブジェクト情報格納部１１１から取得したｉ番目の撮影オブジェクトの情報と、距離を有する撮影オブジェクト情報を構成する。

なお、図３１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以下、本実施の形態における情報システム２の具体的な動作は、情報システム１の動作と同様である。なお、情報システム２において、言うまでもなく、端末装置とサーバ装置は通信せず、端末装置２３がスタンドアロンで、カメラで撮影しているオブジェクトを認識する。そして、端末装置２３は、カメラで撮影しているオブジェクトに関連する情報を、ウェブサーバ装置１２から取得して出力できる。

つまり、端末装置２３は、オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、前記端末情報取得部が取得した端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されている視野角とを、前記オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、映像を取得するカメラ部と、前記カメラ部が取得した映像を出力するカメラ映像出力手段と、前記映像に重ねて、前記１以上の撮影オブジェクト情報に含まれる領域情報を出力する領域出力手段とを具備する出力部とを具備する端末装置である。また、かかる撮影オブジェクト情報決定部は、端末装置２３からの距離が近い順にオブジェクトを検査し、端末装置２３が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了することは好適である。

また、端末装置２３は、オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、前記端末情報取得部が取得した端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されている視野角とを、前記オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、オブジェクト識別子を含む１以上の撮影オブジェクト情報を、前記オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、映像を取得するカメラ部と、前記カメラ部が取得した映像を出力し、前記１以上の撮影オブジェクト情報を出力する出力部とを具備する端末装置でも良い。また、かかる撮影オブジェクト情報決定部は、端末装置２３からの距離が近い順にオブジェクトを検査し、端末装置２３が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了することは好適である。

以上、本実施の形態によれば、カメラで撮影しているオブジェクトを認識し、かかるオブジェクトに関連する情報を出力することができる。
また、本実施の形態によれば、撮影オブジェクトを検知する処理を適切に打ち切ることにより、高速な処理が可能となる。そのために、端末装置はナビゲーションシステムにも利用できる。

また、本実施の形態によれば、サーバ装置との通信は不要であるので、高速にカメラで撮影している映像内のオブジェクトに対して、適切な情報を表示できる。

さらに、本実施の形態における端末装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納しており、コンピュータを、当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、前記端末情報取得部が取得した端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されている視野角とを、前記記憶媒体の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記記憶媒体から取得する撮影オブジェクト情報取得部と、映像を取得するカメラ部と、前記カメラ部が取得した映像を出力するカメラ映像出力手段と、前記映像に重ねて、前記１以上の撮影オブジェクト情報に含まれる領域情報を出力する領域出力手段とを具備する出力部とを具備するものとして機能させるためのプログラム、である。

また、上記プログラムにおいて、前記領域情報は、地図上での二次元の領域を示す二次元領域情報とオブジェクトの高さを示す高さ情報を有し、前記撮影オブジェクト決定部は、前記端末情報が有する位置情報および方向情報と、予め格納されている視野角とを用いて、三次元空間上での撮影領域を取得し、当該撮影領域を、前記記憶媒体の各オブジェクト情報が有する領域情報に対して適用し、前記端末装置が撮影している１以上のオブジェクトを決定することは好適である。

また、上記プログラムにおいて、前記領域出力手段は、前記出力情報取得部が取得した１以上の出力情報に含まれる領域情報に対応する大きさの領域を、他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力することは好適である。

また、上記プログラムにおいて、前記撮影オブジェクト決定部が決定した各オブジェクトと前記端末装置との距離を、前記各オブジェクトのオブジェクト情報と前記端末情報が有する位置情報とから、前記撮影オブジェクト決定部が決定したオブジェクトごとに算出する距離算出部をさらに具備し、前記撮影オブジェクト情報取得部は、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む情報を前記記憶媒体から取得し、当該領域情報を含む情報と前記距離算出部が算出した距離とを含む１以上の撮影オブジェクト情報を構成することは好適である。

また、上記プログラムにおいて、前記出力部は、前記１以上の撮影オブジェクト情報に含まれる距離を出力する距離出力手段をさらに具備することは好適である。

また、上記プログラムにおいて、前記領域出力手段は、前記１以上の撮影オブジェクト情報に含まれる距離が大きいほど、当該距離に対応するオブジェクトの領域を小さくして出力することは好適である。

また、上記プログラムにおいて、外部の装置からオブジェクト関連情報を受信するオブジェクト関連情報受信部をさらに具備し、前記出力部は、前記オブジェクト関連情報受信部が受信したオブジェクト関連情報を出力するオブジェクト関連情報出力手段をさらに具備することは好適である。

また、上記プログラムにおいて、前記端末装置は、２つの分離された表示部である第一表示手段および第二表示手段を具備し、前記カメラ映像出力手段は、前記カメラ部が取得した映像を、前記第一表示手段に表示し、前記オブジェクト関連情報出力手段は、前記オブジェクト関連情報受信部が受信したオブジェクト関連情報を、前記第二表示手段に表示することは好適である。

また、上記プログラムにおいて、前記領域出力手段は、他のオブジェクトの領域情報は出力せず、一のオブジェクトの領域情報のみを他の領域情報と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力することは好適である。

また、上記プログラムにおいて、前記オブジェクト関連情報出力手段は、他のオブジェクトのオブジェクト関連情報は出力せず、一のオブジェクトのオブジェクト関連情報のみを出力することは好適である。

また、上記プログラムにおいて、前記撮影オブジェクト決定部は、前記カメラ部が撮影している映像の中で最も近い位置に存在するオブジェクトの撮影オブジェクト、または前記カメラ部が撮影している映像の中で最も中央寄りに位置するオブジェクトの撮影オブジェクト、または前記カメラ部が撮影している映像の中で最も大きい領域を有するオブジェクトの撮影オブジェクトを決定することは好適である。

また、上記プログラムにおいて、ユーザの指示を受け付ける第一受付手段と、前記受付部が指示を受け付けた場合、前記出力部が出力中の映像と領域を固定する出力固定部とをさらに具備することは好適である。

また、上記プログラムにおいて、前記撮影オブジェクト情報は、オブジェクト識別子を含み、前記固定された領域に対する入力を受け付ける第二受付手段と、前記第二受付手段で受け付けた入力に対応する領域に対するオブジェクト識別子を取得するオブジェクト識別子取得部と、前記オブジェクト識別子取得部が取得したオブジェクト識別子を前記1以上のウェブサーバ装置のいずれかに送信するオブジェクト識別子送信部とをさらに具備し、前記オブジェクト関連情報受信部は、前記オブジェクト識別子の送信に対応して、オブジェクト関連情報を受信し、前記オブジェクト識別子の送信は、前記外部からの指示により行われることは好適である。

また、上記プログラムにおいて、記憶媒体に、前記カメラ部が取得した映像を出力するレイヤであるカメラレイヤ、オブジェクトに対応する領域を出力するレイヤであるオブジェクト識別レイヤ、オブジェクト関連情報を出力するレイヤであるウェブサーチレイヤを含む複数のレイヤのうちの、現在のレイヤであるカレントレイヤを格納しており、カレントレイヤを設定する入力を受け付ける第三受付手段と、前記第三受付手段で受け付けた入力に従って、前記記憶媒体のカレントレイヤを変更するカレントレイヤ変更部とをさらに具備し、前記カレントレイヤがカメラレイヤである場合、前記カメラ映像出力手段は前記カメラ部が取得した映像を出力し、前記カレントレイヤがオブジェクト識別レイヤである場合、前記カメラ映像出力手段は前記カメラ部が取得した映像を出力し、かつ、前記領域出力手段は前記領域を他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力し、前記カレントレイヤがウェブサーチレイヤである場合、前記カメラ映像出力手段は前記カメラ部が取得した映像を出力し、かつ、前記領域出力手段は前記領域を他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力し、かつ、前記オブジェクト関連情報出力手段は前記オブジェクト関連情報を出力することは好適である。

また、本実施の形態における端末装置２３を実現するソフトウェアは、以下のようなプログラムでも良い。つまり、このプログラムは、記憶媒体に、オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納しており、コンピュータを、端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、前記端末情報取得部が取得した端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されている視野角とを、前記記憶媒体の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、オブジェクト識別子を含む１以上の撮影オブジェクト情報を、前記記憶媒体から取得する撮影オブジェクト情報取得部と、映像を取得するカメラ部と、前記カメラ部が取得した映像を出力し、前記１以上の撮影オブジェクト情報を出力する出力部とを具備するものとして機能させるためのプログラム、である。

なお、本明細書において、端末装置は、２画面を有する装置であった。しかし、端末装置は、例えば、図３２に示すように、１画面の装置でも良いことはいうまでもない。また、図３２において、端末装置は、カメラ付きのＵＭＰＣ（Ｕｌｔｒａ−Ｍｏｂｌｅ ＰＣ）である。また、端末装置は、擬似シースルースクリーン（Ｐｓｅｕｄｏ Ｓｅｅ−ｔｈｏｕｇｈ Ｓｃｒｅｅｎ（ｔｏｕｃｈａｂｌｅ））を有する。また、端末装置は、加速度計（Ａｃｃｅｌｅｒｏｍｅｔｅｒ）を具備する。さらに、端末装置は、ＧＰＳ受信機を具備する。

また、本明細書において、図３３に示すような方法で、カメラが撮影している映像に含まれる地理オブジェクトが認識された。つまり、カメラの位置（ｖｉｅｗ−ｐｏｉｎｔ）から、カメラの視野角（ｖｉｅｗ−ａｎｇｌｅ）と、カメラの方向情報（ｖｉｅｗ−ｄｉｒｅｃｔｉｏｎ）とを用いて、全領域を可視領域（ｔａｒｇｅｔ−ｆｉｅｌｄ）と不可視領域（ｎｏ−ｄｉｓｔａｎｃｅ ｓｐｅｓｉｆｉｅｄ）とに分割される。そして、ｖｉｅｗ−ｐｏｉｎｔから近いオブジェクトについて検査され、撮影オブジェクトが決定された。その際、既に撮影オブジェクトと決定された領域を不可視領域に追加していきながら検査が行なわれた。図３３において、まず、オブジェクト３３０３が撮影オブジェクトに決定される。そして、オブジェクト３３０３により不可視領域に入るオブジェクト３３０４、３３０５は撮影オブジェクトとはならない。次に、オブジェクト３３０６が撮影オブジェクトに決定される。つまり、図３３において、オブジェクト３３０３と３３０６が撮影オブジェクトに決定される。また、上述したように、登録されている不可視領域、または可視領域から、可視領域が存在するか否かを判断し、可視領域が存在しないと判断した場合に、映像に含まれる地理オブジェクトの認識処理を中止した。

また、本明細書において、端末装置は、車載用であっても良い、つまり、例えば、端末装置は、いわゆるナビゲーション端末であっても良い。

また、図３４は、本明細書で述べたプログラムを実行して、上述した実施の形態の情報システム等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図３４は、このコンピュータシステム３４０の概観図であり、図３５は、コンピュータシステム３４０の内部構成を示す図である。

図３４において、コンピュータシステム３４０は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２を含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。

図３５において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３４０に、上述した実施の形態の情報システム等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３４１に、上述した実施の形態の情報システム等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段（サーバ受信部、サーバ送信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる情報システムは、カメラで撮影したオブジェクトを認識し、かかるオブジェクトに関連する情報を出力することができる、という効果を有し、情報システム等として有用である。

実施の形態１における情報システム１の概念図 同情報システムのブロック図 同端末装置のブロック図 同サーバ装置の動作について説明するフローチャート 同端末装置の動作について説明するフローチャート 同オブジェクトソート処理の動作について説明するフローチャート 同可視判断処理の動作について説明するフローチャート 同可視判断処理の動作について説明するフローチャート 同端末装置の動作について説明するフローチャート 同撮影オブジェクト情報出力処理の動作について説明するフローチャート 同オブジェクト関連情報出力処理の動作について説明するフローチャート 同情報システム１の処理の概念を示す図 同レイヤについて説明する図 同オブジェクト情報管理表を示す図 同オブジェクト関連情報の例を示す図 同カメラレイヤの場合の端末装置の出力例を示す図 同可視領域の判断の概念図 同オブジェクト一時管理表を示す図 同撮影オブジェクト情報管理表を示す図 同端末装置の出力例を示す図 同端末装置の出力例を示す図 同端末装置の出力例を示す図 同端末装置の出力例を示す図 同端末装置の出力例を示す図 同オブジェクト情報管理表を示す図 同三次元の視野角について説明する図 同端末装置の出力例を示す図 同端末装置の出力例を示す図 実施の形態２における情報システム２の概念図 同端末装置のブロック図 同端末装置の動作について説明するフローチャート 同端末装置の構成、外観を示す図 同撮影オブジェクトの決定方法を説明する図 同コンピュータシステムの概観図 同コンピュータシステムの内部構成を示す図

Claims (12)

1. サーバ装置と端末装置とを具備する情報システムであって、
   前記サーバ装置は、
   オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、
   前記端末装置から、当該端末装置の位置を示す位置情報と当該端末装置が向いている方向を示す方向情報とを有する端末情報を受信するサーバ受信部と、
   前記端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されているまたは前記端末情報が有する視野角とを、前記オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、
   前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、
   前記撮影オブジェクト情報を、前記端末装置に送信するサーバ送信部とを具備し、
   前記端末装置は、
   当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、
   映像を取得するカメラ部と、
   前記カメラ部が取得した映像を出力するカメラ映像出力手段を具備する出力部と、
   前記端末情報取得部が取得した端末情報を前記サーバ装置に送信する送信部と、
   前記端末情報の送信に対応して、前記１以上の撮影オブジェクト情報を受信する受信部と、
   前記受信部が受信した１以上の撮影オブジェクト情報が有する１以上の領域情報を含む出力情報を取得する出力情報取得部とを具備し、
   前記出力部は、
   前記出力部が出力している映像に重ねて、前記出力情報取得部が取得した１以上の出力情報に含まれる領域情報を出力する領域出力手段を具備し、
   前記撮影オブジェクト情報決定部は、
   前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了する情報システム。
2. 前記領域情報は、地図上での二次元の領域を示す二次元領域情報とオブジェクトの高さを示す高さ情報を有し、
   前記撮影オブジェクト決定部は、
   前記端末情報が有する位置情報および方向情報と、予め格納されているまたは前記端末情報が有する視野角とを用いて、三次元空間上での撮影領域を取得し、当該撮影領域を、前記オブジェクト情報格納部の各オブジェクト情報が有する領域情報に対して適用し、前記端末装置が撮影している１以上のオブジェクトを決定し、かつ、
   前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了する請求項１記載の情報システム。
3. 前記領域出力手段は、
   前記出力情報取得部が取得した１以上の出力情報に含まれる領域情報に対応する大きさの領域を、他の領域と視覚的に区別可能なように、前記出力部が出力している映像に重ねて出力する請求項１または請求項２記載の情報システム。
4. 前記サーバ装置は、
   前記撮影オブジェクト決定部が決定した各オブジェクトと前記端末装置との距離を、前記各オブジェクトのオブジェクト情報と前記端末情報が有する位置情報とから、前記撮影オブジェクト決定部が決定したオブジェクトごとに算出する距離算出部をさらに具備し、
   前記撮影オブジェクト情報取得部は、
   前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む情報を前記オブジェクト情報格納部から取得し、当該領域情報を含む情報と前記距離算出部が算出した距離とを含む１以上の撮影オブジェクト情報を構成する請求項１または請求項２記載の情報システム。
5. 前記出力情報取得部は、
   前記受信部が受信した撮影オブジェクト情報が有する１以上の領域情報と１以上の距離とを含む出力情報を取得し、
   前記出力部は、
   前記出力情報取得部が取得した１以上の出力情報に含まれる距離を出力する距離出力手段をさらに具備する請求項４記載の情報システム。
6. １以上のウェブサーバ装置をさらに具備し、
   前記ウェブサーバ装置は、
   オブジェクトに関する情報であるオブジェクト関連情報を格納し得るオブジェクト関連情報格納部と、
   外部からの指示に応じて、オブジェクト関連情報を取得するオブジェクト関連情報取得部と、
   前記オブジェクト関連情報を送信するオブジェクト関連情報送信部とを具備し、
   前記端末装置は、
   オブジェクト関連情報を受信するオブジェクト関連情報受信部をさらに具備し、
   前記出力部は、
   前記オブジェクト関連情報受信部が受信したオブジェクト関連情報を出力するオブジェクト関連情報出力手段をさらに具備する請求項１または請求項２記載の情報システム。
7. オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納し得るオブジェクト情報格納部と、
   端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、
   前記端末情報取得部が取得した端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されている視野角とを、前記オブジェクト情報格納部の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、
   前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記オブジェクト情報格納部から取得する撮影オブジェクト情報取得部と、
   映像を取得するカメラ部と、
   前記カメラ部が取得した映像を出力するカメラ映像出力手段と、前記映像に重ねて、前記１以上の撮影オブジェクト情報に含まれる領域情報を出力する領域出力手段とを具備する出力部とを具備し、
   前記撮影オブジェクト情報決定部は、
   前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了する端末装置。
8. 前記領域情報は、地図上での二次元の領域を示す二次元領域情報とオブジェクトの高さを示す高さ情報を有し、
   前記撮影オブジェクト決定部は、
   前記端末情報が有する位置情報および方向情報と、予め格納されている視野角とを用いて、三次元空間上での撮影領域を取得し、当該撮影領域を、前記オブジェクト情報格納部の各オブジェクト情報が有する領域情報に対して適用し、前記端末装置が撮影している１以上のオブジェクトを決定し、かつ、
   前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了する請求項７記載の端末装置。
9. 請求項１から請求項６いずれか記載の情報システムを構成する端末装置。
10. 請求項１から請求項６いずれか記載の情報システムを構成するサーバ装置。
11. 記録媒体に、
    オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納しており、
    端末情報取得部、撮影オブジェクト決定部、撮影オブジェクト情報取得部、カメラ部、および出力部により実現される情報処理方法であって、
    前記端末情報取得部により、当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得ステップと、
    前記撮影オブジェクト決定部により、前記端末情報取得ステップで取得された端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されているまたは前記端末情報が有する視野角とを、前記記録媒体の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定ステップと、
    前記撮影オブジェクト情報取得部により、前記撮影オブジェクト決定ステップで決定された１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記記録媒体から取得する撮影オブジェクト情報取得部と、
    前記カメラ部により、映像を取得するカメラステップと、
    前記出力部により、前記カメラステップで取得された映像を出力し、前記映像に重ねて、前記１以上の撮影オブジェクト情報に含まれる領域情報を出力する出力テップとを具備し、
    前記撮影オブジェクト情報決定ステップにおいて、
    前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了する情報処理方法。
12. 記録媒体に、
    オブジェクトを識別するオブジェクト識別子と、当該オブジェクトが存在する領域を示す領域情報とを有するオブジェクト情報を、１以上格納しており、
    コンピュータを、
    当該端末装置の位置を示す位置情報と、当該端末装置が向いている方向を示す方向情報とを有する端末情報を取得する端末情報取得部と、
    前記端末情報取得部が取得した端末情報が有する位置情報と、前記端末情報が有する方向情報と、予め格納されているまたは前記端末情報が有する視野角とを、前記記録媒体の各オブジェクト情報の領域情報に適用し、前記端末装置が撮影している１以上のオブジェクトを決定する撮影オブジェクト決定部と、
    前記撮影オブジェクト決定部が決定した１以上の各オブジェクトに対応する１以上のオブジェクト情報のうち、領域情報を含む１以上の撮影オブジェクト情報を、前記記録媒体から取得する撮影オブジェクト情報取得部と、
    映像を取得するカメラ部と、
    前記カメラ部が取得した映像を出力し、前記映像に重ねて、前記１以上の撮影オブジェクト情報に含まれる領域情報を出力する出力部として機能させるためのプログラムであり、
    前記撮影オブジェクト情報決定部を、
    前記端末装置からの距離が近い順にオブジェクトを検査し、前記端末装置が撮影しているとして先に決定したオブジェクトの撮影により不可視となる領域の情報を不可視領域として登録していき、可視領域がなくなった場合に、オブジェクトが前記端末装置に撮影されているか否かの検査を終了するものとして機能させるためのプログラム。

Images