JP6586819B2 - 画像管理システム、画像通信システム、画像管理方法、及びプログラム - Google Patents

Description

本発明は、画像管理システム、画像通信システム、画像管理方法、及びプログラムに関するものである。

近年、一度の撮影で、３６０°の全天球パノラマ画像を得る特殊なデジタルカメラが提供されている（特許文献１参照）。

このデジタルカメラは、全天球パノラマ画像を得るが、そのままでは画像が湾曲して利用者が見えづらいため、スマートフォン等が全天球パノラマ画像の一部である所定領域画像を表示することで、利用者は従来のデジタルカメラで撮影された画像と同じ平面画像を閲覧することができる。

しかしながら、閲覧者が、複数の全天球パノラマ画像データにおいて類似画像を閲覧する場合、全天球パノラマ画像をスクロールして、類似画像を探し出す必要があるため、探し出す手間が掛かるという課題が生じる。

請求項１に係る発明は、複数の全天球パノラマ画像のデータを記憶する記憶手段と、通信端末から所定の全天球パノラマ画像の一部の注目領域を示す注目領域情報を受信する受信手段と、前記注目領域情報で示される注目領域画像に基づき、前記記憶手段に記憶されている他の全天球パノラマ画像のデータに対して類似画像検索を行なう類似画像検索手段と、前記類似画像検索によって類似画像が存在した場合には、前記複数の他の全天球パノラマ画像のうち前記類似画像が含まれている全天球パノラマ画像のデータを識別するための画像識別情報、及び当該全天球パノラマ画像における前記類似画像の領域を示す特定領域情報を、前記通信端末に送信する送信手段と、を有することを特徴とする画像管理システムである。

以上説明したように本発明によれば、複数の全天球パノラマ画像データにおいて、類似画像を閲覧することができるため、全天球パノラマ画像をスクロールして、類似画像を探し出す手間を省くことができる。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図４の立体斜視図、（ｂ）はディスプレイに所定領域の画像が表示された通信端末を示す図である。 所定領域情報と所定領域画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末３のハードウェア構成図である。 画像管理システム及び通信端末７のハードウェア構成図である。 画像データの登録及び取得の処理の概略を示した図である。 画像管理テーブルを示す概念図である。 関連情報管理テーブルを示す概念図である。 レイアウト管理テーブルを示す概念図である。 類似画像管理テーブルを示す概念図である。 撮影状況を示した概念図である。 撮影画像データの登録の処理を示したシーケンス図である。 通信端末３の画面例を示す図である。 通信端末３の画面例を示す図である。 通信端末３の画面例を示す図である。 通信端末３の画面例を示す図である。 撮影画像データの閲覧の処理を示したシーケンス図である。 通信端末７の画面例を示す図である。 通信端末７の画面例を示す図である。 通信端末７の画面例を示す図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮影装置１の正面側には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球パノラマ画像が、３次元の立体球ＣＳで表わされている。このように生成された全天球パノラマ画像が、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球パノラマ画像の中心に位置し、この中心から上下左右の回転と、この中心からの視点での回転(ROLL)の３軸の回転を行うことができる。全天球パノラマ画像における所定領域Ｔは、この全天球パノラマ画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、座標ｘ(rH)、座標ｙ(rV)、及び画角α(angle)によって示される。また、所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。

そして、図６（ａ）で示されているように、全天球パノラマ画像における所定領域Ｔの画像は、図６（ｂ）に示されているように、所定のディスプレイに、所定領域画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報（ｘ，ｙ，α）＝（０，０，３４）によって表された画像である。

ここで、図７を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される三角関数が成り立つ。

Ｌｆ＝ｔａｎ（α／２）・・・（式１）
＜画像通信システムの概略＞
続いて、図８を用いて、本実施形態の画像通信システムの構成の概略について説明する。図８は、本実施形態の画像通信システムの構成の概略図である。

図８に示されているように、本実施形態の画像通信システムは、撮影装置１、通信端末３、画像管理システム５、及び通信端末７によって構成されている。

このうち、撮影装置１は、上述のように、全天球パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置１は、一般的なデジタルカメラであっても良く、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末３は、ＷｉＦｉ等の無線通信技術を利用し、撮影装置１とデータ通信すると共に、通信ネットワーク９を介して画像管理システム５とデータ通信を行なうことができる。なお、通信ネットワーク９は、例えば、インターネットである。

また、画像管理システム５は、例えば、サーバコンピュータであり、通信ネットワーク９を介して、通信端末３，５とデータ通信を行なうことができる。画像管理システム５には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。また、画像管理システム５は、全天球パノラマ画像の一部の領域を示す所定領域情報（又は、この所定領域情報で示される画像である所定領域画像を作成し、通信端末７に撮影画像データ及び所定領域情報（又は所定領域画像）を提供する。なお、画像管理システム５は、所定領域情報（又は所定領域画像）ではなく、後述の類似画像の領域を示す特定領域情報（又は、この特定領域情報で示される画像である特定領域画像）を提供することもできる。

また、通信端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理システム５とデータ通信を行なうことができる。なお、画像管理システム５は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。

更に、撮影装置１及び通信端末３は、アパート等の各工事拠点で撮影者Ｘによって利用される。通信端末７は、各工事拠点を統括及び遠隔的に監督する本社等に設置され、閲覧者Ｙによって利用される。画像管理システム５は、各拠点の通信端末３から送られて来た撮影画像データを通信端末７に提供するサービスを行なうサービス会社等に設置されている。

＜実施形態のハードウェア構成＞
次に、図９乃至図１１を用いて、本実施形態の撮影装置１、通信端末３，７、及び画像管理システム５のハードウェア構成を詳細に説明する。

まず、図９を用いて、撮影装置１のハードウェア構成を説明する。なお、図９は、撮影装置のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全方位撮影装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

次に、図１０を用いて、通信端末３のハードウェア構成を説明する。図１０は、通信端末３のハードウェア構成図である。図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種加速度・方位センサ３０６、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ３０８を備えている。そして、メディアドライブ３０８の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア３０７が着脱自在な構成となっている。

なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。

更に、通信端末３は、音声を音声信号に変換する音声入力部３１１、音声信号を音声に変換する音声出力部３１２、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、最寄の基地局等と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどのディスプレイ３１５、このディスプレイ３１５上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ３１５上におけるタッチ位置を検出するタッチパネル３１６、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、音声入力部３１１は、音声を入力するマイクが含まれ、音声出力部３１２には、音声を出力するスピーカが含まれている。

次に、図１１を用いて、画像管理システム５及びノートＰＣの場合の通信端末７のハードウェア構成を説明する。なお、図１１は、画像管理システム５及び通信端末７のハードウェア構成図である。画像管理システム５、及び通信端末７は、ともにコンピュータであるため、以下では、画像管理システム５の構成について説明し、通信端末７の構成の説明は省略する。

画像管理システム５は、画像管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、画像管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜＜実施形態の機能構成＞＞
次に、図９乃至図１２を用いて、本実施形態の機能構成について説明する。図１２は、本実施形態の画像通信システムの一部を構成する、撮影装置１、通信端末３、画像管理システム５、及通信端末７の各機能ブロック図である。図１２では、画像管理システム５が、通信ネットワーク９を介して、通信端末３及び通信端末７とデータ通信することができる。

＜撮影装置１の機能構成＞
図１２に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、通信部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（撮影装置１の各機能構成）
次に、図９及び図１３を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者（図８では、設置者Ｘ）からの操作入力を受け付ける。

撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４は、図９に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を収音する。

通信部１８は、主に、ＣＰＵ１１１の処理によって実現され、通信端末３の通信部３８と、ＮＦＣ（Near Field Communication）規格、ＢｌｕｅＴｏｏｔｈ（登録商標）、ＷｉＦｉ（Wireless Fidelity）等による短距離無線技術によって通信することができる。

記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜通信端末３の機能構成＞
図１３に示されているように、通信端末３は、送受信部３１、受付部３２、表示制御部３３、判断部３４、通信部３８、及び記憶・読出部３９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された通信端末３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図１０に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。この記憶部３０００には、画像管理ＤＢ３００１、及び関連情報管理ＤＢ３００２が構築されている。このうち、画像管理ＤＢ３００１は、図１３に示されている画像管理テーブルによって構成されている。関連情報管理ＤＢ３００２は、図１４に示される関連情報管理テーブルによって構成されている。

（通信端末３の各機能構成）
次に、図１０及び図１３を用いて、通信端末３の各機能構成について更に詳細に説明する。

通信端末３の送受信部３１は、主に、図１０に示されている通信部３１３及びＣＰＵ３０１の処理によって実現され、通信ネットワーク９を介して、画像管理システム５と各種データ（または情報）の送受信を行う。

受付部３２は、主にタッチパネル３１６及びＣＰＵ３０１による処理によって実現され、ユーザから各種の選択又は入力を受け付ける。

表示制御部３３は、主にＣＰＵ３０１の処理によって実現され、ディスプレイ３１５に各種画像や文字等を表示させるための制御を行う。

判断部３４は、主にＣＰＵ３０１の処理によって実現され、各種判断を行なう。

通信部３８は、主に、ＣＰＵ３０１の処理によって実現され、撮影装置１通信部１８と、ＮＦＣ規格、ＢｌｕｅＴｏｏｔｈ、ＷｉＦｉ等による短距離無線技術によって通信することができる。

記憶・読出部３９は、主に、図１０に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜画像管理システムの機能構成＞
次に、図１１及び図１２を用いて、画像管理システム５の各機能構成について詳細に説明する。画像管理システム５は、送受信部５１、特定部５２、類似画像検索部５３、及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理システム５は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、画像管理ＤＢ５００１、関連情報管理ＤＢ５００２、レイアウト管理ＤＢ５００３、及び特定領域管理ＤＢ５００４が構築されている。このうち、画像管理ＤＢ５００１は、図１３に示されている画像管理テーブルによって構成されている。関連情報管理ＤＢ５００２は、図１４に示される関連情報管理テーブルによって構成されている。これらの内容は、それぞれ通信端末３側の画像管理ＤＢ５００１及び関連情報管理ＤＢ５００２と同じである。

また、レイアウト管理ＤＢ５００３は、図１５に示されているレイアウト管理テーブルによって構成されている。特定領域管理ＤＢ５００４は、図１６に示されている特定領域管理テーブルによって構成されている。

（画像管理システムの各機能構成）
次に、図１１及び図１２を用いて、画像管理システム５の各機能構成について詳細に説明する。

画像管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は通信端末７と各種データ（または情報）の送受信を行う。

特定部５２は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、後述の注目領域情報に基づき、全天球パノラマ画像の一部である平面画像として注目領域を特定する。

類似画像検索部５３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、特定部５２によって特定された注目領域の画像である注目領域画像に基づき、他の撮影画像データに対して類似画像検索を行なう。

記憶・読出部５９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜通信端末７の機能構成＞
次に、図１１及び図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、送受信部７１、受付部７２、判断部７４、表示制御部７３、及び、記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末７は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。

（通信端末７の各機能構成）
次に、図１３を用いて、通信端末７の各機能構成について詳細に説明する。

通信端末７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理システム５と各種データ（または情報）の送受信を行う。

受付部７２は、主に、図１１に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、利用者（図８では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０８に各種画像を表示させるための制御を行なう。

判断部７４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。

記憶・読出部７９は、主に、図１１に示されているＨＤＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜＜実施形態の処理又は動作＞＞
続いて、図１７乃至図２６を用いて、本実施形態の処理又は動作について説明する。図１７は、撮影状況を示した概念図である。図１８は、撮影画像データの登録の処理を示したシーケンス図である。図１９乃至図２２は、通信端末３の画面例を示す図である。

なお、図１７（ａ）に示されているように、アパートの工事現場等の拠点で、撮影者Ｘが、撮影装置１を用いてＡ方向を撮影し、隣の部屋に移動してＢ方向を撮影し、更に隣の部屋に移動してＣ方向を撮影している。撮影者Ｘが撮影すると全天球パノラマ画像を得ることができるが、Ａ方向に図１（ｂ）に示される撮像素子（前側）１０３ａを向けて撮影すると、図１７（ｂ）で示される所定領域画像となる。また、撮影者ＸがＢ方向に撮像素子（前側）１０３ａを向けて撮影すると、図１７（ｃ）で示される所定領域画像となる。更に、撮影者ＸがＣ方向に撮像素子（前側）１０３ａを向けて撮影すると、図１７（ｄ）で示される所定領域画像となる。このように、撮影者Ｘが、方向を気にしないで撮影すると、各部屋の所定領域画像が異なる方向を表す場合がある。

続いて、図１８乃至図２２を用いて、撮影者Ｘが工事現場等の拠点で画像を撮影して、画像管理システム５に撮影画像データの登録をする処理について説明する。

まず、撮影者Ｘは、通信端末３において、図１９（ａ）に示されているように、複数のアプリケーション（以下、「アプリ」と示す）を示すアイコンのうち、撮影画像データを登録するためのアプリのアイコン（例えば、「アプリａ」のアイコン）を選択すると、受付部３２は選択を受け付けて、アプリａが起動する（ステップＳ１１）。これにより、表示制御部３３は、図１９（ｂ）に示されている画面を表示する。この画面には、撮影画像データを画像管理システム５に登録する処理に進めるための「画像登録」ボタン、登録されている撮影画像を確認する処理に進めるための「画像確認」ボタン、及びパラメータや名称等を設定する処理に進めるための「設定」ボタンが表示されている。

次に、撮影者Ｘが、「画像登録」ボタンを選択すると、受付部３２が、画像登録の指示を受け付ける（ステップＳ１２）。これにより、表示制御部３３は、図１９（ｃ）に示されている画像登録画面を表示する（ステップＳ１３）。この画像登録画面には、撮影画像のタイトルを入力するためのタイトル欄、撮影装置１の識別情報を入力するためのカメラ名欄、及び工事現場等の拠点のレイアウト図の識別情報（ここでは、「図面名」）を選択するための図面選択欄が表示されている。更に、送受信部３１は、画像管理システム５に対して、図面名を要求する（ステップＳ１４）。この場合、撮影者Ｘを識別するための利用者識別情報（ここでは、「ユーザＩＤ」）も送信される。これにより、画像管理システム５の送受信部５１は、撮影者Ｘの図面名の要求を受信する。

次に、画像管理システム５では、記憶・読出部５９が、ステップＳ１４で受信されたユーザＩＤを検索キーとしてレイアウト管理テーブルを検索することで、対応する図面名を読み出し、送受信部５１が通信端末３に、読み出された全ての図面名を送信する（ステップＳ１５）。これにより、通信端末３の送受信部３１は、図面名を受信する。

次に、通信端末３では、受付部３２が、図２０（ａ）の画面において撮影者Ｘから図面名の選択を受け付ける（ステップＳ１６）。そして、送受信部３１は、画像管理システム５に対して、図面の要求を送信する（ステップＳ１７）。この場合、ステップＳ１６で選択された図面名も送信される。これにより、送受信部５１は、図面の要求を受信する。

次に、画像管理システム５では、記憶・読出部５９が、ステップＳ１７によって受信された図面名を検索キーとしてレイアウト管理テーブルを検索することにより、対応するレイアウト図面データを読み出し、送受信部５１が通信端末３に対して、レイアウト図面データ送信する（ステップＳ１８）。これにより、通信端末３の送受信部３１は、レイアウト図面データを受信する。

次に、通信端末３では、表示制御部３３が、図２０（ｂ）に示されているように、レイアウト図面を表示させる（ステップＳ１９）。そして、撮影者Ｘが、タイトル欄にタイトル名を入力し、カメラ名欄にカメラＩＤを入力すると、受付部３２は、図２０（ｃ）に示されているように、タイトル名及びカメラＩＤである撮影設定情報の入力を受け付ける（ステップＳ２０）。更に、撮影者Ｘが、「ＯＫ」ボタンを押下すると、受付部３２が、図２０（ｃ）に示されている状態で撮影設定の入力を確定する（ステップＳ２１）。

次に、表示制御部３３は、図２１（ａ）に示されているように、撮影位置を入力するための位置入力画面を表示させる（ステップＳ２２）。そして、撮影者Ｘがレイアウト図面上の所望の位置をタップすると、受付部３２は、これから撮影位置を受け付ける（ステップＳ２３）。また、表示制御部３３は、図２１（ｂ）に示されているように、受け付けられた位置にピンによって撮影位置を表示させて、図２１（ｃ）に示されているように、撮影装置１で撮影の開始を促すコメント（例えば、「撮影装置で撮影してください」）を表示させる（ステップＳ２４）。

次に、撮影者Ｘは、工事現場等の拠点において、選択した位置に移動し、その場で撮影装置１を利用して部屋を撮影することで、全天球パノラマ画像である撮影画像データを得る（ステップＳ２５）。そして、撮影装置１の通信部１８が、通信端末３の通信部３８に撮影画像データを送信する（ステップＳ２６）。これにより、通信部３８は、撮影画像データを受信する。

次に、通信端末３では、記憶・読出部５９が、画像管理ＤＢ３００１（画像管理テーブル）で、新たなレコードを追加することで、ステップ２６によって受信された撮影画像データ、ステップＳ２３によって入力された撮影位置を示す撮影位置情報を関連付けて記憶する（ステップＳ２７）。また、この際、画像管理テーブルでは、全天球パノラマ画像における予め定められた所定領域の位置を示す所定領域情報も関連付けて記憶される。

次に、表示制御部３３が、図２２（ａ）に示されているように、撮影終了確認画面を表示させ、判断部３４は、撮影が終了したかを判断する（ステップＳ２８）。撮影終了確認画面には、撮影を継続させる場合に押下される「継続」ボタン、及び撮影を終了する場合に押下される「終了」ボタンが表示されている。「継続」ボタンが押下されると、判断部３４は撮影が終了していないと判断し（ＮＯ）、ステップＳ２２の処理に戻る。一方、「終了」ボタンが押下されると、判断部３４は撮影が終了したと判断し（ＹＥＳ）、送受信部３１が、画像管理システム５に対して、画像管理ＤＢ３００１で管理した内容である撮影情報（撮影画像データ、撮影位置情報、及び所定領域情報）を送信すると共に、関連情報管理ＤＢ３００２で管理した関連情報を送信する（ステップＳ２９）。これにより、画像管理システム５の送受信部５１が、撮影情報及び関連情報を受信する。そして、表示制御部３３は、図２２（ｂ）に示されているような撮影終了画面を表示させる。この撮影終了画面には、関連情報管理ＤＢ３００２に管理された内容が表示される。撮影枚数は、ステップ２８からステップＳ２２の処理に戻ると増える。

一方、画像管理システム５では、記憶・読出部５９が、ステップＳ２９によって送られて来た撮影画像データ、撮影位置情報、及び所定領域情報を画像管理ＤＢに記憶すると共に、ステップＳ２９によって送られて来た関連情報を関連情報管理ＤＢ５００２に記憶する（ステップＳ３１）。

続いて、図２３乃至図２６を用いて、撮影画像データの閲覧の処理について説明する。図２３は、撮影画像データの閲覧の処理を示したシーケンス図である。図２４乃至図２６は、通信端末７の画面例を示す図である。

まず、図２３に示されているように、通信端末７の閲覧者Ｙは、通信端末７において、図２４（ａ）に示されているように、ユーザＩＤ及びパスワード等のユーザ情報を入力すると、受付部７２がユーザ情報の入力を受け付ける（ステップＳ５１）。そして、送受信部７１が画像管理システム５に対して、撮影画像データ及び関連情報の一覧の要求を送信する（ステップＳ５２）。この場合、ユーザＩＤも送信される。これにより、画像管理システム５の送受信部５１は、要求を受信する。

次に、画像管理システム５では、記憶・読出部５１が、ステップＳ５２によって受信されたユーザＩＤを検索キーとして関連情報管理ＤＢ５００２を検索することで、対応する全ての関連情報を読み出し、送受信部５１が通信端末７に関連情報を含んだ一覧画像データを送信する（ステップ５３）。これにより、通信端末７の送受信部７１は、一覧画像データを受信する。

次に、通信端末７の表示制御部７３が、図２４（ｂ）に示されているような撮影履歴一覧画面を表示させる（ステップＳ５４）。この画面には、関連情報と、それぞれの関連情報に係る撮影画像を閲覧する場合に押下される「閲覧」ボタンが表示されている。ここで、閲覧者Ｙが、所望の「閲覧」ボタンを押下すると、受付部７２が閲覧を受け付ける（ステップＳ５５）。そして、送受信部７１は、画像管理システム５に対して、撮影情報の要求を送信する（ステップＳ５６）。これにより、画像管理システム５の送受信部５１は、撮影情報の要求を受信する。

次に、画像管理システム５では、記憶・読出部５９が、画像管理ＤＢ５００１から閲覧要求された撮影情報を読み出し、通信端末７に撮影情報を送信する（ステップＳ５７）。これにより、通信端末７の送受信部７１が、撮影情報を受信する。

次に、通信端末７では、表示制御部７３が、図２５（ａ）に示されているように、撮影画像データのうち、所定領域情報で示される所定領域画像を表示させる（ステップＳ５８）。これは１枚目の所定領域画像である。そして、閲覧者Ｙが、図２５（ｂ）に示されているように左側の窓を囲むように注目領域を入力すると、受付部７２が注目領域を受け付ける（ステップＳ５９）。そして、表示制御部７３が、図２５（ｂ）に示されているように、注目領域を視覚的に表示させる(ステップＳ６０)。そして、閲覧者Ｙが注目領域を確認した後、「ＯＫ」ボタンを押下すると、受付部７２は、注目領域が確定した旨を受け付ける（ステップＳ６１）。その後、送受信部７１は、画像管理システム７に対して、注目領域を示す注目領域情報を送信する（ステップＳ６２）。この注目領域が矩形の場合には、角の２点（ｒＨ，ｒＶ，α）が注目領域情報として示される。これにより、画像管理システム５の送受信部５１は、注目領域情報を受信する。

次に、画像管理システム５では、特定部５２が、注目領域情報に基づき、全天球パノラマ画像の一部である平面画像（所定領域画像）として注目領域を特定する（ステップＳ６３）。この図２５（ｂ）に示されているように、閲覧者Ｙによって指定された注目領域は必ずしも所定領域画像の中央に位置する訳ではないため、画像が歪んだ状態であることも考えられることから、後述の類似画像検索を正確に行なうために、平面図として注目領域を特定する必要がある。

次に、類似画像検索部５３は、特定部５２によって特定された注目領域の画像である注目領域画像に基づき、他の撮影画像データに対して類似画像検索を行なう（ステップＳ６４）。そして、記憶・読出部５９は、特定領域管理ＤＢ５００４に、新たなレコードとして、類似画像を含む他の撮影画像データ、この他の撮影画像データが撮影された位置を示す撮影位置情報、及び他の撮影画像の類似画像領域を示す特定領域情報を関連付けて記憶する。なお、類似画像を含む他の撮影画像データ、及び、この他の撮影画像データが撮影された位置を示す撮影位置情報は、画像管理ＤＢ５００１からのコピーである。

次に、送受信部５１は、通信端末７に対して、特定領域管理ＤＢ５００４に記憶された他の撮影画像データの各ファイル名の部分及び各特定領域情報を送信する（ステップＳ６６）。なお、このファイル名は、図１６に示されている撮影画像データでは、「ｘｘ１」部分である。これにより、通信端末７の送受信部７は、各ファイル名の部分及び各特定領域情報を受信する。

次に、通信端末７では、表示制御部７３が、図２６（ａ）に示されているように、特定領域画像、及び撮影位置がピンで示されたレイアウト画像を含む閲覧画面（１枚目）を表示する（ステップＳ６７）。そして、閲覧者Ｙが、閲覧画面の矢印を押下すると、受付部７２が、次頁の特定領域画像への移動を受け付ける（ステップＳ６８）。これにより、表示制御部７３は、図２６（ｂ）に示されているように、次の特定領域画像及びレイアウト画像を含む閲覧画面（２枚目）を表示する。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、閲覧者Ｙは、複数の全天球パノラマ画像データにおいて、類似画像を閲覧することができるため、全天球パノラマ画像をスクロールして、類似画像を探し出す手間を省くことができる。

〔実施形態の補足〕
上記実施形態における画像管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

また、上記実施形態の各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ５０４は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

１ 撮影装置
３ 通信端末
５ 画像管理システム
７ 通信端末
９ 通信ネットワーク
５１ 送受信部（送信手段の一例、受信手段の一例）
５２ 特定部（特定手段の一例）
５３ 類似画像検索部（類似画像検索手段の一例）

特開２０１４−１３１２１５号公報

Claims (5)

1. 複数の全天球パノラマ画像のデータを記憶する記憶手段と、
   通信端末から所定の全天球パノラマ画像の一部の注目領域を示す注目領域情報を受信する受信手段と、
   前記注目領域情報で示される注目領域画像に基づき、前記記憶手段に記憶されている他の全天球パノラマ画像のデータに対して類似画像検索を行なう類似画像検索手段と、
   前記類似画像検索によって類似画像が存在した場合には、前記複数の他の全天球パノラマ画像のうち前記類似画像が含まれている全天球パノラマ画像のデータを識別するための画像識別情報、及び当該全天球パノラマ画像における前記類似画像の領域を示す特定領域情報を、前記通信端末に送信する送信手段と、
   を有することを特徴とする画像管理システム。
2. 請求項１に記載の画像管理システムであって、
   前記受信手段によって受信された前記注目領域情報に基づき、前記全天球パノラマ画像の一部である平面画像として注目領域を特定する特定手段を有し、
   前記類似検索手段は、前記特定手段によって特定された注目領域で示される注目領域画像に基づき、前記記憶手段に記憶されている他の全天球パノラマ画像のデータに対して類似画像検索を行なうことを特徴とする画像管理システム。
3. 請求項１又は２に記載の画像管理システムと、
   前記通信端末と、
   を有することを特徴とする画像通信システム。
4. 複数の全天球パノラマ画像のデータを記憶する記憶手段を有する画像管理システムが実行する画像管理方法であって、
   前記画像管理システムは、
   通信端末から所定の全天球パノラマ画像の一部の注目領域を示す注目領域情報を受信する受信ステップと、
   前記注目領域情報で示される注目領域画像に基づき、前記記憶手段に記憶されている他の全天球パノラマ画像のデータに対して類似画像検索を行なう類似画像検索ステップと、
   前記類似画像検索によって類似画像が存在した場合には、前記複数の他の全天球パノラマ画像のうち前記類似画像が含まれている全天球パノラマ画像のデータを識別するための画像識別情報、及び当該全天球パノラマ画像における前記類似画像の領域を示す特定領域情報を、前記通信端末に送信する送信ステップと、
   を実行することを特徴とする画像管理方法。
5. コンピュータに、請求項４に記載の方法を実行させることを特徴とするプログラム。

Images