JP7024820B2 - 情報処理方法 - Google Patents

情報処理方法 Download PDF

Info

Publication number
JP7024820B2
JP7024820B2 JP2020103973A JP2020103973A JP7024820B2 JP 7024820 B2 JP7024820 B2 JP 7024820B2 JP 2020103973 A JP2020103973 A JP 2020103973A JP 2020103973 A JP2020103973 A JP 2020103973A JP 7024820 B2 JP7024820 B2 JP 7024820B2
Authority
JP
Japan
Prior art keywords
image
information
spherical panoramic
unit
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020103973A
Other languages
English (en)
Other versions
JP2020174359A (ja
Inventor
隆史 新元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020103973A priority Critical patent/JP7024820B2/ja
Publication of JP2020174359A publication Critical patent/JP2020174359A/ja
Application granted granted Critical
Publication of JP7024820B2 publication Critical patent/JP7024820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理方法に関する。
全方位の範囲の撮影によって得られた全天球パノラマ画像を扱う技術が開示されている。例えば、特許文献1には、全天球パノラマ画像と、全天球パノラマ画像のサムネイルと、を表示する技術が開示されている。
また、撮影画像を分析する技術も開示されている。例えば、特許文献2には、180°未満の画角の撮影画像について、撮影画像に含まれる人物の数を集計し、集計結果を出力する技術が開示されている。
しかしながら、全天球パノラマ画像は全方位の撮影によって得られた画像である。このため、従来技術では、複数の全天球パノラマ画像の分析結果を容易に提供することは困難であった。
本発明は、上記に鑑みてなされたものであって、複数の全天球パノラマ画像の分析結果を容易に提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、サーバ装置と、前記サーバ装置と通信する情報処理端末と、を備えた情報処理システムで実行される情報処理方法であって、前記サーバ装置では、全方位の範囲の撮影によって得られる三次元の立体に表示される複数の全天球パノラマ画像について、前記全天球パノラマ画像における特定被写体の数、前記全天球パノラマ画像における予め定めた特定領域内の前記特定被写体の数、前記全天球パノラマ画像にユーザにより入力された画像である描画画像の数、または、前記全天球パノラマ画像の被写体における特定の人物の数を分析する分析処理ステップと、前記分析処理ステップによる分析結果を示す結果画像を前記情報処理端末へ送信する送信処理ステップと、前記結果画像の示す前記分析結果の導出の根拠とした前記全天球パノラマ画像を根拠画像として特定する特定処理ステップと、前記根拠画像に含まれる複数の前記全天球パノラマ画像の内、前記情報処理端末において最初に表示する前記全天球パノラマ画像を示す初期画像情報を設定する第1の設定処理ステップと、前記全天球パノラマ画像における、初期視点方向を示す初期視点方向情報を設定する第2の設定処理ステップと、を含み、前記情報処理端末では、前記結果画像を受信する受信処理ステップと、前記結果画像を表示部へ表示する表示制御処理ステップと、を含み、前記サーバ装置における前記送信処理ステップは、前記根拠画像、前記初期画像情報、および前記初期視点方向情報を前記情報処理端末へ送信し、前記情報処理端末における前記受信処理ステップは、前記根拠画像、前記初期画像情報、および前記初期視点方向情報を受信し、前記情報処理端末における前記表示制御処理ステップは、前記根拠画像に含まれる複数の前記全天球パノラマ画像の内、前記初期画像情報によって示される前記全天球パノラマ画像を、前記初期視点方向情報によって示される前記初期視点方向を視点方向として、前記表示部へ表示し、前記サーバ装置における前記第2の設定処理ステップは、前記全天球パノラマ画像の分析内容を示す分析内容情報によって示される前記分析内容に応じて、前記初期視点方向情報を設定する、情報処理方法である。
本発明によれば、複数の全天球パノラマ画像の分析結果を容易に提供することができる、という効果を奏する。
図1は、本実施の形態の情報処理システムの概略図である。 図2は、撮影装置の外観模式図の一例である。 図3は、撮影装置の使用状況の一例を示す図である。 図4は、全天球パノラマ画像の作成の一例の説明図である。 図5は、全天球パノラマ画像の作成の一例の説明図である。 図6は、全天球パノラマ画像と所定領域との位置関係の説明図である。 図7は、全天球パノラマ画像と所定領域との位置関係の説明図である。 図8は、撮影装置のハードウェア構成を示す模式図である。 図9は、サーバ装置および情報処理端末のハードウェア構成図の一例である。 図10は、情報処理システムが行う情報処理の流れの概要の一例を示す、説明図である。 図11は、情報処理システムの機能的構成を示す模式図である。 図12は、拠点管理DBおよび機器管理DBのデータ構成の一例を示す模式図である。 図13は、拠点レイアウト画像の一例を示す模式図である。 図14は、画像管理DBのデータ構成の一例を示す模式図である。 図15は、特定領域管理DBおよび位置管理DBのデータ構成の一例を示す模式図である。 図16は、位置領域情報の説明図である。 図17は、操作画面の一例を示す模式図である。 図18は、結果画像の一例の模式図である。 図19は、結果画像の一例の模式図である。 図20は、結果画像の一例の模式図である。 図21は、結果画像の一例の模式図である。 図22は、結果画像の一例の模式図である。 図23は、根拠画像の表示の具体的な説明図である。 図24は、根拠画像の表示の具体的な説明図である。 図25は、根拠画像の表示の具体的な説明図である。 図26は、根拠画像の表示の具体的な説明図である。 図27は、根拠画像の表示の具体的な説明図である。 図28は、根拠画像の表示の具体的な説明図である。 図29は、データ登録処理の流れの一例を示すシーケンス図である。 図30は、分析結果の表示処理の流れの一例を示すシーケンス図である。 図31は、記憶・分析処理の手順の一例を示すフローチャートである。 図32は、分析処理の手順の一例を示すフローチャートである。 図33は、情報処理の手順の一例を示すフローチャートである。
以下、本発明の実施形態について説明する。
図1は、本実施の形態の情報処理システム10の概略図である。
情報処理システム10は、サーバ装置12と、撮影装置14と、情報処理端末18と、を備える。サーバ装置12と、撮影装置14と、情報処理端末18と、は、ネットワーク20などの通信部を介して互いに通信可能に接続されている。
通信部には、例えば、短距離無線技術、移動通信システムによる無線通信網、およびインターネットなどを用いる。短距離無線技術には、Wi-Fi(Wireless Fidelity)などが挙げられる。移動通信システムによる無線通信網には、LTE(Long Term Evolution)や、NFC(Near Field Communication)や、WiMAX(Worldwide Interoperability for Microwave Access)などが挙げられる。
撮影装置14は、全方位の範囲を撮影し、全天球パノラマ画像を得る。サーバ装置12は、全天球パノラマ画像を管理する。情報処理端末18は、サーバ装置12に管理されている全天球パノラマ画像の内、ユーザの所望の全天球パノラマ画像の表示などを行う。
本実施の形態では、一例として、撮影装置14および情報処理端末18の各々が、特定の拠点B内に設置されている場合を想定する。拠点Bは、例えば、特定の店舗、特定の建物、建物内の特定のフロア(階)、建物内の特定の部屋、などである。
本実施の形態では、撮影装置14と、情報処理端末18と、サーバ装置12と、は、異なる拠点Bに設置されているものとして説明する。具体的には、撮影装置14は、拠点B1に設置され、情報処理端末18は、拠点B2に設置され、サーバ装置12は、拠点B3に設置されている場合を説明する。
撮影装置14は、例えば、店舗などの拠点B1に、該拠点B1を管理するユーザによって予め設置されている。拠点B1内には、例えば、1または複数の棚Dが設置され、出入口Eなどがある。本実施の形態では、拠点B1内には、複数(5台)の撮影装置14が設置されている場合を一例として説明する。なお、情報処理システム10に含まれる撮影装置14の数は、限定されない。撮影装置14は、例えば、拠点B1を監視する監視カメラとして用いることも可能である。
情報処理端末18の設置された拠点B2は、例えば、ユーザが情報処理端末18を操作する部屋などである。サーバ装置12の設置された拠点B3は、例えば、情報処理システム10の管理会社などである。
なお、複数の撮影装置14の少なくとも1つを、互いに異なる拠点Bに設置した形態であってもよい。また、複数の撮影装置14の内の少なくとも1つと情報処理端末18とを同じ拠点Bに設置した形態であってもよい。また、複数の撮影装置14を、異なる複数の拠点Bに設置した形態であってもよい。また、撮影装置14および情報処理端末18の少なくとも一方を、携帯可能な構成とし、ユーザなどに携帯されることで位置移動可能としてもよい。
なお、図1では、説明を簡略化するために、3つの拠点Bを示した。しかし、情報処理システム10は、2つ以下、または4つ以上の拠点Bの各々に、1または複数の撮影装置14、情報処理端末18、およびサーバ装置12の何れかを配置した構成であってもよい。
また、図1には、情報処理システム10に含まれるサーバ装置12および情報処理端末18の各々の数が、1台である場合を示した。しかし、サーバ装置12および情報処理端末18の数は、各々、複数台であってもよい。
まず、撮影装置14について説明する。
撮影装置14は、撮影によって全天球パノラマ画像を得る撮影装置である。全天球パノラマ画像とは、全天球の範囲(360°)の撮影によって得られるパノラマ画像である。
図2は、撮影装置14の外観模式図の一例である。図2(A)は撮影装置14の側面図である。図2(B)は、撮影装置14の、図2(A)とは反対側の側面図である。図2(C)は、撮影装置14の平面図である。
図2(A)に示すように、撮影装置14は、例えば、人間が片手で持つことができる大きさである。なお、撮影装置14の大きさは、このような大きさに限られない。
図2に示すように、撮影装置14の上部には、正面側(一方の面側)にレンズ14A、背面側(他方の面側)にレンズ14B、が設けられている。レンズ14Aおよびレンズ14Bは、各々、180°以上の画角を有する広角レンズである。本実施の形態では、レンズ14Aおよびレンズ14Bは、広角レンズの1つである魚眼レンズであるものとして説明する。撮影装置14では、レンズ14Aおよびレンズ14Bの各々を介して像が導かれ、各々に対応する撮像素子に像が形成される。なお、撮像素子としては、CCDや、CMOS等が挙げられる。また、図2(B)に示されるように、撮影装置14の正面側には、シャッターボタン等の操作部14Cが設けられていてもよい。
次に、撮影装置14の使用状況の一例を説明する。図3は、撮影装置14の使用状況の一例を示す図である。図3に示すように、ユーザが撮影装置14を手に持って撮影した場合、ユーザの周りの全方位(360°)が撮影される。レンズ14Aおよびレンズ14Bから導かれた像が各々の撮像素子で検出されることで、ユーザの周りの被写体が撮像され、2つの半球画像が得られる。全天球パノラマ画像は、これらの2つの半球画像から作成される。なお、撮影装置14を、地面や壁等に設置された支持部材に設置してもよい。この場合、設置位置の周りの全方位が撮影される。
次に、撮影装置14で撮影された半球画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。図4および図5は、全天球パノラマ画像の作成の一例の説明図である。図4(A)は撮影装置14で撮影された半球画像(前側)、図4(B)は撮影装置14で撮影された半球画像(後側)、図4(C)はメルカトル図法により表された画像(以下、「メルカトル画像」という)、の一例を示す模式図である。図5は、全天球パノラマ画像60の一例を示す図である。
図4(A)に示すように、レンズ14Aは魚眼レンズであるため、このレンズ14Aによって得られた画像は、湾曲した半球画像(前側)となる。また、図4(B)に示されているように、レンズ14Bは魚眼レンズであるため、このレンズ14Bによって得られた画像は、湾曲した半球画像(後側)となる。そして、半球画像(前側)と半球画像(後側)は、撮影装置14によって合成されることで、メルカトル画像が作成される(図4(C)参照)。
撮影装置14では、OpenGL ES(Open Graphics Library for Embedded Systems)を利用することで、メルカトル画像を、球面の内壁を覆うように貼り付ける。これにより、撮影装置14は、図5に示すような全天球パノラマ画像60を作成する。このように、全天球パノラマ画像60は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。
図1へ戻り、撮影装置14は、全天球パノラマ画像60をサーバ装置12へ送信する。なお、本実施の形態では、撮影装置14が、半球画像を合成して全天球パノラマ画像60を生成するものとして説明する。しかし、サーバ装置12が、撮影装置14から受信した半球画像を合成することで、全天球パノラマ画像60を作成してもよい。
ここで、全天球パノラマ画像60は、上述のように球面を覆うように貼り付けられた、360°の全方位の画像である。このため、表示時には、360°の全方位の内、仮想の視点方向を中心とした画像として表示することが好ましい。また、この場合、全天球パノラマ画像60の一部の所定領域Sを、該視点方向を中心とした湾曲の少ない平面画像として表示することが好ましい。これにより、人間に違和感を与えない表示をすることが可能となる。
図6および図7は、三次元の立体球状と仮定した全天球パノラマ画像60と、所定領域Sと、の位置関係の説明図である。
全天球パノラマ画像60が、図6および図7に示すような、三次元の立体球状(立体球CS)であると仮定する。この場合、仮想撮影装置Pを、この立体球CSの内壁を撮影可能な位置に位置させる。仮想撮影装置Pは、3次元の立体球CSとして表示された全天球パノラマ画像60を視認する、ユーザの視点位置に相当する。
すると、この立体球CSの中心を原点とした座標系が構築される。所定領域Sは、仮想撮影装置Pが、全天球パノラマ画像60より狭い画角で、該立体球状の全天球パノラマ画像60における所定の視点方向を撮影したときの、撮影画角に相当する領域である。
所定領域Sは、視点方向情報によって特定される。本実施の形態では、視点方向情報を、三次元の立体球状と仮定した全天球パノラマ画像60における、矩形状の所定領域Sの4つの頂点の内の1つの頂点CPの三次元座標情報(x,y,z)と、所定領域Sの範囲(幅および高さ(w,h))と、で表す。
なお、所定領域Sを、座標(x,y)と、撮影画角αと、で表してもよい。この座標(x,y)は、仮想撮影装置Pの位置を原点としたときの、立体球CSにおける所定領域Sの中心位置CP’を示す。撮影画角αは、仮想撮影装置Pの撮影倍率(ズーム)によって特定される。なお、所定領域情報は、さらに、仮想撮影装置Pの姿勢を示す撮影姿勢情報を含んだものであってもよい。仮想撮影装置Pの撮影姿勢情報は、立体球CSの中心を原点とした座標系を構成する3軸の各々の回転角(ヨー、ピッチ、ロール)によって特定される。
本実施の形態の情報処理システム10では、全天球パノラマ画像60における所定領域Sを視点方向として、情報処理端末18などに表示する。このため、情報処理システム10は、人間に違和感を与えない表示の可能な構成となっている。なお、視点方向は、情報処理端末18を操作するユーザによる操作指示などによって変更可能である。すなわち、ユーザは、情報処理端末18を用いて視点方向の変更指示を入力することで、全天球パノラマ画像60における視点方向(すなわち全天球パノラマ画像60における、表示画面に表示させる領域)を変更することができる。
次に、撮影装置14のハードウェア構成を説明する。
図8は、撮影装置14のハードウェア構成を示す模式図である。撮影装置14は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、および電子コンパス118を備える。
撮像ユニット101は、レンズ14Aと、レンズ14Bと、撮像素子13Aと、撮像素子13Bと、を備える。撮像素子13Aは、レンズ14Aに対応して設けられている。撮像素子13Bは、レンズ14Bに対応して設けられている。撮像素子13Aおよび撮像素子13Bは、レンズ14Aおよびレンズ14Bの各々による光学像を電気信号の画像データに変換して出力する。
撮像素子13Aおよび撮像素子13Bの各々は、画像処理ユニット104とパラレルI/Fバスで接続されている。また、撮像素子13Aおよび撮像素子13Bは、撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104および撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116なども接続されている。
画像処理ユニット104は、撮像素子13Aおよび撮像素子13Bから出力された半球画像の画像データをパラレルI/Fバスを通して取り込む。そして、画像処理ユニット104は、これらの半球画像の画像データを合成し、全天球パノラマ画像60を作成する。
撮像制御ユニット105は、撮像制御ユニット105をマスタデバイス、撮像素子13Aおよび撮像素子13Bをスレーブデバイスとして、I2Cバスを利用して、撮像素子13Aおよび撮像素子13Bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、I2Cバスを利用して、撮像素子13Aおよび撮像素子13Bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、CPU111と協働して撮像素子13Aおよび撮像素子13Bの、半球画像の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施の形態では、撮影装置14には表示部が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置14の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113およびDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。DRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの全天球パノラマ画像60を記憶する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わずにネットワークインターフェースである場合も考えられる。DRAM114に記憶された全天球パノラマ画像60は、このネットワークI/F116を介して外付けのメディアに記録、または、ネットワークI/F116を介して通信端末15等の外部装置に送信される。
通信部117は、撮影装置14に設けられたアンテナ117aを介して、Wi-FiやNFC等の短距離無線技術によって、通信端末15等の外部装置と通信を行う。通信部117が、全天球パノラマ画像60を通信端末15の外部装置に送信してもよい。
電子コンパス118は、地球の磁気から撮影装置14の姿勢(回転角(ヨー、ピッチ、ロール))を示す撮影姿勢情報を検出する。なお、電子コンパス118は、現在の撮影装置14の位置を示すGPS(Global Positioning System)機能を更に備えていてもよい。
次に、サーバ装置12および情報処理端末18のハードウェア構成を説明する。図9は、サーバ装置12および情報処理端末18のハードウェア構成図の一例である。
サーバ装置12および情報処理端末18は、CPU501、ROM502、RAM503、HDD(Hard Disk Drive)505、メディアドライブ507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、およびCD-ROMドライブ514を、バス510を介して接続した構成である。メディアドライブ507は、フラッシュメモリ等の記録メディア506に対してデータの読み出し又は書き込み(記憶)を行う。CD-ROMドライブ514は、着脱可能な記録媒体の一例としてのCD-ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを行う。なお、サーバ装置12および情報処理端末18は、ディスプレイ508と、キーボード511と、マウス512と、を一体的に構成した、タッチパネルを備えた構成であってもよい。
次に、本実施の形態の情報処理システム10が行う情報処理の流れの概要を説明する。図10は、情報処理システム10が行う情報処理の流れの概要の一例を示す、説明図である。
本実施の形態では、撮影装置14は、撮影によって得られた全天球パノラマ画像60と、該全天球パノラマ画像60に対応する関連情報61と、を通信端末15および無線ルータ16を介して、サーバ装置12へ送信する(ステップS1、ステップS2)。
本実施の形態では、撮影装置14は、予め定められた位置に固定されているものとして説明する。また、撮影装置14は、連続撮影を行い、連続撮影によって得られた全天球パノラマ画像60の各々を、順次、サーバ装置12へ送信するものとして説明する。
すなわち、本実施の形態では、撮影装置14は、時系列に連続した複数の(複数フレームの)全天球パノラマ画像60を、サーバ装置12へ順次送信するものとして説明する。
また、撮影装置14は、全天球パノラマ画像60に対応する関連情報61を、全天球パノラマ画像60と共にサーバ装置12へ送信する。すなわち、撮影装置14は、各フレームの全天球パノラマ画像60の各々に対応する関連情報61を、全天球パノラマ画像60と共にサーバ装置12へ送信する。
関連情報61は、対応する全天球パノラマ画像60の撮影日時を示す撮影日時情報と、撮影装置識別情報(以下、撮影装置IDと称する)と、を含む。
関連情報61に含まれる撮影装置IDは、該関連情報61に対応する全天球パノラマ画像60を撮影した撮影装置14を識別するための識別情報である。
サーバ装置12は、撮影装置14から全天球パノラマ画像60および関連情報61を受信すると、該全天球パノラマ画像60および関連情報61を記憶する記憶処理を行う(ステップS3)。そして、サーバ装置12は、該全天球パノラマ画像60の特徴情報を抽出する、特徴情報抽出処理を行う(ステップS4)。
特徴情報は、全天球パノラマ画像60の特徴を示す情報である。特徴情報として抽出する項目は、予め定められる。例えば、特徴情報は、全天球パノラマ画像60に含まれる物体の数などである(詳細後述)。
一方、情報処理端末18は、ユーザの操作指示を受付けることで、複数の全天球パノラマ画像60の分析結果取得要求を、サーバ装置12へ送信する(ステップS5)。分析結果取得要求は、全天球パノラマ画像60の分析内容を示す分析内容情報などを含む(詳細後述)。
サーバ装置12は、分析結果取得要求を受信すると、分析結果取得要求に含まれる分析内容情報に応じて、複数の全天球パノラマ画像60を分析する分析処理を実行する(ステップS6)。
そして、サーバ装置12は、分析処理による分析結果を示す結果画像を、情報処理端末18へ送信する(ステップS)。これにより、情報処理端末18には、分析結果を示す結果画像が表示される。
さらに、ユーザによる情報処理端末18の操作指示によって、分析結果の根拠画像の取得要求がサーバ装置12へ送信される(ステップS8)。すると、サーバ装置12は、ステップS6で送信した結果画像の示す分析結果の根拠として用いた全天球パノラマ画像60を、根拠画像として情報処理端末18へ送信する(ステップS9)。これにより、情報処理端末18には、分析結果を示す結果画像の根拠となる全天球パノラマ画像60が表示される。
このため、情報処理端末18では、送信した分析結果取得要求に応じた分析結果を示す、結果画像を表示することができる。また、情報処理端末18では、分析結果の根拠となる全天球パノラマ画像60を表示することができる。
次に、本実施の形態の情報処理システム10を構成する各装置の機能について、詳細に説明する。
図11は、情報処理システム10における、サーバ装置12、撮影装置14、通信端末15、および情報処理端末18の各々の機能的構成を示す模式図である。
撮影装置14は、撮影部14Eと、記憶部14Fと、接続部14Gと、記憶・読出部14Iと、を備える。撮影部14Eは、撮影によって半球画像の画像データを取得し、記憶部14Fへ記憶する。撮影部14Eは、同じ撮影タイミングの一対の半球画像の画像データを記憶部14Fから読出し、全天球パノラマ画像60を生成する。また、記憶・読出部14Iは、生成した全天球パノラマ画像60の撮影日時情報と、該撮影装置14の撮影装置IDと、を関連情報61として記憶部14Fから読み出す。そして、接続部14Gは、撮影部14Eで生成された全天球パノラマ画像60と、関連情報61と、を通信端末15へ送信する。
通信端末15は、接続部15Aと、送受信部15Bと、を備える。接続部15Aは、撮影装置14の接続部14Gに接続されている。接続部15Aは、撮影装置14から、全天球パノラマ画像60および関連情報61を受信する。送受信部15Bは、接続部15Aを介して撮影装置14と通信する。また、送受信部15Bは、ネットワーク20を介してサーバ装置12と通信する。本実施の形態では、送受信部15Bは、接続部15Aを介して撮影装置14から取得した全天球パノラマ画像60および関連情報61を、ネットワーク20を介してサーバ装置12へ送信する。
サーバ装置12は、制御部12Aと、記憶部12Bと、を備える。制御部12Aと記憶部12Bとは、データや信号を授受可能に接続されている。
記憶部12Bは、各種データを記憶する。記憶部12Bは、例えば、画像管理DB(データベース)12Cと、拠点管理DB12Dと、機器管理DB12Eと、位置管理DB12Fと、特定領域管理DB12Gと、を記憶する。画像管理DB12Cには、全天球パノラマ画像60、特徴情報、およびサムネイル画像などが格納される(詳細後述)。
図12は、拠点管理DB12Dおよび機器管理DB12Eのデータ構成の一例を示す模式図である。
図12(A)は、拠点管理DB12Dのデータ構成の一例を示す模式図である。拠点管理DB12Dは、各拠点Bの各々に設置されている撮影装置14を、拠点ごとに管理するためのデータベースである。なお、拠点管理DB12Dのデータ構成は、データベースに限定されず、テーブルなどであってもよい。
拠点管理DB12Dは、拠点IDと、拠点名と、拠点レイアウト画像と、撮影装置IDと、を対応づけたものである。拠点IDは、拠点Bを識別する識別情報である。拠点名は、対応する拠点IDによって識別される拠点Bの名称である。拠点レイアウト画像は、対応する拠点IDによって識別される拠点Bのレイアウトを示す画像である。
図13は、拠点レイアウト画像90の一例を示す模式図である。図13に示すように、拠点レイアウト画像90は、対応する拠点IDによって識別される拠点Bの、レイアウトを示す画像である。図12に戻り説明を続ける。撮影装置IDは、撮影装置14を識別する識別情報である。拠点管理DB12Dにおける撮影装置IDは、対応する拠点IDによって識別される拠点Bに、現在位置している撮影装置14の識別情報である。
図12(B)は、機器管理DB12Eのデータ構成の一例を示す模式図である。機器管理DB12Eは、撮影装置IDと、現在位置と、を対応づけたデータである。現在位置は、対応する撮影装置IDによって識別される撮影装置14が、現在位置している位置座標を示す情報である。
例えば、関連情報61を、更に、撮影装置14の位置情報を含む構成とする。そして、サーバ装置12では、撮影装置14から受信した関連情報61に含まれる位置情報を、機器管理DB12Eの現在位置として登録することで、機器管理DB12Eを適宜更新する。また、サーバ装置12は、機器管理DB12Eを更新する毎に、拠点管理DB12Dにおける、各拠点IDによって識別される拠点Bの何れに撮影装置14が位置しているかを判別し、対応する撮影装置IDとして拠点管理DB12Dに登録すればよい。
図14は、画像管理DB12Cのデータ構成の一例を示す模式図である。画像管理DB12Cは、撮影装置14の各々で撮影された全天球パノラマ画像60と、特徴情報と、を管理するためのデータベースである。なお、画像管理DB12Cのデータ構成は、データベースに限定されず、テーブルなどであってもよい。
画像管理DB12Cは、撮影装置IDと、画像IDと、全天球パノラマ画像60と、サムネイル画像と、特徴情報と、を対応づけたものである。画像IDは、全天球パノラマ画像60を識別するための識別情報である。
サーバ装置12は、撮影装置14から全天球パノラマ画像60および関連情報61を受信するごとに、受信した全天球パノラマ画像60を、該全天球パノラマ画像60を撮影した撮影装置14の撮影装置IDと、画像IDと、に対応づけて画像管理DB12Cに登録する。
サムネイル画像は、対応する全天球パノラマ画像60のサムネイルである。サムネイル画像は、例えば、全天球パノラマ画像60を縮小した画像や、全天球パノラマ画像60の、所定の視点方向を中心とした所定領域Sを、縮小した画像である。サムネイル画像は、サーバ装置12によって作成される(詳細後述)。
特徴情報は、対応する画像IDによって識別される全天球パノラマ画像60の特徴を示す情報である。本実施の形態では、特徴情報は、ユーザによって指定された分析内容に応じて全天球パノラマ画像60を分析するために、全天球パノラマ画像60から予め抽出する情報である。
具体的には、本実施の形態では、特徴情報は、撮影日時情報と、物体情報と、描画情報と、を含む。撮影日時情報は、対応する画像IDによって識別される全天球パノラマ画像60の撮影日時を示す。
物体情報は、サーバ装置12で分析する対象の物体に関する情報である。物体は、生物であってもよいし、非生物であってもよい。生物である場合、物体は、例えば、人物、動物(犬、猫、など)、植物、細胞、などである。非生物である場合、物体は、例えば、本棚、机、車両、看板、などである。
本実施の形態では、一例として、物体が、人物である場合を一例として説明する。なお、特徴情報として、何れの種類の物体を用いるかは、予め設定すればよい。また、物体の種類は、ユーザによる操作指示によって、変更可能としてもよい。
本実施の形態では、物体情報は、全天球パノラマ画像60内の人物の数、特定領域ID、特定領域内の人物の数、人物ID、人物位置領域ID、を含む。
画像管理DB12Cにおける、全天球パノラマ画像60内の人物の数は、対応する画像IDによって識別される全天球パノラマ画像60に含まれる、人物の数を示す。
特定領域IDは、予め定めた特定領域の識別情報である。特定領域とは、全天球パノラマ画像60における特定の領域を示す。特定領域は、例えば、時系列で継続して確認すべき領域や、分析の重要度の高い領域などである。特定領域は、例えば、全天球パノラマ画像60における位置領域情報で表される。
本実施の形態では、記憶部12Bは、特定領域管理DB12Gを記憶する。図15は、特定領域管理DB12Gおよび位置管理DB12Fのデータ構成の一例を示す模式図である。図15(A)は、特定領域管理DB12Gのデータ構成の一例を示す模式図である。特定領域管理DB12Gは、特定領域を管理するためのデータベースである。図15(A)に示すように、特定領域管理DB12Gは、撮影装置IDと、特定領域IDと、位置領域情報と、を対応づけたものである。
特定領域管理DB12Gにおける位置領域情報は、対応する撮影装置IDによって識別される撮影装置14で撮影された全天球パノラマ画像60において規定された、対応する特定領域IDによって特定される特定領域の位置および範囲を示す情報である。本実施の形態では、位置領域情報を、三次元の立体球状と仮定した全天球パノラマ画像60における、矩形状の特定領域の4つの頂点の内の1つの頂点の三次元座標情報(x,y,z)と、特定領域の範囲(幅および高さ(w,h))と、で表す。
本実施の形態では、特定領域管理DB12Gにおける位置領域情報は、撮影装置14ごとにユーザによって予め設定されているものとする。なお、特定領域管理DB12Gに登録されている情報は、ユーザによる操作指示などによって、適宜変更可能である。
図14に戻り、説明を続ける。画像管理DB12Cにおける、特定領域内の人物の数は、対応する画像IDによって識別される全天球パノラマ画像60における、対応する特定領域IDによって識別される特定領域内に含まれる人物の数を示す。
人物IDは、人物の識別情報である。サーバ装置12は、公知の画像処理技術によって、人物の特徴を示す人物特徴情報が予め定めた範囲内の値を示す人物を、同一人物と判別し、人物IDを付与すればよい。
画像管理DB12Cに含まれる、人物位置領域IDは、対応する人物IDによって識別される人物の、全天球パノラマ画像60における位置および範囲(領域)を識別するための識別情報である。
本実施の形態では、該位置領域IDに対応する位置領域情報は、位置管理DB12Fに登録されている。図15(B)は、位置管理DB12Fのデータ構成の一例を示す模式図である。位置管理DB12Fは、位置領域IDと、位置領域情報と、を対応づけたものである。位置管理DB12Fにおける位置領域情報は、全天球パノラマ画像60内における位置領域を示す情報である。
図16は、位置領域情報の説明図である。本実施の形態では、位置領域情報を、三次元の立体球状と仮定した全天球パノラマ画像60における、人物や描画画像などを囲む矩形状の領域Aの4つの頂点の内の1つの頂点の三次元座標情報(x,y,z)と、該領域Aの範囲(幅および高さ(w,h))と、で表す。
図14に戻り、説明を続ける。描画情報は、対応する画像IDによって識別される全天球パノラマ画像60に描画された描画画像を示す情報である。本実施の形態では、描画情報は、描画IDと、描画画像と、描画画像の位置領域IDと、を含む。描画IDは、対応する描画画像を識別する識別情報である。描画画像は、後述する情報処理端末18のユーザによる操作などによって、全天球パノラマ画像60に描画された画像である。描画画像は、ユーザによって手書き入力された文字や線などの画像や、予め作成された文字や線などの画像、である。描画画像は、スケッチと称される場合もある。
なお、描画画像の識別情報には、描画IDに代えて、描画画像の特徴を示す情報を用いてもよい。例えば、描画画像の色、形状、などから公知の画像処理によって抽出可能な特徴を示す情報を、描画IDとして用いてもよい。描画情報に含まれる、描画画像の位置領域IDは、対応する描画画像の、全天球パノラマ画像60における位置および範囲を示す位置領域情報を識別する情報である、該位置領域IDに対応する位置領域情報には、位置管理DB12F(図15(B)参照)における位置領域情報を用いればよい。
記憶部12Bに記憶されている各データベースは、サーバ装置12の制御部12Aによって適宜更新される。
図11に戻り、説明を続ける。次に、サーバ装置12の制御部12Aについて説明する。制御部12Aは、サーバ装置12を制御する。制御部12Aは、CPU501、ROM502、およびRAM503などによって実現する(図9参照)。なお、制御部12Aは、回路などによって実現してもよい。
本実施の形態のサーバ装置12で実行される各種処理を実行するためのプログラムは、ROM502などに予め組み込んで提供される。
なお、本実施の形態のサーバ装置12で実行される各種処理を実行するためのプログラムは、サーバ装置12にインストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、本実施の形態のサーバ装置12で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態のサーバ装置12における各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
制御部12Aは、送受信部12Kと、特徴情報抽出部12Iと、サムネイル作成部12Mと、記憶制御部12Pと、受付部12Qと、分析部12Rと、結果画像作成部12Tと、表示情報作成部12Sと、根拠画像特定部12Jと、を含む。送受信部12Kは、送信部12Lと、受信部12Hと、を含む。表示情報作成部12Sは、初期画像設定部12Vと、初期視点方向設定部12Wと、埋込部12Xと、を含む。
送受信部12K、送信部12L、受信部12H、特徴情報抽出部12I、サムネイル作成部12M、記憶制御部12P、受付部12Q、分析部12R、結果画像作成部12T、表示情報作成部12S、初期画像設定部12V、初期視点方向設定部12W、埋込部12X、および、根拠画像特定部12Jの一部または全ては、例えば、CPU501(図9参照)などの処理装置にプログラムを実行させること(すなわちソフトウェア)により実現してもよい。また、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、併用して実現してもよい。
送受信部12Kは、ネットワーク20を介して撮影装置14および情報処理端末18の各々とデータの送受信を行う。
送受信部12Kは、送信部12Lと、受信部12Hと、を含む。受信部12Hは、撮影装置14から、通信端末15およびネットワーク20を介して、全天球パノラマ画像60および関連情報61を受信する。受信部12Hは、受信した全天球パノラマ画像60および関連情報61を、記憶制御部12P、特徴情報抽出部12I、およびサムネイル作成部12Mへ出力する。
また、受信部12Hは、情報処理端末18から、ユーザによる情報処理端末18の操作によって描画された描画画像と、描画画像を描画された全天球パノラマ画像60の画像IDと、全天球パノラマ画像60における該描画画像の位置を示す位置領域情報と、を受信する。受信部12Hは、受信した、描画画像と、画像IDと、位置領域情報に対応する位置領域IDと、を記憶制御部12Pおよび特徴情報抽出部12Iへ出力する。
記憶制御部12Pは、記憶部12Bへの各種データの記憶や、記憶部12Bからの各種データの読取りなどを行う。
記憶制御部12Pは、受信部12Hから全天球パノラマ画像60および関連情報61を受付けると、全天球パノラマ画像60と関連情報61とを記憶部12Bへ記憶する。詳細には、記憶制御部12Pは、受付けた全天球パノラマ画像60を画像管理DB12C(図14参照)へ登録すると共に、該全天球パノラマ画像60へ画像IDを付与し、画像管理DB12Cへ登録する。また、記憶制御部12Pは、関連情報61に含まれる、撮影装置ID、および撮影日時情報、を、該画像IDに対応づけて、画像管理DB12Cに登録する。
特徴情報抽出部12Iは、受信部12Hを介して撮影装置14から受付けた全天球パノラマ画像60および関連情報61から、特徴情報を抽出する。本実施の形態では、特徴情報として、撮影日時情報と、物体情報と、描画情報と、を抽出する場合を説明する。特徴情報の定義は、上述したため、ここでは説明を省略する。なお、特徴情報抽出部12Iは、全天球パノラマ画像60の画像解析によって抽出可能な、該全天球パノラマ画像60の特徴を示す情報を抽出すればよく、図14に示す特徴情報に限定されない。
具体的には、特徴情報抽出部12Iは、受付けた全天球パノラマ画像60を画像解析することで、全天球パノラマ画像60に含まれる人物の数を抽出する。特徴情報抽出部12Iは、公知の人物認識技術によって、全天球パノラマ画像60から人物を抽出し、抽出した人物の数を算出すればよい。
また、特徴情報抽出部12Iは、受付けた全天球パノラマ画像60における、特定領域内の人物の数を算出する。詳細には、特徴情報抽出部12Iは、受付けた全天球パノラマ画像60を撮影した撮影装置IDに対応する特定領域IDを、特定領域管理DB12Gから読取る(図15(A)参照)。
特定領域管理DB12Gには、撮影装置IDによって識別される撮影装置14ごとに、該撮影装置14で撮影される全天球パノラマ画像60における特定領域を示す情報を予め登録する。なお、特定領域管理DB12Gに登録されている各情報は、ユーザによる操作指示などによって適宜変更、追加、などが可能である。
そして、特徴情報抽出部12Iは、特定領域管理DB12Gから読取った特定領域IDに対応する位置領域情報を、特定領域管理DB12Gから特定する。特徴情報抽出部12Iは、受付けた全天球パノラマ画像60における、特定した位置領域情報によって示される特定領域内に含まれる人物の数を算出する。
また、特徴情報抽出部12Iは、全天球パノラマ画像60内に含まれる人物の各々に、人物IDを付与する。なお、特徴情報抽出部12Iは、公知の画像認識技術などを用いて、複数の全天球パノラマ画像60間および各全天球パノラマ画像60内において同一の人物と判別される人物には、同じ人物IDを付与する。例えば、特徴情報抽出部12Iは、色、形状、人物特定に用いる部位(例えば顔や眼)、などによって特定される人物特徴量が予め定めた範囲内で類似する人物に、同じ人物IDを付与すればよい。
また、特徴情報抽出部12Iは、全天球パノラマ画像60における、特定した人物の各々の、全天球パノラマ画像60における位置領域に対応する位置領域IDを特定する。具体的には、特徴情報抽出部12Iは、全天球パノラマ画像60における、新たな位置領域情報の値を抽出する毎に、位置管理DB12F(図15(B)参照)における位置領域情報に登録する。そして、特徴情報抽出部12Iは、新たに登録した該位置領域情報に、新たな位置領域IDを付与し、該位置管理DB12Fに対応づけて登録する。さらに、特徴情報抽出部12Iは、登録した該位置領域IDを、対応する人物の人物IDに対応する人物位置領域IDとして抽出する。
そして、特徴情報抽出部12Iは、受付けた全天球パノラマ画像60から抽出した物体情報(全天球パノラマ画像60内の人物の数、特定領域ID、特定領域内の人物の数、人物ID、人物位置領域ID)と、該全天球パノラマ画像60の画像IDと、を記憶制御部12Pへ出力する。記憶制御部12Pは、特徴情報抽出部12Iから受付けた該物体情報を、該画像IDに対応づけて、画像管理DB12Cへ登録する。
また、特徴情報抽出部12Iは、全天球パノラマ画像60と共に受付けた撮影日時情報と、該全天球パノラマ画像60の画像IDと、を記憶制御部12Pへ出力する。記憶制御部12Pは、受付けた撮影日時情報を、受付けた該画像IDに対応づけて、画像管理DB12Cへ登録する(図14参照)。
これにより、特徴情報抽出部12Iは、新たな全天球パノラマ画像60および関連情報61を撮影装置14から受信する度に、撮影日時情報および物体情報を抽出する。そして、特徴情報抽出部12Iは、抽出した撮影日時情報および物体情報を、記憶制御部12Pを介して記憶部12Bの画像管理DB12Cへ登録する。
また、特徴情報抽出部12Iは、受信部12Hから、ユーザによる情報処理端末18の操作によって描画された描画画像と、描画画像を描画した全天球パノラマ画像60の画像IDと、全天球パノラマ画像60における描画位置を示す、描画画像の位置領域情報と、を受付ける。特徴情報抽出部12Iは、受付けた描画画像と、画像IDと、位置領域情報と、を記憶制御部12Pへ出力する。
記憶制御部12Pは、特徴情報抽出部12Iから受付けた描画画像に、描画IDを付与し、該描画IDと、受付けた描画画像と、受付けた描画画像の位置領域情報に対応する位置領域IDと、を対応づけて画像管理DB12C(図14参照)に登録する。描画画像の位置領域情報に対応する位置領域IDは、該位置領域情報に対応する位置領域IDを位置管理DB12F(図15(B)参照)から読取ることによって得ればよい。
このように、撮影装置14から全天球パノラマ画像60および関連情報61を受信、または、情報処理端末18から描画画像を受信する度に、特徴情報抽出部12Iが特徴情報を抽出し、画像管理DB12Cを更新する。
サムネイル作成部12Mは、受信部12Hから受付けた全天球パノラマ画像60のサムネイル画像を作成する。サムネイル画像の作成には、公知の方法を用いればよい。例えば、サムネイル作成部12Mは、全天球パノラマ画像60の一部の領域を抽出する。そして、サムネイル作成部12Mは、抽出した該一部の領域を低解像度化した低解像度画像を、サムネイル画像として作成すればよい。
サムネイル作成部12Mは、作成したサムネイル画像と、サムネイル画像の作成に用いた全天球パノラマ画像60の画像IDと、を記憶制御部12Pへ出力する。記憶制御部12Pは、サムネイル作成部12Mから受付けたサムネイル画像を、受付けた画像IDに対応づけて、画像管理DB12Cへ登録する(図14参照)。
受信部12Hは、更に、情報処理端末18から、分析結果取得要求を受信する。分析結果取得要求は、複数の全天球パノラマ画像60の分析結果の取得を要求する情報である。
分析結果取得要求は、拠点IDと、分析内容情報と、分類条件と、を含む。
分析結果取得要求に含まれる拠点IDは、分析対象の全天球パノラマ画像60を撮影した撮影装置14の設置された拠点Bの識別情報である。すなわち、分析結果取得要求に含まれる拠点IDは、該拠点IDによって識別される拠点Bに設置された1または複数の撮影装置14の各々で撮影された全天球パノラマ画像60を、分析対象とすることを示す。
このため、分析結果取得要求に含まれる拠点IDは、分析対象の全天球パノラマ画像60を示す情報であるといえる。なお、分析結果取得要求は、拠点IDに代えて、または拠点IDと共に、撮影装置IDや画像IDを含むものであってもよい。この場合、サーバ装置12では、これらの拠点ID、撮影装置ID、および画像IDによって識別される1または複数の全天球パノラマ画像60を、分析対象として用いればよい。
なお、本実施の形態では、分析結果取得要求には、分析対象の全天球パノラマ画像60を特定するための情報として、拠点IDが含まれる場合を、一例として説明する。
分析内容情報は、全天球パノラマ画像60の分析内容を示す情報である。本実施の形態では、分析内容は、全天球パノラマ画像60に含まれる人物の数、全天球パノラマ画像60における特定領域の物体の数、全天球パノラマ画像60に描画された描画画像の数、または、全天球パノラマ画像60に含まれる特定の人物の数、である。なお、分析内容は、他の内容を示すものであってもよい。
本実施の形態では、分析内容を示す分析内容情報は、情報処理端末18を操作するユーザによって指定される。例えば、ユーザは、情報処理端末18を操作することで、拠点IDおよび分析内容情報を指定する。図17は、情報処理端末18に表示される操作画面50の一例を示す模式図である。例えば、情報処理端末18は、操作画面50をディスプレイ508(表示部18G)に表示する。
操作画面50は、選択可能な拠点IDの一覧50(50~50)と、複数の分析内容情報(50A~50C)と、を含む。ユーザは、操作画面50における、所望の拠点IDの行および分析内容情報の表示欄(表示欄50A~50C、50A~50C)を選択する。例えば、表示欄50Aを選択することで、拠点ID“s001”によって識別される拠点Bと、分析内容情報“人物の数”を選択することができる。情報処理端末18は、選択された拠点IDおよび分析内容情報を含む分析結果取得要求を、サーバ装置12へ送信する。
図11に戻り説明を続ける。分析結果取得要求に含まれる分類条件は、複数の全天球パノラマ画像60を複数のグループに分類して分析するときの、分類の条件を示す情報である。
分類条件は、例えば、撮影日時および撮影場所の少なくとも一方の分類項目を含む。なお、分類条件に含まれる分類項目は、複数の全天球パノラマ画像60を分類可能な項目であればよく、撮影日時および撮影場所に限定されない。例えば、分類条件は、特定領域を、分類項目として含んでいてもよい。
分類条件が、撮影日時および撮影場所を分類項目として含む場合、制御部12Aでは、複数の全天球パノラマ画像60を、撮影日時および撮影場所ごとに分類したグループごとに、グループに属する1または複数の全天球パノラマ画像60の分析を行う(詳細後述)。
なお、撮影日時は、期間を持った情報であってもよい。すなわち、撮影日時は、分析範囲を示す撮影日時(撮影開始日時と撮影終了日時)と、分析単位を示す期間(以下、タイムスケールと称する場合がある)であってもよい。タイムスケールは、例えば、10分ごと、2時間ごと、10日間ごと、などである。
撮影場所は、撮影装置14によって規定してもよいし、拠点Bによって規定してもよい。本実施の形態では、撮影場所は、撮影装置14によって規定する場合を一例として説明する。この場合、制御部12Aは、複数の全天球パノラマ画像60を、分析範囲を示す撮影日時(撮影開始日時と撮影終了日時)における、タイムスケール(分析単位を示す期間)ごと、および、特定の拠点Bの撮影装置14ごと、に分類したグループごとに、グループに属する1または複数の全天球パノラマ画像60を分析する。
なお、ユーザは、情報処理端末18を操作することで、分類条件によって規定される所望の分類項目を設定可能である。具体的には、ユーザは、撮影装置14ごとに代えて、拠点Bを分類条件として設定してもよい。また、ユーザは、任意のタイムスケールを設定することもできる。
なお、分析結果取得要求は、更に、比較指示情報を含んでいてもよい。比較指示情報は、グループごとの分析結果を、分類条件によって規定される分類項目の一部が同じ群ごとに表した、分析結果の取得を要求する情報である。例えば、比較指示情報は、複数の撮影装置14で撮影された、撮影日時ごとの複数の全天球パノラマ画像60を、分類項目“撮影装置14”は同じで、分類項目“撮影日時”の異なるグループごとに分析した分析結果の、取得を要求する情報である。
情報処理端末18を操作するユーザは、情報処理端末18を操作することで、拠点ID、分析内容情報、分類条件、比較指示情報などを入力する。すると、情報処理端末18は、拠点ID、分析内容情報、分類条件、比較指示情報、などを含む分析結果取得要求を、サーバ装置12へ送信する。
サーバ装置12の受信部12Hは、分析結果取得要求を受信すると、受付部12Qへ出力する。受付部12Qは、受信部12Hを介して情報処理端末18から、分析結果取得要求を受付ける。すなわち、受付部12Qは、拠点ID、分析内容情報、および分類条件を、情報処理端末18から受付ける。また、受付部12Qは、比較指示情報を更に含む分析結果取得要求を受け付ける場合もある。なお、受付部12Qは、分析結果取得要求を、サーバ装置12の操作部(キーボード511、マウス512(図9参照))などから受付けてもよい。
受付部12Qは、受付けた分析結果取得要求を、分析部12Rへ出力する。分析部12Rは、分析結果取得要求に基づいて、複数の全天球パノラマ画像60を分析する。
本実施の形態では、分析部12Rは、受付部12Qから受付けた分析結果取得要求に含まれる、拠点ID、分析内容情報、および分類条件を読取る。また、分析結果取得要求に、比較指示情報が含まれる場合には、分析部12Rは、更に、該比較指示情報を読取る。
そして、分析部12Rは、読取った拠点IDによって識別される拠点Bに設置された撮影装置14で撮影された全ての全天球パノラマ画像60における、読取った分析内容情報によって示される分析内容を分析する。
このとき、受付部12Qから受付けた分析結果取得要求に、分類条件が含まれると仮定する。この場合、分析部12Rは、読取った拠点IDによって識別される拠点Bに設置された撮影装置14で撮影された全ての全天球パノラマ画像60を、該分類条件で複数のグループに分類する。そして、分析部12Rは、分類した各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60を分析する。
例えば、分類条件が、分類項目として、撮影日時および撮影場所を含むと仮定する。この場合、分析部12Rは、読取った拠点IDによって識別される拠点Bに設置された撮影装置14で撮影された全ての全天球パノラマ画像60を、撮影日時ごとおよび撮影した撮影装置14ごとに複数のグループに分類する。
本実施の形態では、分析部12Rは、複数の全天球パノラマ画像60を、分類項目によって示されるタイムスケールごとに分類した各タイムスケールで表される撮影日時ごとに、該拠点IDによって識別される拠点Bに設置された撮影装置14で撮影された全天球パノラマ画像60ごとに分類したグループごとに、分析する。
詳細には、分析部12Rは、複数の全天球パノラマ画像60を、分析範囲を示す撮影日時(撮影開始日時と撮影終了日時)における、タイムスケール(分析単位を示す期間)ごと、および、撮影装置14ごと、に分類したグループごとに、グループに属する複数の全天球パノラマ画像60を分析する。
このとき、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、受付けた分析内容情報によって示される分析内容を分析する。
例えば、受付けた分析内容情報によって示される分析内容が、全天球パノラマ画像60に含まれる人物の数であったと仮定する。この場合、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、含まれる人物の数を分析する。詳細には、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、含まれる人物の数の合計値を算出する。
具体的には、分析部12Rは、画像管理DB12C(図14参照)から、該グループに属する複数の全天球パノラマ画像60の各々の画像IDを特定する。そして、特定した画像IDに対応する特徴情報から、分析内容情報によって示される分析内容に応じた分析結果を得る。
例えば、分析部12Rは、グループに属する複数の全天球パノラマ画像60の各々に対応する特徴情報から、該グループに属する複数の全天球パノラマ画像60の各々の、人物の数を読取る。そして、分析部12Rは、グループごとに、読取った人物の数の合計値を算出することで、該グループに対応する分析結果(ここでは、全天球パノラマ画像60に含まれる人物の数の合計値)を得る。
また、例えば、受付けた分析内容情報によって示される分析内容が、全天球パノラマ画像60における特定領域内の人物の数であったと仮定する。この場合、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60における特定領域内に含まれる人物の数を分析する。詳細には、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60の特定領域内に含まれる人物の数の合計値を算出する。
具体的には、分析部12Rは、画像管理DB12C(図14参照)から、該グループに属する複数の全天球パノラマ画像60の各々の画像IDを特定する。そして、特定した画像IDに対応する特徴情報から、該グループに属する複数の全天球パノラマ画像60の各々の、特定領域IDに対応する人物の数を読取る。そして、分析部12Rは、グループごとに、読取った人物の数の合計値を算出することで、該グループに対応する分析結果(ここでは、全天球パノラマ画像60に含まれる特定領域内の人物の数の合計値)を得る。
また、例えば、受付けた分析内容情報によって示される分析内容が、全天球パノラマ画像60に描画された描画画像の数であったと仮定する。この場合、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60に描画された描画画像の数を分析する。詳細には、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60に描画された描画画像の数の合計値を算出する。
具体的には、分析部12Rは、画像管理DB12C(図14参照)から、該グループに属する複数の全天球パノラマ画像60の各々の画像IDを特定する。そして、特定した画像IDに対応する特徴情報から、該グループに属する複数の全天球パノラマ画像60の各々に描画された、描画画像の数を算出する。そして、分析部12Rは、グループごとに、算出した描画画像の数の合計値を算出することで、該グループに対応する分析結果(ここでは、全天球パノラマ画像60に含まれる描画画像の数の合計値)を得る。
また、例えば、受付けた分析内容情報によって示される分析内容が、全天球パノラマ画像60に含まれる特定の人物の数であったと仮定する。この場合、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60に特定の人物が含まれるか否かを判断する。特定の人物とは、特定の特徴情報によって表される。例えば、分析部12Rは、分析結果取得要求に含まれる分析内容情報として、特定の人物の特徴情報を情報処理端末18から受付ければよい。そして、分析部12Rは、該特徴情報と一致または類似する特徴情報に対応する人物IDを特定する。さらに、分析部12Rは、各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60に含まれる特定の人物の数の合計値を算出する。
具体的には、分析部12Rは、画像管理DB12C(図14参照)から、該グループに属する複数の全天球パノラマ画像60の各々の画像IDを特定する。そして、特定した画像IDに対応する特徴情報から、該グループに属する複数の全天球パノラマ画像60の内、特定した人物IDを含む全天球パノラマ画像60を特定する。そして、分析部12Rは、グループごとに、特定した全天球パノラマ画像60に含まれる、特定した人物IDによって識別される人物の数の合計値を算出する。これにより、該グループに対応する分析結果(ここでは、全天球パノラマ画像60に含まれる特定の人物の数)を算出する。
このようにして、分析部12Rは、取得した分析結果取得要求に応じて、複数の全天球パノラマ画像60を分析する。そして、分析部12Rは、分析結果を結果画像作成部12Tへ出力する。
結果画像作成部12Tは、分析部12Rから受付けた分析結果を示す結果画像を作成する。
結果画像は、分析結果を示す画像である。結果画像は、分析結果をグラフや集合や分散などによって表した画像である。グラフは、例えば、棒グラフ、円グラフ、帯グラフ、折れ線グラフ、散布図、箱ひげ図、ヒストグラム、パレート図などである。本実施の形態では、結果画像は、分析結果を示す棒グラフである場合を一例として説明する。
具体的には、結果画像作成部12Tは、グループごとの分析結果の各々を示す複数の分析結果画像を含む、結果画像を作成する。本実施の形態では、グループの各々に対応する分析結果画像を棒グラフで示した、結果画像を作成する。
図18~図21は、結果画像70の一例の模式図である。図18~図21の各々には、分析内容情報の各々に対応する、結果画像71~結果画像74の各々を、結果画像70として示した。
図18は、分析内容情報が“全天球パノラマ画像60に含まれる人物の数”であるときの、結果画像71の一例を示す模式図である。
なお、図18には、分析結果取得要求に含まれる拠点IDによって識別される拠点Bに位置する複数の撮影装置14が、撮影装置ID“t001”,“t002”,“t003”の各々によって識別される撮影装置14であった場合を示した。また、図18には、分析結果取得要求に含まれる分類条件が、撮影日時および撮影装置14、の各々の分類項目を含む場合を示した。また、分類条件としての撮影日時は、分析範囲を示す撮影日時(撮影開始日時:2015/07/05 10:00と撮影終了日時:2015/07/05 10:40)における、タイムスケール“10分”を示す場合を、一例として示した。
図18に示すように、結果画像71は、複数の全天球パノラマ画像60に含まれる人物の数の分析結果を、分類条件としての撮影日時および撮影場所(撮影装置14)のグループごとに示した画像である。言い換えると、結果画像71は、該グループ(撮影日時および撮影装置14)ごとの分析結果を示す分析結果画像Gを含む。
図18中、分析結果画像Ga1~Ga4の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05 10:00”からタイムスケール“10分”ごとの各々で撮影された全天球パノラマ画像60の、人物の数の分析結果を示す。また、図18中、分析結果画像Gb1~Gb4の各々は、撮影装置ID“t002”によって識別される撮影装置14で、撮影開始日時“2015/07/05 10:00”からタイムスケール“10分”ごとの各々で撮影された全天球パノラマ画像60の、人物の数の分析結果を示す。また、図18中、分析結果画像Gc1~Gc4の各々は、撮影装置ID“t003”によって識別される撮影装置14で、撮影開始日時“2015/07/05 10:00”からタイムスケール“10分”ごとの各々で撮影された全天球パノラマ画像60の、人物の数の分析結果を示す。
図19は、分析内容情報が“全天球パノラマ画像60における特定領域内の人物の数”であるときの、結果画像72の一例を示す模式図である。
なお、図19には、分析結果取得要求に含まれる拠点IDによって識別される拠点Bに位置する、撮影装置14が、撮影装置ID“t001”によって識別される撮影装置14であった場合を示した。また、図19には、分析結果取得要求に含まれる分類条件が、撮影日時ごと、および、特定領域ごと、の各々の分類項目を含む場合を示した。また、分類条件としての撮影日時が、分析範囲を示す撮影日時(撮影開始日時:2015/07/05 10:00と撮影終了日時:2015/07/05 10:40)における、タイムスケール“10分”を示す場合を、一例として示した。
図19に示すように、結果画像72は、複数の全天球パノラマ画像60の各々における特定領域内の人物の数の分析結果を、分類条件としての撮影日時および特定領域のグループごとに示した画像である。言い換えると、結果画像72は、該グループ(撮影日時および特定領域)ごとの分析結果を示す分析結果画像Gを含む。
図19中、分析結果画像Gd1~Gd4の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05 10:00”からタイムスケール“10分”ごとの各々で撮影された全天球パノラマ画像60における、特定領域ID“sp1001”によって識別される特定領域内の、人物の数の分析結果を示す。また、図19中、分析結果画像Ge1~Ge4の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05 10:00”からタイムスケール“10分”ごとの各々で撮影された全天球パノラマ画像60における、特定領域ID“sp1002”によって識別される特定領域内の、人物の数の分析結果を示す。
図20は、分析内容情報が“全天球パノラマ画像60に描画された描画画像の数”であるときの、結果画像73の一例を示す模式図である。
なお、図20には、分析結果取得要求に含まれる拠点IDによって識別される拠点Bに位置する、複数の撮影装置14が、撮影装置ID“t001”,“t002”,“t003”の各々によって識別される撮影装置14であった場合を示した。また、図20には、分析結果取得要求に含まれる分類条件が、撮影日時ごと、および撮影装置14ごと、の各々の分類項目を含む場合を示した。また、分類条件としての撮影日時は、分析範囲を示す撮影日時(撮影開始日時:2015/07/05と撮影終了日時:2015/07/08)における、タイムスケール“1日”を示す場合を、一例として示した。
図20に示すように、結果画像73は、複数の全天球パノラマ画像60に描画された描画画像の数の分析結果を、分類条件としての撮影日時および撮影場所(撮影装置14)のグループごとに示した画像である。言い換えると、結果画像73は、該グループ(撮影日時および撮影装置14)ごとの分析結果を示す分析結果画像Gを含む。
図20中、分析結果画像Gf1~Gf4の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05”からタイムスケール“1日”ごとの各々で撮影された全天球パノラマ画像60の、描画画像の数の分析結果を示す。また、図20中、分析結果画像Gg1~Gg4の各々は、撮影装置ID“t002”によって識別される撮影装置14で、撮影開始日時“2015/07/05”からタイムスケール“1日”ごとの各々で撮影された全天球パノラマ画像60の、描画画像の数の分析結果を示す。また、図20中、分析結果画像Gh1~Gh4の各々は、撮影装置ID“t003”によって識別される撮影装置14で、撮影開始日時“2015/07/05”からタイムスケール“1日”ごとの各々で撮影された全天球パノラマ画像60の、描画画像の数の分析結果を示す。
図21は、分析内容情報が“全天球パノラマ画像60に含まれる特定の人物の数”であるときの、結果画像74の一例を示す模式図である。
なお、図21には、分析結果取得要求に含まれる拠点IDによって識別される拠点Bに位置する、複数の撮影装置14が、撮影装置ID“t001”によって識別される撮影装置14であった場合を示した。また、図21には、分析結果取得要求に含まれる分類条件が、撮影日時ごと、および特定の人物ごと、の各々の分類項目を含む場合を示した。また、分類条件としての撮影日時は、分析範囲を示す撮影日時(撮影開始日時:2015/07/05と撮影終了日時:2015/07/08)における、タイムスケール“1日”を示す場合を、一例として示した。
図21に示すように、結果画像74は、複数の全天球パノラマ画像60に含まれる特定の人物の数の分析結果を、分類条件としての撮影日時および特定の人物のグループごとに示した画像である。言い換えると、結果画像74は、該グループ(撮影日時および特定の人物)ごとの分析結果を示す分析結果画像Gを含む。
図21中、分析結果画像Gj1~Gj2の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05”からタイムスケール“1日”ごとの各々で撮影された全天球パノラマ画像60の、人物ID“h0011”によって識別される人物の数の分析結果を示す。また、図21中、分析結果画像Gk1~Gk4の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05”からタイムスケール“1日”ごとの各々で撮影された全天球パノラマ画像60の、人物ID“h0012”によって識別される人物の数の分析結果を示す。
また、図21中、分析結果画像Gm2~Gm4の各々は、撮影装置ID“t001”によって識別される撮影装置14で、撮影開始日時“2015/07/05”からタイムスケール“1日”ごとの各々で撮影された全天球パノラマ画像60の、人物ID“h0013”によって識別される人物の数の分析結果を示す。
図11に戻り説明を続ける。このようにして結果画像作成部12Tは、分析部12Rから受付けた分析結果を示す結果画像70を作成する。結果画像作成部12Tは、作成した結果画像70と、分析部12Rによる分析結果と、を表示情報作成部12Sへ出力する。
表示情報作成部12Sは、表示情報を作成する。表示情報は、結果画像70の示す分析結果の導出の根拠とした全天球パノラマ画像60(根拠画像)や結果画像70の表示に関する情報である(詳細後述)。
表示情報作成部12Sは、初期画像設定部12V(第1の設定部)と、初期視点方向設定部12W(第2の設定部)と、埋込部12Xと、を含む。
初期画像設定部12Vは、第1の設定部に相当する。初期画像設定部12Vは、分類条件に応じた複数のグループごとに、各グループに属する複数の全天球パノラマ画像60の内、情報処理端末18において最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する。
例えば、初期画像設定部12Vは、各グループに属する複数の全天球パノラマ画像60の内、撮影日時情報に示される撮影日時の最も新しい(または最も古い)全天球パノラマ画像60の画像IDを、最初に表示する全天球パノラマ画像60の初期画像情報として設定する。
本実施の形態では、初期画像設定部12Vは、各グループに対応する全天球パノラマ画像60ごとに、初期画像情報を設定する。
なお、初期画像設定部12Vは、受付部12Qが受付けた分析内容情報によって示される分析内容に応じて、初期画像情報を設定することが好ましい。すなわち、初期画像設定部12Vは、分析部12Rによる分析内容を示す分析内容情報に応じて、初期画像情報を設定することが好ましい。
例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60に含まれる人物の数であったとする。この場合、初期画像設定部12Vは、各グループに属する全天球パノラマ画像60の内、含まれる人物の数が最も多い(または最も少ない)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
なお、最も多くの(または最も少人数の)人物を含む全天球パノラマ画像60が複数ある場合には、これらの全天球パノラマ画像60の内、撮影日時の最も新しい(または最も古い)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
また、例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60における特定領域内の人物の数であったとする。この場合、初期画像設定部12Vは、各グループに対応する全天球パノラマ画像60の内、特定領域内に含まれる人物の数が最も多い(または最も少ない)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
なお、最も多くの人物(または最も少人数の人物)を特定領域内に含む全天球パノラマ画像60が複数ある場合には、これらの全天球パノラマ画像60の内、撮影日時の最も新しい(または最も古い)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
また、例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60に描画された描画画像の数であったとする。この場合、初期画像設定部12Vは、各グループに対応する根拠画像に含まれる1または複数の全天球パノラマ画像60の内、描画された描画画像の数が最も多い(または最も少ない)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
なお、最も多くの数の(または最も少ない数の)描画画像を描画された全天球パノラマ画像60が複数ある場合には、これらの全天球パノラマ画像60の内、撮影日時の最も新しい(または最も古い)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
また、例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60に含まれる特定の人物の数であったとする。この場合、初期画像設定部12Vは、各グループに対応する根拠画像に含まれる1または複数の全天球パノラマ画像60の内、含まれる特定の人物の数が最も多い(または最も少ない)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
なお、特定の人物の数が最も多い(または最も少ない)全天球パノラマ画像60が複数ある場合には、これらの全天球パノラマ画像60の内、撮影日時の最も新しい(または最も古い)全天球パノラマ画像60の画像IDを、初期画像情報として設定すればよい。
このようにして、初期画像設定部12Vは、分析部12Rで分類したグループごとに、初期画像情報を設定する。
初期視点方向設定部12Wは、第2の設定部に相当する。初期視点方向設定部12Wは、全天球パノラマ画像60における、初期視点方向を示す初期視点方向情報を設定する。初期視点方向は、視点方向の初期方向である。
本実施の形態では、初期視点方向設定部12Wは、初期画像設定部12Vが設定した初期画像情報によって特定される全天球パノラマ画像60の、初期視点方向を示す初期視点方向情報を設定する。すなわち、初期視点方向情報は、視点方向情報の初期値である。
ここで、上述したように、本実施の形態では、視点方向情報は、三次元の立体球状と仮定した全天球パノラマ画像60における、矩形状の所定領域Sの4つの頂点の内の1つの頂点CPの三次元座標情報(x,y,z)と、所定領域Sの範囲(幅および高さ(w,h))と、で表す。このため、初期視点方向情報も、三次元座標情報(x,y,z)と、所定領域Sの範囲(幅および高さ(w,h))と、で表す場合を説明する。なお、初期視点方向情報は、画角や角度などで表しても良く、三次元座標情報と幅と高さで表す方法に限定されない。
本実施の形態では、初期視点方向設定部12Wは、グループに属する全天球パノラマ画像60ごとに、初期画像情報によって示される最初に表示する全天球パノラマ画像60の、初期視点方向情報を設定する。
初期視点方向設定部12Wは、分析内容情報によって示される分析内容に応じて、初期視点方向情報を設定することが好ましい。
例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60に含まれる人物の数であったとする。この場合、初期視点方向設定部12Wは、初期画像設定部12Vが設定した初期画像情報の示す全天球パノラマ画像60における、人物の存在する領域、または、最も多くの人物が存在する領域を、初期視点方向情報として設定する。
また、例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60における特定領域内の人物の数であったとする。この場合、初期視点方向設定部12Wは、初期画像設定部12Vが設定した初期画像情報の示す全天球パノラマ画像60における、特定領域を含む領域を、初期視点方向情報として設定する。なお、初期画像情報の示す全天球パノラマ画像60に、複数の特定領域が含まれる場合には、最も多くの(または最も少人数の)人物の存在する特定領域を含む領域を、初期視点方向情報として設定すればよい。
また、例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60に描画された描画画像の数であったとする。この場合、初期視点方向設定部12Wは、初期画像設定部12Vが設定した初期画像情報の示す全天球パノラマ画像60における、描画された描画画像を含む領域を、初期視点方向情報として設定する。なお、初期画像情報の示す全天球パノラマ画像60に、複数の描画画像が描画されている場合には、最も多くの描画画像の描画された領域を、初期視点方向情報として設定すればよい。
また、例えば、分析内容情報の示す分析内容が、全天球パノラマ画像60に含まれる特定の人物の数であったとする。この場合、初期視点方向設定部12Wは、初期画像設定部12Vが設定した初期画像情報の示す全天球パノラマ画像60における、特定の人物を含む領域を、初期視点方向情報として設定する。なお、初期画像情報の示す全天球パノラマ画像60に、特定の人物が複数含まれる場合には、特定の人物を最も多く含む領域を、初期視点方向情報として設定すればよい。
埋込部12Xは、結果画像作成部12Tが作成した結果画像70に、表示情報を埋め込む。
表示情報は、上述したように、結果画像70の示す分析結果の導出の根拠とした全天球パノラマ画像60(根拠画像)や結果画像70の表示に関する情報である。本実施の形態では、表示情報は、分析結果の導出の根拠とした全天球パノラマ画像60(根拠画像)を特定するための特定情報と、初期画像設定部12Vが設定した初期画像情報、および初期視点方向設定部12Wが設定した初期視点方向情報を含む。具体的には、表示情報は、分析結果の導出の根拠とした全天球パノラマ画像60(根拠画像)を特定するための特定情報(例えば、拠点ID、撮影装置ID、画像ID)、分析時にグループの分類に用いた分類条件(撮影時間のタイムスケールなど)、グループID、グループに対応する初期画像情報および初期視点方向情報、を含む。
なお、表示情報のデータ形式は限定されない。例えば、表示情報は、これらの情報を特定するためのURL(Uniform Resource Locator)で表す。
本実施の形態では、埋込部12Xは、結果画像70に含まれる、各グループの各々に対応する分析結果画像Gの各々に、表示情報を埋め込む。
表示情報の埋込について、具体的に説明する。
例えば、結果画像作成部12Tが、結果画像71を作成したとする(図18参照)。結果画像71は、上述したように、分析内容情報が“全天球パノラマ画像60に含まれる人物の数”であるときの結果画像70の一例である。
この場合、埋込部12Xは、各グループの分析結果画像Ga1~Ga4、Gb1~Gb4、Gc1~Gc4の各々に、対応する表示情報を埋め込む。
例えば、分析結果画像Ga1は、拠点IDによって識別される拠点Bに位置する撮影装置ID“t001”の撮影装置14で撮影された、撮影開始日時(2015/07/05 10:00)からタイムスケール“10分”の間に撮影された全天球パノラマ画像60における、人物の数の分析結果である。そして、このグループの分析結果画像Ga1の示す分析結果の根拠画像が、該撮影装置14で撮影された複数の全天球パノラマ画像60であったとする。そして、初期画像設定部12Vが、これらの複数の全天球パノラマ画像60のうちの1つを初期画像情報として設定し、初期視点方向設定部12Wが、初期画像情報によって識別される全天球パノラマ画像60の初期視点方向情報を設定したとする。
この場合、埋込部12Xは、これらの情報を含む表示情報を、結果画像71における分析結果画像Ga1の領域に埋め込む。具体的には、埋込部12Xは、根拠画像を特定するための特定情報(例えば、拠点ID、撮影装置ID、画像ID)、グループの分類条件(撮影開始日時、タイムスケール、撮影装置ID)、グループID、グループに対応する初期画像情報および初期視点方向情報、を含む表示情報を、埋め込む。
なお、表示情報は、更に、根拠画像を撮影した撮影装置14の設置された拠点Bの拠点レイアウト画像を特定可能な情報を、更に含むものであってもよい。
このようにして、埋込部12Xは、結果画像71における、各グループの分析結果画像G(Ga1~Ga4、Gb1~Gb4、Gc1~Gc4)の各々に、対応する表示情報を埋め込む。これにより、各グループの分析結果画像Gの各々に、対応する表示情報を対応づけることができる。
すなわち、結果画像71に表示情報を埋め込む事によって、結果画像71に含まれる各グループの分析結果画像Gの各々に対応する、分析結果画像Gの示す分析結果の導出の根拠となる全天球パノラマ画像60(根拠画像)の表示に関する情報が対応づけられる。
埋込部12Xは、分析内容情報の異なる他の結果画像70についても同様にして、各グループの分析結果画像Gの各々に、表示情報を埋め込めばよい。
なお、表示情報は、結果画像70の示す分析結果の導出の根拠とした全天球パノラマ画像60(根拠画像)と共に、根拠画像に含まれる複数の全天球パノラマ画像60の各々に対応する、比較対象の他の全天球パノラマ画像60を特定するための比較特定情報を、更に含んだものであってもよい。
具体的には、制御部12Aの受付部12Qが、比較指示情報を含む分析結果取得要求を受付けた場合に、このような処理を行えばよい。比較指示情報は、分類条件に含まれる分類項目の一部の異なる分析結果を要求することを意味する。
この場合、結果画像作成部12Tは、分析部12Rから受付けた分析結果から、分類項目の一部の異なる複数の結果画像70を作成する。図22は、結果画像75の一例を示す模式図である。
図22に示すように、分析結果取得要求に比較指示情報が含まれる場合、例えば、結果画像作成部12Tは、分類項目の1つである撮影日の異なる複数の結果画像(結果画像75A、結果画像75B)を含む結果画像75を、作成すればよい。
結果画像75Aは、結果画像71(図18参照)と同様である。結果画像75Aは、各グループに対応する分析結果画像G(Ga1~Ga4,Gb1~Gb4,Gc1~Gc4)を含む。結果画像75Bは、結果画像75Aとは分類項目である撮影日が異なる以外は、結果画像75Aと同じ分析内容を分析した分析結果画像G(Ga’1~Ga’4,Gb’1~Gb’4,Gc’1~Gc’4)を含む。
そして、埋込部12Xは、上記と同様にして、各グループの分析結果画像Gの各々に、表示情報を埋め込めばよい。なお、分析結果取得要求に比較指示情報が含まれる場合、結果画像75における分析結果画像Gの各々に、分類項目の一部の異なる(例えば、撮影日のみが異なる)比較対象の他の全天球パノラマ画像60を特定するための比較特定情報(例えば画像ID)を更に含む、表示情報を埋め込めばよい。
図11に戻り説明を続ける。表示情報作成部12Sは、表示情報を埋め込んだ結果画像70を、送受信部12Kへ出力する。送受信部12Kは、分析結果取得要求の送信元の情報処理端末18へ、結果画像70を送信する。
一方、受信部12Hは、情報処理端末18から、根拠画像取得要求を受付ける。根拠画像取得要求は、結果画像70に含まれる分析結果画像Gに埋め込んだ表示情報を含む。すなわち、ユーザは、表示された結果画像70における、所望の分析結果画像Gを選択することで、該分析結果画像Gに埋め込まれた表示情報を含む根拠画像取得要求が、サーバ装置12へ送信される(詳細後述)。
受信部12Hは、受付けた根拠画像取得要求を、根拠画像特定部12Jへ出力する。
根拠画像特定部12Jは、特定部に相当する。根拠画像特定部12Jは、結果画像作成部12Tが作成した結果画像70の示す分析結果の導出の根拠とした全天球パノラマ画像60を、根拠画像として特定する。
根拠画像特定部12Jは、結果画像70の示す分析結果を分析部12Rが導出するときに使用した複数の全天球パノラマ画像60を、根拠画像として特定すればよい。本実施の形態では、根拠画像特定部12Jは、分析部12Rで分類したグループの分析結果ごとに、導出の根拠とした全天球パノラマ画像60を根拠画像として特定する。
詳細には、根拠画像特定部12Jは、根拠画像取得要求に含まれる表示情報に示される、根拠画像を特定するための特定情報を読取る。本実施の形態では、根拠画像特定部12Jは、表示情報から、特定情報として、拠点ID、撮影装置ID、または画像IDを読取る。ここでは、表示情報が、特定情報として拠点IDを含む場合を一例として説明する。この場合、根拠画像特定部12Jは、表示情報に含まれる拠点IDに対応する撮影装置IDを拠点管理DB12D(図12(A)参照)から特定する。そして、根拠画像特定部12Jは、特定した撮影装置IDに対応する全天球パノラマ画像60を画像管理DB12Cから特定する(図14参照)。これにより、根拠画像特定部12Jは、根拠画像を特定する。
すなわち、根拠画像特定部12Jは、指定された分析結果画像Gのグループに属する、該分析結果画像Gの示す分析結果の根拠として用いた全天球パノラマ画像60を、根拠画像として特定する。
そして、根拠画像特定部12Jは、特定した根拠画像としての複数の全天球パノラマ画像60と、受付けた根拠画像取得要求(すなわち、表示情報を含む)と、を送受信部12Kへ出力する。
送受信部12Kは、根拠画像特定部12Jから受付けた、根拠画像としての複数の全天球パノラマ画像60と、情報処理端末18から受付けた根拠画像取得要求に含まれる表示情報と、を、情報処理端末18へ送信する。
次に、情報処理端末18の機能構成を説明する。情報処理端末18は、送受信部18Aと、受付部18Cと、表示制御部18Dと、記憶・読出部18Bと、記憶部18Eと、入力部18Fと、表示部18Gと、を備える。
送受信部18A、記憶・読出部18B、受付部18C、表示制御部18D、および記憶部18Eは、データや信号を授受可能に接続されている。
受付部18Cは、入力部18Fに接続されている。受付部18Cは、ユーザによる入力部18Fの操作指示を受付ける。入力部18Fは、キーボード511やマウス512に相当する(図9参照)。表示制御部18Dは、表示部18Gへ各種画像を表示する。表示部18Gは、ディスプレイ508に相当する(図9参照)。送受信部18Aは、ネットワーク20を介してサーバ装置12と通信する。記憶部18Eは、各種データを記憶する。例えば、記憶部18Eは、情報処理端末18を操作するユーザのユーザIDを記憶する。記憶・読出部18Bは、記憶部18Eへの各種データの記憶、および記憶部18Eからの各種データの読出しを行う。
ユーザは、入力部18Fを操作することで、分析結果取得要求や、根拠画像取得要求を入力する。
例えば、ユーザは、表示部18Gを参照しながら、分析結果取得要求を入力する。
具体的には、表示制御部18Dは、図17に示す操作画面50を表示部18Gに表示する。上述したように、操作画面50は、選択可能な拠点IDの一覧(50~50)と、複数の分析内容情報(50A~50D)と、を含む。ユーザは、操作画面50における、所望の拠点IDの行および分析内容情報の表示欄(表示欄50A~50D、50A~50D、50A~50D)を選択する。例えば、表示欄50Aを選択することで、拠点ID“s001”によって識別される拠点Bと、分析内容情報“人物の数”を選択することができる。受付部18Cは、選択された拠点IDおよび分析内容情報を含む分析結果取得要求を、送受信部18Aを介してサーバ装置12へ送信する。
なお、このとき、ユーザは、入力部18Fを操作することで、分類条件や、比較指示情報を更に入力することができる。この場合、受付部18Cは、分類条件および比較指示情報を更に含む、分析結果取得要求を、送受信部18Aを介してサーバ装置12へ送信する。
送受信部18Aは、サーバ装置12へ送信した分析結果取得要求に対する応答として、サーバ装置12から、結果画像70を受信する。結果画像70には、上述したように、分類条件で分類した各グループの各々の分析結果を示す分析結果画像Gが含まれ、分析結果画像Gの各々に表示情報が埋め込まれている。
送受信部18Aは、結果画像70を受信すると、表示制御部18Dへ出力する。表示制御部18Dは、受付けた結果画像70を、表示部18Gへ表示する。
このため、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に含まれる人物の数”である場合、表示部18Gには、例えば、図18に示す結果画像71が表示される。
また、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60における特定領域内の人物の数”である場合、表示部18Gには、例えば、図19に示す結果画像72が表示される。
また、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に描画された描画画像の数”である場合、表示部18Gには、例えば、図20に示す結果画像73が表示される。
また、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に含まれる特定の人物の数”である場合、表示部18Gには、例えば、図21に示す結果画像74が表示される。
また、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に含まれる人物の数”であり、且つ比較指示情報が含まれる場合、表示部18Gには、例えば、図22に示す結果画像75が表示される。
そして、ユーザは、入力部18Fを操作することで、表示された結果画像70の示す分析結果の導出の根拠とした全天球パノラマ画像60である根拠画像の、根拠画像取得要求を入力する。
本実施の形態では、ユーザは、表示部18Gに表示された結果画像70における、各グループに対応する分析結果画像Gの表示領域を操作指示する。これにより、分析結果画像Gの示す分析結果の根拠とした根拠画像の、根拠画像取得要求が入力される。
ここで、上述したように、結果画像70における、グループに対応する分析結果画像Gの各々には、表示情報が埋め込まれている。受付部18Cは、入力部18Fによって入力された分析結果画像Gに対応する表示情報を含む、根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信すればよい。
具体的には、例えば、ユーザが、入力部18Fを操作することで、図18に示す結果画像71における、分析結果画像Ga1の表示領域を指示したとする。すると、受付部18Cは、該分析結果画像Ga1に埋め込まれている表示情報を特定し、該表示情報を含む根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信すればよい。
上述したように、表示情報は、分析結果の導出の根拠とした全天球パノラマ画像60(根拠画像)を特定するための特定情報(例えば、拠点ID、撮影装置ID、画像ID)、分析時にグループの分類に用いた分類条件(撮影時間のタイムスケールなど)、グループID、グループに対応する初期画像情報および初期視点方向情報、を含む。
このため、情報処理端末18の送受信部18Aは、表示情報を含む根拠画像取得要求を送信することで、送受信部18Aは、ユーザによって指示されたグループの分析結果画像Gに対応する、根拠画像を特定するための特定情報を、サーバ装置12へ送信することとなる。
そして、情報処理端末18の送受信部18Aは、根拠画像および表示情報をサーバ装置12から受信する。
サーバ装置12から受信した根拠画像には、分析の根拠とした複数の全天球パノラマ画像60が含まれる。表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、受信した表示情報に含まれる、初期画像情報によって示される全天球パノラマ画像60を、該表示情報に含まれる初期視点方向情報によって示される視点方向で、表示部18Gに表示する。
このため、情報処理端末18には、結果画像70の示す分析結果の根拠として用いた全天球パノラマ画像60が表示される。また、情報処理端末18には、結果画像70の示す分析結果の根拠として用いた複数の全天球パノラマ画像60の内、分析内容情報に応じた全天球パノラマ画像60が、分析内容情報に応じた視点方向で表示される。
根拠画像の表示について具体的に説明する。図23~図28は、根拠画像の表示の具体的な説明図である。
まず、図23を用いて説明する。例えば、図23(A)に示す結果画像71が、情報処理端末18の表示部18Gに表示されたと仮定する。図23(A)に示す結果画像71は、図18と同様である。すなわち、結果画像71は、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に含まれる人物の数”である場合の、結果画像71である。
そして、例えば、ユーザによる入力部18Fの操作によって、分析結果画像Ga1の表示領域が指示されたとする。すると、受付部18Cは、該分析結果画像Ga1に埋め込まれている表示情報を特定し、該表示情報を含む根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信する。そして、情報処理端末18の送受信部18Aは、該根拠画像取得要求に対応する、根拠画像および表示情報を、サーバ装置12から受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、受信した表示情報に含まれる、初期画像情報によって示される全天球パノラマ画像81Aを、該表示情報に含まれる初期視点方向情報によって示される視点方向で、表示部18Gに表示する。
このため、例えば、図23(A)に示す結果画像71における分析結果画像Ga1の表示領域が指示されたとする。すると、該分析結果画像Ga1の示す分析結果の導出の根拠画像として、例えば、図23(B)に示す全天球パノラマ画像81Aを含む表示画面81が、表示部18Gに表示される。表示画面81は、表示される表示画面80の一例である。なお、表示画面81には、図23(B)に示すように、該全天球パノラマ画像81Aを撮影した撮影装置14の位置する拠点Bのレイアウト画像81Bを併せて表示してもよい。この場合、レイアウト画像81Bには、全天球パノラマ画像81Aを撮影した撮影装置14の注視を促す画像Y(例えば、矢印画像)を併せて表示することが好ましい。
また、例えば、図23(A)に示す結果画像71における分析結果画像Gb4の表示領域が指示されたとする。すると、該分析結果画像Gb4の示す分析結果の導出の根拠画像として、例えば、図23(C)に示す全天球パノラマ画像82Aを含む表示画面82が、表示部18Gに表示される。なお、表示画面82には、図23(C)に示すように、該全天球パノラマ画像82Aを撮影した撮影装置14の位置する拠点Bのレイアウト画像82Bを併せて表示してもよい。この場合、レイアウト画像82Bには、全天球パノラマ画像82Aを撮影した撮影装置14の注視を促す画像Y(例えば、矢印画像)を併せて表示することが好ましい。
なお、表示制御部18Dは、サーバ装置12から受信した根拠画像に含まれる、2枚以上の全天球パノラマ画像60を表示部18Gに表示してもよい。
例えば、図23(A)に示す結果画像71における分析結果画像Gb4の表示領域が指示されたとする。すると、該分析結果画像Gb4の示す分析結果の導出の根拠画像として、例えば、図24に示す、該根拠画像に含まれるすべての全天球パノラマ画像83A(全天球パノラマ画像83A~全天球パノラマ画像83A)を含む表示画面83を、表示部18Gに表示してもよい。この場合についても、これらの全天球パノラマ画像83A(全天球パノラマ画像83A~全天球パノラマ画像83A)を撮影した撮影装置14の位置する拠点Bのレイアウト画像83Bを併せて表示してもよい。
次に、図25を用いて説明する。例えば、図25(A)に示す結果画像72が、情報処理端末18の表示部18Gに表示されたと仮定する。図25(A)に示す結果画像72は、図19と同様である。すなわち、結果画像72は、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60における特定領域内の人物の数”である場合の、結果画像72である。
そして、例えば、ユーザによる入力部18Fの操作によって、分析結果画像Gd1の表示領域が指示されたとする。すると、受付部18Cは、該分析結果画像Gd1に埋め込まれている表示情報を特定し、該表示情報を含む根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信する。そして、情報処理端末18の送受信部18Aは、該根拠画像取得要求に対応する、根拠画像および表示情報を、サーバ装置12から受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、受信した表示情報に含まれる、初期画像情報によって示される全天球パノラマ画像86Aを、該表示情報に含まれる初期視点方向情報によって示される視点方向で、表示部18Gに表示する。
このため、例えば、図25(A)に示す結果画像72における分析結果画像Gd1の表示領域が指示されたとする。すると、該分析結果画像Gd1の示す分析結果の導出の根拠画像として、例えば、図25(B)に示す全天球パノラマ画像86Aを含む表示画面86が、表示部18Gに表示される。なお、分析内容情報が、“全天球パノラマ画像60における特定領域内の人物の数”である場合、該特定領域を示す枠画像などの画像を、該全天球パノラマ画像86Aに重畳して表示することが好ましい。
また、表示画面86には、図25(B)に示すように、該全天球パノラマ画像86Aを撮影した撮影装置14の位置する拠点Bのレイアウト画像86Bを併せて表示してもよい。
また、例えば、図25(A)に示す結果画像72における分析結果画像Ge2の表示領域が指示されたとする。すると、該分析結果画像Ge2の示す分析結果の導出の根拠画像として、例えば、図25(C)に示す全天球パノラマ画像87Aを含む表示画面87が、表示部18Gに表示される。なお、表示画面87には、図25(C)に示すように、該全天球パノラマ画像87Aを撮影した撮影装置14の位置する拠点Bのレイアウト画像87Bを併せて表示してもよい。
次に、図26を用いて説明する。例えば、図26(A)に示す結果画像73が、情報処理端末18の表示部18Gに表示されたと仮定する。図26(A)に示す結果画像73は、図20と同様である。すなわち、結果画像73は、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に描画された描画画像の数”である場合の、結果画像73である。
そして、例えば、ユーザによる入力部18Fの操作によって、分析結果画像Gg2の表示領域が指示されたとする。すると、受付部18Cは、該分析結果画像Gg2に埋め込まれている表示情報を特定し、該表示情報を含む根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信する。そして、情報処理端末18の送受信部18Aは、該根拠画像取得要求に対応する、根拠画像および表示情報を、サーバ装置12から受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、受信した表示情報に含まれる、初期画像情報によって示される全天球パノラマ画像81Aを、該表示情報に含まれる初期視点方向情報によって示される視点方向で、表示部18Gに表示する。
このため、例えば、図26(A)に示す結果画像73における分析結果画像Gg2の表示領域が指示されたとする。すると、該分析結果画像Gg2の示す分析結果の導出の根拠画像として、例えば、図26(B)に示す全天球パノラマ画像85Aを含む表示画面85が、表示部18Gに表示される。図26(B)に示すように、全天球パノラマ画像82Aには、描画画像Fが表示されている。
また、表示画面85には、図26(B)に示すように、該全天球パノラマ画像85Aを撮影した撮影装置14の位置する拠点Bのレイアウト画像85Bを併せて表示してもよい。
次に、図27を用いて説明する。例えば、図27(A)に示す結果画像74が、情報処理端末18の表示部18Gに表示されたと仮定する。図27(A)に示す結果画像74は、図21と同様である。すなわち、結果画像74は、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に含まれる特定の人物の数”である場合の、結果画像74である。
そして、例えば、ユーザによる入力部18Fの操作によって、分析結果画像Gj2の表示領域が指示されたとする。すると、受付部18Cは、該分析結果画像Gj2に埋め込まれている表示情報を特定し、該表示情報を含む根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信する。そして、情報処理端末18の送受信部18Aは、該根拠画像取得要求に対応する、根拠画像および表示情報を、サーバ装置12から受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、受信した表示情報に含まれる、初期画像情報によって示される全天球パノラマ画像84Aを、該表示情報に含まれる初期視点方向情報によって示される視点方向で、表示部18Gに表示する。
このため、例えば、図27(A)に示す結果画像74における分析結果画像Gj2の表示領域が指示されたとする。すると、該分析結果画像Gj2の示す分析結果の導出の根拠画像として、例えば、図27(B)に示す全天球パノラマ画像84Aを含む表示画面84が、表示部18Gに表示される。この全天球パノラマ画像84Aには、特定の人物Mが含まれる。
また、表示画面84には、図27(B)に示すように、該全天球パノラマ画像84Aを撮影した撮影装置14の位置する拠点Bのレイアウト画像84Bを併せて表示してもよい。
次に、図28を用いて説明する。例えば、図28(A)に示す結果画像75が、情報処理端末18の表示部18Gに表示されたと仮定する。図28(A)に示す結果画像75は、図22と同様である。すなわち、結果画像75は、ユーザの入力部18Fの操作によって入力された分析結果取得要求に含まれる分析内容情報が、“全天球パノラマ画像60に含まれる人物の数”であり、且つ、分析結果取得要求に比較指示情報が含まれる場合の、結果画像75である。
そして、例えば、ユーザによる入力部18Fの操作によって、分析結果画像Ga’2の表示領域が指示されたとする。すると、受付部18Cは、該分析結果画像Ga’2に埋め込まれている表示情報を特定し、該表示情報を含む根拠画像取得要求を、送受信部18Aを介してサーバ装置12へ送信する。そして、情報処理端末18の送受信部18Aは、該根拠画像取得要求に対応する、根拠画像および表示情報を、サーバ装置12から受信する。この場合、該表示情報は、比較特定情報を含む。
情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、受信した表示情報に含まれる、初期画像情報によって示される全天球パノラマ画像88Aを、該表示情報に含まれる初期視点方向情報によって示される視点方向で、表示部18Gに表示する。また、表示制御部18Dは、該全天球パノラマ画像88Aに対応する、比較対象の他の全天球パノラマ画像60である全天球パノラマ画像88Aを、表示部18Gに表示する。
このため、例えば、図28(A)に示す結果画像75Bにおける分析結果画像Ga’2の表示領域が指示されたとする。すると、該分析結果画像Ga’2の示す分析結果の導出の根拠画像として、例えば、図28(B)に示す全天球パノラマ画像88Aを含む表示画面88が、表示部18Gに表示される。また、この全天球パノラマ画像88Aに対応する比較特定情報によって特定される全天球パノラマ画像88Aが、併せて表示される。
図28に示す例では、比較対象の他の全天球パノラマ画像60である全天球パノラマ画像88Aは、ユーザによって指定された分析結果画像Ga’2の示す分析結果の導出の根拠画像の1つである全天球パノラマ画像88Aに対して、同じ撮影装置14で異なる撮影日の同じ時間に撮影された、全天球パノラマ画像60である。
このように、情報処理端末18には、結果画像70の示す分析結果の根拠として用いた根拠画像(全天球パノラマ画像60)が表示される。また、情報処理端末18には、結果画像70の示す分析結果の根拠として用いた複数の全天球パノラマ画像60の内、分析内容情報に応じた全天球パノラマ画像60が、分析内容情報に応じた視点方向で表示される。なお、表示画面88には、レイアウト画像88Bを併せて表示してもよい。
次に、本実施の形態の情報処理システム10における、サーバ装置12の画像管理DB12Cへのデータ登録処理の流れの一例を説明する。
図29は、情報処理システム10が実行する、データ登録処理の流れの一例を示すシーケンス図である。
まず、撮影装置14は、撮影によって全天球パノラマ画像60を得る(SEQ100)。すると、撮影装置14は、得られた全天球パノラマ画像60と、該全天球パノラマ画像60に対応する関連情報61と、をサーバ装置12へ送信する(SEQ102)。
サーバ装置12の送受信部12Kは、撮影装置14から全天球パノラマ画像60および関連情報61を受信すると、記憶制御部12Pへ出力する(SEQ104)。記憶制御部12Pは、送受信部12Kから全天球パノラマ画像60および関連情報61を受付けると、全天球パノラマ画像60と関連情報61とを記憶部12Bの画像管理DB12Cへ登録する(SEQ106)。
次に、記憶制御部12Pは、SEQ106で画像管理DB12Cに登録した全天球パノラマ画像60を読取り(SEQ108)、特徴情報抽出部12Iへ出力する(SEQ110)。
特徴情報抽出部12Iは、SEQ110で受付けた全天球パノラマ画像60から、特徴情報を抽出する(SEQ112)。そして、特徴情報抽出部12Iは、抽出した特徴情報を、記憶制御部12Pへ出力する(SEQ114)。記憶制御部12Pは、特徴情報抽出部12Iで抽出された特徴情報を、対応する画像IDに対応づけて、画像管理DB12C(図14参照)へ登録する(SEQ116)。
次に、記憶制御部12Pは、SEQ106で画像管理DB12Cに登録した全天球パノラマ画像60を読取り(SEQ118)、サムネイル作成部12Mへ出力する(SEQ120)。
サムネイル作成部12Mは、受付けた全天球パノラマ画像60のサムネイル画像を作成する(SEQ122)。なお、サムネイル作成部12Mは、撮影装置14で撮影された全天球パノラマ画像60を、送受信部12Kから受付け、サムネイル画像の作成に用いてもよい。
そして、サムネイル作成部12Mは、作成したサムネイル画像を、記憶制御部12Pへ出力する(SEQ124)。記憶制御部12Pは、サムネイル作成部12Mから受付けたサムネイル画像を、該サムネイル画像の作成に用いた全天球パノラマ画像60の画像IDに対応づけて、画像管理DB12C(図14参照)に登録する(SEQ126)。
このように、サーバ装置12では、撮影装置14から全天球パノラマ画像60および関連情報61を受信する度に、特徴情報の抽出およびサムネイル画像の作成を行い、画像管理DB12Cを更新する。
一方、情報処理端末18では、受付部18Cが入力部18Fから全天球パノラマ画像60の画像IDの入力を受付ける(SEQ128)。例えば、情報処理端末18のユーザは、入力部18Fを操作することで、描画画像を描画する対象の全天球パノラマ画像60の画像IDを入力する。これにより、受付部18Cは、入力部18Fから画像IDの入力を受付ける。
情報処理端末18の送受信部18Aは、SEQ128で受付けた画像IDを、サーバ装置12へ送信する(SEQ130)。サーバ装置12の送信部12Lは、撮影装置14から画像IDを受付けると、受付けた画像IDを記憶制御部12Pへ出力する(SEQ132)。
記憶制御部12Pは受付けた画像IDに対応する全天球パノラマ画像60を、画像管理DB12Cから読取る(SEQ134,SEQ136)。そして、記憶制御部12Pは、読取った全天球パノラマ画像60と、該全天球パノラマ画像60の画像IDと、を、送受信部12Kへ出力する(SEQ138)。
送受信部12Kは、記憶制御部12Pから受付けた全天球パノラマ画像60および画像IDを、SEQ130の画像IDの送信元の情報処理端末18へ送信する(SEQ140)。
情報処理端末18の、送受信部18Aは、全天球パノラマ画像60をサーバ装置12から受信する。情報処理端末18の表示制御部18Dは、該全天球パノラマ画像60を表示部18Gへ表示する(SEQ142)。情報処理端末18のユーザは、表示部18Gに表示された全天球パノラマ画像60を参照しながら入力部18Fを操作することで、描画画像を該全天球パノラマ画像60へ描画する。これにより、受付部18Cは、入力部18Fから、描画画像の入力を受付ける(SEQ144)。
情報処理端末18の送受信部18Aは、ユーザによる情報処理端末18の操作によって描画された描画画像と、描画画像を描画した全天球パノラマ画像60の画像IDと、をサーバ装置12へ送信する(SEQ146)。なお、このとき、描画画像を描画した位置を示す、位置領域情報を併せて送信する。
サーバ装置12の送受信部12Kは、情報処理端末18から、描画画像と、画像IDと、位置領域情報と、を受信すると(SEQ148)、特徴情報抽出部12Iへ出力する。特徴情報抽出部12Iは、受信した位置領域情報を位置管理DB12F(図15(B)参照)へ登録すると共に、新たな位置領域IDを付与する。また、特徴情報抽出部12Iは、受信した描画画像に、描画IDを付与する。
そして、特徴情報抽出部12Iは、この位置領域IDおよび描画IDと、受信した描画画像と、を、受信した画像IDに対応づけて、記憶制御部12Pを介して画像管理DB12Cへ登録する(SEQ150、SEQ152)。
SEQ128~SEQ152の処理によって、サーバ装置12は、情報処理端末18から描画画像を受信する度に、画像管理DB12Cを更新する。
次に、本実施の形態の情報処理システム10における、全天球パノラマ画像60の分析結果の表示処理の流れの一例を説明する。
図30は、情報処理システム10が実行する、分析結果の表示処理の流れの一例を示すシーケンス図である。
まず、情報処理端末18の受付部18Cが、入力部18Fから分析結果取得要求を受付ける(SEQ200)。分析結果取得要求は、上述したように、拠点IDと、分析内容情報と、分類条件と、を含む。なお、上述したように、分析結果取得要求は、比較指示情報を更に含む場合もある。
サーバ装置12の送受信部12Kは、情報処理端末18から分析結果取得要求を受付けると(SEQ202)、分析部12Rへ出力する(SEQ204、SEQ206)。
分析部12Rは、受付部12Qから受付けた分析結果取得要求に含まれる、拠点ID、分析内容情報、および分類条件を読取る。また、分析結果取得要求に、比較指示情報が含まれる場合には、分析部12Rは、更に、該比較指示情報を読取る。
そして、分析部12Rは、読取った拠点IDによって識別される拠点Bに設置された撮影装置14で撮影された全ての全天球パノラマ画像60を記憶部12Bから読取る(SEQ208)。そして、分析部12Rは、読取った複数の全天球パノラマ画像60について、分析結果取得要求に含まれる分析内容情報によって示される分析内容を分析する(SEQ210)。
そして、分析部12Rは、分析結果を、結果画像作成部12T、および表示情報作成部12Sへ出力する(SEQ212、SEQ214、SEQ216、SEQ218)。
結果画像作成部12Tは、分析部12Rから受付けた分析結果を示す、結果画像70を作成する(SEQ220)。そして、結果画像作成部12Tは、作成した結果画像70を、埋込部12Xへ出力する(SEQ222)。
初期画像設定部12Vは、分析部12Rから受付けた分析結果を用いて、分析部12Rで分類したグループごとに、最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する(SEQ224)。そして、初期画像設定部12Vは、設定した初期画像情報を埋込部12Xへ出力する(SEQ226)。
初期視点方向設定部12Wは、全天球パノラマ画像60における、初期視点方向を示す初期視点方向情報を設定する(SEQ228)。初期視点方向設定部12Wは、初期画像設定部12Vが設定した初期画像情報によって特定される全天球パノラマ画像60の各々について、初期視点方向を示す初期視点方向情報を設定する。
そして、初期視点方向設定部12Wは、設定した初期視点方向情報を、埋込部12Xへ出力する(SEQ230)。
埋込部12Xは、結果画像作成部12Tが作成した結果画像70に、表示情報を埋め込む(SEQ232)。埋込部12Xは、表示情報を埋め込んだ結果画像70を、送受信部12Kへ出力する(SEQ234)。送受信部12Kは、SEQ202の分析結果取得要求の送信元の情報処理端末18へ、表示情報の埋め込まれた結果画像70を送信する(SEQ236)。
情報処理端末18の表示制御部18Dは、受信した結果画像70を表示部18Gへ表示する(SEQ240)。
情報処理端末18のユーザは、入力部18Fを操作することで、結果画像70に含まれる分析結果画像Gを指示する。すると、情報処理端末18の受付部18Cは、根拠画像取得要求を受付ける(SEQ242)。そして、情報処理端末18の送受信部18Aは、受付けた根拠画像取得要求を、サーバ装置12へ送信する(SEQ244)。
根拠画像取得要求を受信したサーバ装置12の送受信部12Kは、根拠画像取得要求を受付部12Qへ出力する(SEQ246)。受付部12Qは、受付けた根拠画像取得要求を、根拠画像特定部12Jへ出力する(SEQ247)。
根拠画像特定部12Jは、受付けた根拠画像取得要求に含まれる表示情報によって特定される全天球パノラマ画像60を、根拠画像として特定する(SEQ248、SEQ250)。そして、根拠画像特定部12Jは、特定した根拠画像と、SEQ247で受付けた根拠画像取得要求に含まれる表示情報と、を送受信部12Kへ出力する(SEQ252)。このため、この表示情報には、初期画像情報と、初期視点方向情報と、が含まれることとなる。
送受信部12Kは、受付けた根拠画像および表示情報を、SEQ244の根拠画像取得要求の送信元の情報処理端末18へ送信する(SEQ254)。
情報処理端末18の表示制御部18Dは、受信した表示情報に含まれる初期画像情報および初期視点方向情報を読取る(SEQ256)。そして、表示制御部18Dは、受信した根拠画像に含まれる複数の全天球パノラマ画像60の内、最初に表示する全天球パノラマ画像60を特定する(SEQ258)。
また、表示制御部18Dは、受信した表示情報に含まれる初期視点方向情報を読取ることで、初期視点方向を特定する(SEQ260)。そして、表示制御部18Dは、特定した全天球パノラマ画像60を、特定した初期視点方向情報によって示される視点方向で、表示部18Gに表示する(SEQ262)。
なお、ユーザによる入力部18Fの操作指示によって、表示部18Gに表示された全天球パノラマ画像60が操作され、回転、移動などを指示する画面操作が入力される場合がある。この場合、情報処理端末18の受付部18Cは、画面操作を受付ける。すると、情報処理端末18の表示制御部18Dは、受付けた画面操作に応じて、視点方向の回転や、拡大または縮小した全天球パノラマ画像60を、表示部18Gに表示すればよい。
また、ユーザによる入力部18Fの操作によって、SEQ236で表示した結果画像70における、タイムススケールの変更が指示される場合がある。この場合、SEQ200へ戻り、情報処理端末18は、変更後のタイムスケールを分類条件として含む分析結果取得要求を、サーバ装置12へ送信すればよい。これによって、情報処理端末18は、タイムスケールの変更された結果画像70を受信し、表示部18Gに表示することができる。
次に、サーバ装置12で実行する記憶・分析処理の手順を説明する。
図31は、サーバ装置12で実行する記憶・分析処理の手順の一例を示すフローチャートである。
まず、サーバ装置12の受信部12Hが、撮影装置14から、全天球パノラマ画像60および関連情報61を受信したか否かを判断する(ステップS300)。ステップS300で肯定判断すると(ステップS300:Yes)、ステップS302へ進む。
ステップS302では、記憶制御部12Pが、ステップS300で受信した全天球パノラマ画像60および関連情報61を、画像管理DB12Cへ登録する(ステップS302)。
次に、特徴情報抽出部12Iが、ステップS300で受信した全天球パノラマ画像60から特徴情報を抽出する(ステップS304)。次に、記憶制御部12Pが、ステップS304で抽出した特徴情報を、画像管理DB12Cへ登録する(ステップS306)。
次に、サムネイル作成部12Mが、ステップS300で受信した全天球パノラマ画像60のサムネイル画像を作成する(ステップS308)。次に、記憶制御部12Pが、ステップS308で作成されたサムネイル画像を、画像管理DB12Cへ登録する(ステップS310)。そして、本ルーチンを終了する。
一方、ステップS300で否定判断すると(ステップS300:No)、ステップS312へ進む。ステップS312では、受信部12Hが、描画画像と、画像IDと、を情報処理端末18から受信したか否かを判断する(ステップS312)。ステップS312で肯定判断すると(ステップS312:Yes)、ステップS314へ進む。
ステップS314では、特徴情報抽出部12Iが、記憶制御部12Pを介して、描画画像と、描画IDと、画像IDと、を対応づけて、画像管理DB12Cへ登録する(ステップS314)。そして、本ルーチンを終了する。
一方、ステップS312で否定判断すると(ステップS312:No)、ステップS316へ進む。ステップS316では、受付部12Qが、分析結果取得要求を受付けたか否かを判断する(ステップS316)。ステップS316で肯定判断すると(ステップS316:Yes)、ステップS318へ進む。ステップS318では、分析部12R、結果画像作成部12T、および表示情報作成部12Sが、分析処理を実行する(ステップS318)(詳細後述)。そして、本ルーチンを終了する。
一方、上記ステップS316で否定判断すると(ステップS316:No)、ステップS320へ進む。ステップS320では、受付部12Qが、根拠画像取得要求を受付けたか否かを判断する(ステップS320)。ステップS320で否定判断すると(ステップS320:No)、本ルーチンを終了する。ステップS320で肯定判断すると(ステップS320:Yes)、ステップS322へ進む。
ステップS322では、根拠画像特定部12Jが、ステップS320で受付けた根拠画像取得要求に含まれる表示情報を読取る(ステップS322)。そして、根拠画像特定部12Jは、読取った表示情報を用いて、記憶部12Bから根拠画像としての全天球パノラマ画像60を読取る(ステップS324)。そして、根拠画像特定部12Jは、ステップS324で読取った根拠画像と、ステップS322で読取った表示情報と、を、送受信部12Kを介して情報処理端末18へ送信する(ステップS326)。そして、本ルーチンを終了する。
次に、図31のステップS318における、分析処理の手順の一例を説明する。図32は、サーバ装置12が実行する、分析処理(図31のステップS318)の手順の一例を示すフローチャートである。
まず、サーバ装置12の受付部12Qが、情報処理端末18から分析結果取得要求を受付ける(ステップS400)。分析部12Rは、ステップS400で受付けた分析結果取得要求に含まれる、拠点IDに対応する全天球パノラマ画像60を、画像管理DB12Cから読取る(ステップS402)。分析部12Rは、ステップS400で受付けた分析結果取得要求に含まれる拠点IDに対応する撮影装置IDを拠点管理DB12D(図12(A)参照)から読取る。そして、読取った撮影装置IDに対応する全天球パノラマ画像60を画像管理DB12C(図14参照)から読取る。これによって、拠点IDに対応する全天球パノラマ画像60を読取る。
次に、分析部12Rは、ステップS400で受付けた分析結果取得要求に含まれる、分析内容情報を読取る(ステップS404)。また、分析部12Rは、ステップS400で受付けた分析結果取得要求に含まれる、分類条件を読取る(ステップS406)。
そして、分析部12Rは、ステップS404で読取った分析内容情報が、“全天球パノラマ画像60に含まれる人物の数”を示すか否かを判断する(ステップS408)。ステップS408で肯定判断すると(ステップS408:Yes)、ステップS410へ進む。
ステップS410では、分析部12Rは、ステップS402で読取った複数の全天球パノラマ画像60を、ステップS406で読取った分類条件で複数のグループに分類する。そして、分析部12Rは、分類した各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60に含まれる人物の数を分析する。
次に、結果画像作成部12Tが、ステップS410の分析結果を示す結果画像70を作成する(ステップS412)。本実施の形態では、結果画像作成部12Tは、ステップS410の分析による、グループごとの分析結果の各々を示す複数の分析結果画像Gを含む、結果画像70を作成する。
次に、初期画像設定部12Vが、分類条件に応じた複数のグループごとに、各グループに属する複数の全天球パノラマ画像60の内、情報処理端末18において最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する(ステップS414)。
次に、初期視点方向設定部12Wが、ステップS414で設定された、各グループに対応する初期画像情報によって示される全天球パノラマ画像60ごとに、分析内容情報に応じて、初期視点方向情報を設定する(ステップS414)。
次に、埋込部12Xが、ステップS412で作成した結果画像70に含まれる、各グループの各々に対応する分析結果画像Gの各々に、表示情報を埋め込む(ステップS418)。すなわち、埋込部12Xは、該グループに対応する分析結果画像Gの示す分析結果の導出の根拠とした全天球パノラマ画像60を特定するための特定情報と、ステップS400で受信した分析結果取得要求に含まれる分類条件と、ステップS414およびステップS416で設定された初期画像情報および初期視点方向情報と、を含む各グループに対応する表示情報を、対応する分析結果画像Gへ埋め込む。
次に、送信部12Lが、ステップS418で表示情報の埋め込まれた、ステップS412で生成した結果画像70を、情報処理端末18へ送信する(ステップS420)。そして、本ルーチンを終了する。
一方、ステップS408で否定判断すると(ステップS408:No)、ステップS422へ進む。ステップS422では、分析部12Rが、ステップS404で読取った分析内容情報が、“全天球パノラマ画像60における特定領域内の人物の数”を示すか否かを判断する(ステップS422)。ステップS422で肯定判断すると(ステップS422:Yes)、ステップS424へ進む。
ステップS424では、分析部12Rは、ステップS402で読取った複数の全天球パノラマ画像60を、ステップS406で読取った分類条件で複数のグループに分類する。そして、分析部12Rは、分類した各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60における、特定領域内の人物の数を分析する。
次に、結果画像作成部12Tが、ステップS424の分析結果を示す結果画像70を作成する(ステップS426)。本実施の形態では、結果画像作成部12Tは、ステップS424の分析による、グループごとの分析結果の各々を示す複数の分析結果画像Gを含む、結果画像70を作成する。
次に、初期画像設定部12Vが、分類条件に応じた複数のグループごとに、各グループに属する複数の全天球パノラマ画像60の内、情報処理端末18において最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する(ステップS428)。
次に、初期視点方向設定部12Wが、ステップS428で設定された、各グループに対応する初期画像情報によって示される全天球パノラマ画像60ごとに、分析内容情報に応じて、初期視点方向情報を設定する(ステップS430)。
次に、埋込部12Xが、ステップS426で作成した結果画像70に含まれる、各グループの各々に対応する分析結果画像Gの各々に、表示情報を埋め込む(ステップS432)。すなわち、埋込部12Xは、該グループに対応する分析結果画像Gの示す分析結果の導出の根拠とした全天球パノラマ画像60を特定するための特定情報と、ステップS400で受信した分析結果取得要求に含まれる分類条件と、ステップS428およびステップS430で設定された初期画像情報および初期視点方向情報と、を含む各グループに対応する表示情報を、対応する分析結果画像Gへ埋め込む。
次に、送信部12Lが、ステップS432で表示情報の埋め込まれた、ステップS426で生成した結果画像70を、情報処理端末18へ送信する(ステップS434)。そして、本ルーチンを終了する。
一方、ステップS422で否定判断すると(ステップS422:No)、ステップS436へ進む。ステップS436では、分析部12Rが、ステップS404で読取った分析内容情報が、“全天球パノラマ画像60に含まれる特定の人物の数”を示すか否かを判断する(ステップS436)。ステップS436で肯定判断すると(ステップS436:Yes)、ステップS438へ進む。
ステップS438では、分析部12Rは、ステップS402で読取った複数の全天球パノラマ画像60を、ステップS406で読取った分類条件で複数のグループに分類する。そして、分析部12Rは、分類した各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60に含まれる特定の人物の数を分析する。
次に、結果画像作成部12Tが、ステップS438の分析結果を示す結果画像70を作成する(ステップS440)。本実施の形態では、結果画像作成部12Tは、ステップS438の分析による、グループごとの分析結果の各々を示す複数の分析結果画像Gを含む、結果画像70を作成する。
次に、初期画像設定部12Vが、分類条件に応じた複数のグループごとに、各グループに属する複数の全天球パノラマ画像60の内、情報処理端末18において最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する(ステップS442)。
次に、初期視点方向設定部12Wが、ステップS442で設定された、各グループに対応する初期画像情報によって示される全天球パノラマ画像60ごとに、分析内容情報に応じて、初期視点方向情報を設定する(ステップS444)。
次に、埋込部12Xが、ステップS440で作成した結果画像70に含まれる、各グループの各々に対応する分析結果画像Gの各々に、表示情報を埋め込む(ステップS446)。すなわち、埋込部12Xは、該グループに対応する分析結果画像Gの示す分析結果の導出の根拠とした全天球パノラマ画像60を特定するための特定情報と、ステップS400で受信した分析結果取得要求に含まれる分類条件と、ステップS442およびステップS444で設定された初期画像情報および初期視点方向情報と、を含む各グループに対応する表示情報を、対応する分析結果画像Gへ埋め込む。
次に、送信部12Lが、ステップS446で表示情報の埋め込まれた、ステップS440で生成した結果画像70を、情報処理端末18へ送信する(ステップS448)。そして、本ルーチンを終了する。
一方、ステップS436で否定判断すると(ステップS436:No)、ステップS450へ進む。ステップS436で否定判断する場合は、ステップS404で読取った分析内容情報が、“全天球パノラマ画像60に描画された描画画像の数”を示す場合である。
ステップS450では、分析部12Rが、ステップS402で読取った複数の全天球パノラマ画像60を、ステップS406で読取った分類条件で複数のグループに分類する。そして、分析部12Rは、分類した各グループに属する複数の全天球パノラマ画像60ごとに、全天球パノラマ画像60における、全天球パノラマ画像60に描画された描画画像の数を分析する。
次に、結果画像作成部12Tが、ステップS450の分析結果を示す結果画像70を作成する(ステップS452)。本実施の形態では、結果画像作成部12Tは、ステップS450の分析による、グループごとの分析結果の各々を示す複数の分析結果画像Gを含む、結果画像70を作成する。
次に、初期画像設定部12Vが、分類条件に応じた複数のグループごとに、各グループに属する複数の全天球パノラマ画像60の内、情報処理端末18において最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する(ステップS454)。
次に、初期視点方向設定部12Wが、ステップS454で設定された、各グループに対応する初期画像情報によって示される全天球パノラマ画像60ごとに、分析内容情報に応じて、初期視点方向情報を設定する(ステップS456)。
次に、埋込部12Xが、ステップS452で作成した結果画像70に含まれる、各グループの各々に対応する分析結果画像Gの各々に、表示情報を埋め込む(ステップS458)。すなわち、埋込部12Xは、該グループに対応する分析結果画像Gの示す分析結果の導出の根拠とした全天球パノラマ画像60を特定するための特定情報と、ステップS400で受信した分析結果取得要求に含まれる分類条件と、ステップS454およびステップS456で設定された初期画像情報および初期視点方向情報と、を含む各グループに対応する表示情報を、対応する分析結果画像Gへ埋め込む。
次に、送信部12Lが、ステップS458で表示情報の埋め込まれた、ステップS452で生成した結果画像70を、情報処理端末18へ送信する(ステップS460)。そして、本ルーチンを終了する。
次に、情報処理端末18が実行する情報処理の手順の一例を説明する。図33は、本実施の形態の情報処理端末18が実行する、情報処理の手順の一例を示すフローチャートである。
まず、情報処理端末18の受付部18Cが、分析結果取得要求を受付ける(ステップS500)。すると、送受信部18Aは、ステップS500で受付けた分析結果取得要求を、サーバ装置12へ送信する(ステップS502)。
次に、送受信部18Aは、サーバ装置12から、結果画像70を受信する(ステップS504)。表示制御部18Dは、ステップS504で受信した結果画像70を、表示部18Gへ表示する(ステップS506)。このため、情報処理端末18には、ステップS502で送信した分析結果取得要求に応じた結果画像70を、表示部18Gに表示する。
次に、受付部18Cが根拠画像取得要求を受付けたか否かを判断する(ステップS508)。ステップS508で否定判断すると(ステップS508:No)、後述するステップS520へ進む。一方、ステップS508で肯定判断すると(ステップS508:Yes)、ステップS510へ進む。
ステップS510では、ステップS508で受付けた根拠画像取得要求を、サーバ装置12へ送信する(ステップS510)。すると、送受信部18Aは、サーバ装置12から、根拠画像と、表示情報と、を受信する(ステップS512)。
表示制御部18Dは、ステップS512で受信した表示情報を読取り(ステップS514)、ステップS512で受信した根拠画像に含まれる複数の全天球パノラマ画像60の内、表示情報に含まれる初期表示画像情報によって示される全天球パノラマ画像60を特定する(ステップS516)。
そして、表示制御部18Dは、ステップS516で特定した全天球パノラマ画像60を、ステップS512で受信した表示情報に含まれる初期視点方向情報に示される視点方向で、表示部18Gに表示する(ステップS518)。
次に、受付部18Cは、分析条件の変更指示を受付けたか否かを判断する(ステップS520)。ステップS520で肯定判断すると(ステップS520:Yes)、ステップS522へ進む。ステップS522では、送受信部18Aが、ステップS520で変更された後の分析条件を含む、分析結果取得要求をサーバ装置12へ送信する(ステップS522)。すると、送受信部18Aは、結果画像70をサーバ装置12から受信する(ステップS524)。次に、表示制御部18Dは、ステップS524で受信した結果画像70を、表示部18Gへ表示する(ステップS526)。
次に、情報処理端末18は、処理を終了するか否かを判断する(ステップS528)。例えば、情報処理端末18は、ユーザによる入力部18Fの操作によって、終了指示が入力されたか否かを判別することで、ステップS528の処理を行う。
ステップS528で肯定判断すると(ステップS528:Yes)、本ルーチンを終了する。一方、ステップS528で否定判断すると(ステップS528:No)、上記ステップS508へ戻る。
一方、ステップS520で否定判断すると(ステップS520:No)、ステップS530へ進む。ステップS530では、受付部18Cが、分析内容変更指示を入力部18Fから受付けたか否かを判断する(ステップS530)。ステップS530で否定判断すると(ステップS530:No)、上記ステップS528へ進む。一方、ステップS530で肯定判断すると(ステップS530:Yes)、ステップS536へ進む。
ステップS536では、送受信部18Aが、ステップS530で変更された後の分析内容を含む、分析結果取得要求をサーバ装置12へ送信する(ステップS536)。すると、送受信部18Aは、結果画像70をサーバ装置12から受信する(ステップS538)。次に、表示制御部18Dは、ステップS538で受信した結果画像70を、表示部18Gへ表示する(ステップS540)。そして上記ステップS528へ進む。
以上説明したように、本実施の形態の情報処理システム10は、サーバ装置12と、サーバ装置12と通信可能な情報処理端末18と、を備える。サーバ装置12は、分析部12Rと、送信部12Lと、を備える。分析部12Rは、全方位の範囲の撮影によって得られた複数の全天球パノラマ画像60を分析する。送信部12Lは、分析部12Rによる分析結果を示す結果画像70を情報処理端末18へ送信する。情報処理端末18は、送受信部18A(受信部)と、表示制御部18Dと、を備える。送受信部18Aは、結果画像70を受信する。表示制御部18Dは、結果画像70を表示部18Gへ表示する。
このように、本実施の形態では、サーバ装置12の分析部12Rが、全天球パノラマ画像60を分析し、分析結果を示す結果画像70を、情報処理端末18へ送信する。
従って、本実施の形態の情報処理システム10では、複数の全天球パノラマ画像60の分析結果を容易に提供することができる。
サーバ装置12は、受付部12Qを備える。受付部12Qは、全天球パノラマ画像60の分析内容を示す分析内容情報を受付ける。分析部12Rは、全天球パノラマ画像60における、分析内容情報によって示される分析内容を分析する。
分析内容は、全天球パノラマ画像60に含まれる物体の数、全天球パノラマ画像60における予め定めた特定領域内の物体の数、全天球パノラマ画像60に描画された描画画像の数、または、全天球パノラマ画像60に含まれる特定の物体の数である。
サーバ装置12は、根拠画像特定部12J(特定部)を備える。根拠画像特定部12Jは、結果画像70の示す分析結果の導出の根拠とした全天球パノラマ画像60を根拠画像として特定する。サーバ装置12の送信部12Lは、根拠画像を情報処理端末18へ送信する。情報処理端末18の送受信部18A(受信部)は、根拠画像を受信する。情報処理端末18の表示制御部18Dは、根拠画像としての全天球パノラマ画像60を表示部18Gへ表示する。
サーバ装置12は、初期画像設定部12V(第1の設定部)を備える。初期画像設定部12Vは、根拠画像に含まれる複数の全天球パノラマ画像60の内、情報処理端末18において最初に表示する全天球パノラマ画像60を示す初期画像情報を設定する。サーバ装置12の送信部12Lは、根拠画像および初期画像情報を情報処理端末18へ送信する。情報処理端末18の送受信部18A(受信部)は、根拠画像および初期画像情報を受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、初期画像情報によって示される全天球パノラマ画像60を表示部18Gへ表示する。
サーバ装置12の初期画像設定部12V(第1の設定部)は、分析内容情報によって示される分析内容に応じて、初期画像情報を設定する。
サーバ装置12の送信部12Lは、結果画像70の示す分析結果の導出の根拠とした複数の全天球パノラマ画像60としての根拠画像と、根拠画像としての複数の全天球パノラマ画像60の各々に対応する比較対象の他の全天球パノラマ画像60を特定するための比較特定情報と、を情報処理端末18へ送信する。情報処理端末18の送受信部18A(受信部)は、根拠画像および比較特定情報を受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる全天球パノラマ画像60と、該全天球パノラマ画像60に対応する比較特定情報によって特定される全天球パノラマ画像60と、を表示部18Gへ表示する。
サーバ装置12は、初期視点方向設定部12W(第2の設定部)を備える。初期視点方向設定部12Wは、全天球パノラマ画像60における、初期視点方向を示す初期視点方向情報を設定する。サーバ装置12の送信部12Lは、根拠画像、初期画像情報、および初期視点方向情報を情報処理端末18へ送信する。情報処理端末18の送受信部18A(受信部)は、根拠画像、初期画像情報、および初期視点方向情報を受信する。情報処理端末18の表示制御部18Dは、根拠画像に含まれる複数の全天球パノラマ画像60の内、初期画像情報によって示される全天球パノラマ画像60を、初期視点方向情報によって示される初期視点方向を視点方向として、表示部18Gへ表示する。
サーバ装置12の初期視点方向設定部12W(第2の設定部)は、分析内容情報によって示される分析内容に応じて、初期視点方向情報を設定する。
サーバ装置12の分析部12Rは、複数の全天球パノラマ画像60を予め定めた分類条件で複数のグループに分類したグループごとに、グループに属する複数の全天球パノラマ画像60を分析する。サーバ装置12の送信部12Lは、グループごとの分析結果の各々を示す複数の分析結果画像Gを含む結果画像70を、情報処理端末18へ送信する。
分類条件は、撮影日時および撮影場所の少なくとも一方の分類項目を含む。
また、情報処理システム10は、1以上のサーバ装置12を含む。サーバ装置12は、分析部12Rと、送信部12Lと、を備える。分析部12Rは、全方位の範囲の撮影によって得られた複数の全天球パノラマ画像60を分析する。送信部12Lは、分析部12Rによる分析結果を示す結果画像70を情報処理端末18へ送信する。
情報処理端末18は、表示部18Gと、送受信部18A(受信部)と、表示制御部18Dと、を備える。送受信部18Aは、結果画像70を受信する。表示制御部18Dは、結果画像70を表示部18Gへ表示する。
また、本実施の形態のプログラムは、全方位の範囲の撮影によって得られた複数の全天球パノラマ画像60の分析結果を示す結果画像70を受信するステップと、結果画像70を表示部18Gへ表示するステップと、をコンピュータに実行させるためのプログラムである。
また、本実施の形態のプログラムは、全方位の範囲の撮影によって得られた複数の全天球パノラマ画像60を分析するステップと、分析結果を示す結果画像70を情報処理端末18へ送信するステップと、をコンピュータに実行させるためのプログラムである。
なお、上記サーバ装置12、撮影装置14、および情報処理端末18の各々で実行される、上記処理を実行するためのプログラムは、NV-RAMやROMやその他の不揮発性記憶媒体に予め組み込まれて提供される。また、サーバ装置12、撮影装置14、および情報処理端末18の各々で実行される、上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録し提供することも可能である。
また、サーバ装置12、撮影装置14、および情報処理端末18の各々で実行される、上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。
また、サーバ装置12、撮影装置14、および情報処理端末18の各々で実行される、上記処理を実行するためのプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
また、サーバ装置12、撮影装置14、および情報処理端末18の各々で実行される、上記処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が記憶媒体から該プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
なお、サーバ装置12の記憶部12Bに格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とサーバ装置12と、を、ネットワーク等を介して接続した構成とすればよい。
なお、上記には、本実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 情報処理システム
12 サーバ装置
12J 根拠画像特定部
12Q 受付部
12R 分析部
12V 初期画像設定部
12W 初期視点方向設定部
14 撮影装置
18 情報処理端末
18A 送受信部
18D 表示制御部
18G 表示部
60 全天球パノラマ画像
70 結果画像
特開2014-006880号公報 特開2010-033474号公報

Claims (8)

  1. サーバ装置と、前記サーバ装置と通信する情報処理端末と、を備えた情報処理システムで実行される情報処理方法であって、
    前記サーバ装置では、
    全方位の範囲の撮影によって得られる三次元の立体に表示される複数の全天球パノラマ画像について、前記全天球パノラマ画像における特定被写体の数、前記全天球パノラマ画像における予め定めた特定領域内の前記特定被写体の数、前記全天球パノラマ画像にユーザにより入力された画像である描画画像の数、または、前記全天球パノラマ画像の被写体における特定の人物の数を分析する分析処理ステップと、
    前記分析処理ステップによる分析結果を示す結果画像を前記情報処理端末へ送信する送信処理ステップと、
    前記結果画像の示す前記分析結果の導出の根拠とした前記全天球パノラマ画像を根拠画像として特定する特定処理ステップと、
    前記根拠画像に含まれる複数の前記全天球パノラマ画像の内、前記情報処理端末において最初に表示する前記全天球パノラマ画像を示す初期画像情報を設定する第1の設定処理ステップと、
    前記全天球パノラマ画像における、初期視点方向を示す初期視点方向情報を設定する第2の設定処理ステップと、
    を含み、
    前記情報処理端末では、
    前記結果画像を受信する受信処理ステップと、
    前記結果画像を表示部へ表示する表示制御処理ステップと、
    を含み、
    前記サーバ装置における前記送信処理ステップは、前記根拠画像、前記初期画像情報、および前記初期視点方向情報を前記情報処理端末へ送信し、
    前記情報処理端末における前記受信処理ステップは、前記根拠画像、前記初期画像情報、および前記初期視点方向情報を受信し、
    前記情報処理端末における前記表示制御処理ステップは、前記根拠画像に含まれる複数の前記全天球パノラマ画像の内、前記初期画像情報によって示される前記全天球パノラマ画像を、前記初期視点方向情報によって示される前記初期視点方向を視点方向として、前記表示部へ表示し、
    前記サーバ装置における前記第2の設定処理ステップは、前記全天球パノラマ画像の分析内容を示す分析内容情報によって示される前記分析内容に応じて、前記初期視点方向情報を設定する、
    情報処理方法。
  2. 前記第1の設定処理ステップは、前記分析内容情報によって示される前記分析内容に応じて、前記初期画像情報を設定する、
    請求項1に記載の情報処理方法。
  3. 前記分析処理ステップは、
    複数の前記全天球パノラマ画像の各々に含まれる前記特定被写体の三次元座標情報を含む特徴情報に基づいて、複数の前記全天球パノラマ画像を分析する、
    請求項1または2に記載の情報処理方法。
  4. 前記サーバ装置における前記送信処理ステップは、前記結果画像の示す前記分析結果の導出の根拠とした複数の前記全天球パノラマ画像としての前記根拠画像と、前記根拠画像としての複数の前記全天球パノラマ画像の各々に対応する比較対象の他の全天球パノラマ画像を特定するための比較特定情報と、を前記情報処理端末へ送信し、
    前記情報処理端末における前記受信処理ステップは、前記根拠画像および前記比較特定情報を受信し、
    前記情報処理端末における前記表示制御処理ステップは、前記根拠画像に含まれる前記全天球パノラマ画像と、該全天球パノラマ画像に対応する前記比較特定情報によって特定される前記全天球パノラマ画像と、を前記表示部へ表示する、
    請求項~請求項の何れか1項に記載の情報処理方法。
  5. 前記サーバ装置における前記分析処理ステップは、
    複数の前記全天球パノラマ画像を予め定めた分類条件で複数のグループに分類した前記グループごとに、前記グループに属する複数の前記全天球パノラマ画像を分析し、
    前記サーバ装置における前記送信処理ステップは、
    前記グループごとの前記分析結果の各々を示す複数の分析結果画像を含む、前記結果画像を、前記情報処理端末へ送信する、
    請求項1~請求項の何れか1項に記載の情報処理方法。
  6. 前記分類条件は、撮影日時および撮影場所の少なくとも一方の分類項目を含む、請求項に記載の情報処理方法。
  7. 情報処理端末と通信するサーバ装置で実行される情報処理方法であって、
    全方位の範囲の撮影によって得られる三次元の立体に表示される複数の全天球パノラマ画像について、前記全天球パノラマ画像における特定被写体の数、前記全天球パノラマ画像における予め定めた特定領域内の前記特定被写体の数、前記全天球パノラマ画像にユーザにより入力された画像である描画画像の数、または、前記全天球パノラマ画像の被写体における特定の人物の数を分析する分析処理ステップと、
    前記分析処理ステップによる分析結果を示す結果画像を情報処理端末へ送信する送信処理ステップと、
    前記結果画像の示す前記分析結果の導出の根拠とした前記全天球パノラマ画像を根拠画像として特定する特定処理ステップと、
    前記根拠画像に含まれる複数の前記全天球パノラマ画像の内、前記情報処理端末において最初に表示する前記全天球パノラマ画像を示す初期画像情報を設定する第1の設定処理ステップと、
    前記全天球パノラマ画像における、初期視点方向を示す初期視点方向情報を設定する第2の設定処理ステップと、
    を含み、
    前記送信処理ステップは、前記根拠画像、前記初期画像情報、および前記初期視点方向情報を前記情報処理端末へ送信し、
    前記第2の設定処理ステップは、前記全天球パノラマ画像の分析内容を示す分析内容情報によって示される前記分析内容に応じて、前記初期視点方向情報を設定する、
    情報処理方法。
  8. 表示部を備え、請求項7に記載の情報処理方法を実行するサーバ装置と通信する情報処理端末で実行される情報処理方法であって、
    前記結果画像を前記サーバ装置から受信する受信処理ステップと、
    前記結果画像を前記表示部へ表示する表示制御処理ステップと、
    を含み、
    前記受信処理ステップは、前記根拠画像、前記初期画像情報、および前記初期視点方向情報を受信し、
    前記表示制御処理ステップは、前記根拠画像に含まれる複数の前記全天球パノラマ画像の内、前記初期画像情報によって示される前記全天球パノラマ画像を、前記初期視点方向情報によって示される前記初期視点方向を視点方向として、前記表示部へ表示する、
    情報処理方法。
JP2020103973A 2020-06-16 2020-06-16 情報処理方法 Active JP7024820B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020103973A JP7024820B2 (ja) 2020-06-16 2020-06-16 情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020103973A JP7024820B2 (ja) 2020-06-16 2020-06-16 情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016043452A Division JP6720585B2 (ja) 2016-03-07 2016-03-07 情報処理システム、情報処理端末、および、プログラム

Publications (2)

Publication Number Publication Date
JP2020174359A JP2020174359A (ja) 2020-10-22
JP7024820B2 true JP7024820B2 (ja) 2022-02-24

Family

ID=72831758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020103973A Active JP7024820B2 (ja) 2020-06-16 2020-06-16 情報処理方法

Country Status (1)

Country Link
JP (1) JP7024820B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187068A (ja) 2002-12-04 2004-07-02 Canon Inc パノラマ画像撮影システム
JP2009015730A (ja) 2007-07-06 2009-01-22 Location View:Kk 立体メジャー表示機能付き画像表示システム及び立体メジャー表示機能付き画像表示のプログラム
JP2015099539A (ja) 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
JP2015125671A (ja) 2013-12-27 2015-07-06 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015133093A (ja) 2014-01-14 2015-07-23 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示方法、滞在情報表示システム、及び表示制御装置
JP2015149089A (ja) 2015-03-31 2015-08-20 パナソニックIpマネジメント株式会社 会計業務支援装置、会計業務支援システムおよび会計業務支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187068A (ja) 2002-12-04 2004-07-02 Canon Inc パノラマ画像撮影システム
JP2009015730A (ja) 2007-07-06 2009-01-22 Location View:Kk 立体メジャー表示機能付き画像表示システム及び立体メジャー表示機能付き画像表示のプログラム
JP2015099539A (ja) 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
JP2015125671A (ja) 2013-12-27 2015-07-06 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015133093A (ja) 2014-01-14 2015-07-23 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示方法、滞在情報表示システム、及び表示制御装置
JP2015149089A (ja) 2015-03-31 2015-08-20 パナソニックIpマネジメント株式会社 会計業務支援装置、会計業務支援システムおよび会計業務支援方法

Also Published As

Publication number Publication date
JP2020174359A (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
EP3166319A1 (en) Information processing device, information processing method, and program
JP6665558B2 (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム
US11134193B2 (en) Information processing system, information processing method, and non-transitory computer-readable storage medium
JP2004062756A (ja) 情報提示装置および情報処理方法
JP2008009646A (ja) 画像処理装置、画像処理方法
JP6720585B2 (ja) 情報処理システム、情報処理端末、および、プログラム
US20210065331A1 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP6720778B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP7024820B2 (ja) 情報処理方法
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US20200167948A1 (en) Control system, method of performing analysis and storage medium
JP6729043B2 (ja) 情報処理装置、および、情報処理システム
JP2018139052A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2014203194A (ja) 仮想オブジェクト表示制御装置、仮想オブジェクト表示制御方法、およびプログラム
JP7124281B2 (ja) プログラム、情報処理装置、画像処理システム
KR102402457B1 (ko) 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
JP2012208558A (ja) 表示制御装置、端末装置、通信システムおよびプログラム
JP7020523B2 (ja) 画像表示システム、画像表示方法、及びプログラム
JP2017169151A (ja) 情報処理システム、利用端末、サーバ装置、および、プログラム
JP2021190082A (ja) コンピュータプログラム、情報処理装置、情報処理システム、拡張現実画像表示方法及び情報処理方法
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP2013214158A (ja) 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
JP6689492B2 (ja) 端末装置、データ処理システム及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R151 Written notification of patent or utility model registration

Ref document number: 7024820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151