JP7358868B2 - 通信端末、通信システム、位置管理方法、及びプログラム - Google Patents

Description

本開示内容は、通信端末、通信システム、位置管理方法、及びプログラムに関する。

３６０度空間の全天球を撮影可能なカメラを有する通信端末が人物等の物体を検出し、検出したときのイベント及び検出画像のデータをサーバに送信し、サーバで検出画像のデータを記憶する技術が既に知られている（特許文献１参照）。このような通信端末は、検出対象領域を変更しようとした場合に、カメラの向きを調整しなおす必要がないため、手間がかからないという利点がある。また、従来、カメラで向きの調整の手間を省きたい場合は、２台目の通信端末を準備しなければならないが、上記の通信端末では、その必要もないため、コストがかからない点でも有利である。

特許文献１には、不明者の数を確認するために、人の検出と検出画像の類似度判定を行う技術が開示されている。この技術によれば、物体を検出し、検出した物体の画像の類似度判定を行うことができる。

しかし、今までの通信端末では、物体の移動方向を求めることができないという問題があった。

請求項１に係る発明は、物体の所定部分の画像データを送信することで、他の装置に画像の照合を行わせる通信端末であって、第１の時点において前記物体が当該物体の照合が可能な照合可能範囲に入った場合に、前記物体が入った第１の位置を管理すると共に、第２の時点において前記物体が当該物体の検出が可能な検出可能範囲を出た場合に、当該検出可能範囲を出る直前の第２の位置を管理する管理手段と、前記第１の位置を基準にした前記第2の位置の方向を判断する判断手段と、を有することを特徴とする通信端末である。

以上説明したように本発明によれば、物体の移動方向を求めることができるという効果を奏する。

本実施形態に係る通信システムの概略図である。 実時間データ処理端末のハードウェア構成図である。 撮像ユニットのハードウェア構成図である。 図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。 集中データ処理サーバのハードウェア構成図である。 画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。 通信システムの機能ブロック図である。 通信システムの機能ブロック図である。 （ａ）は撮像素子情報管理テーブルの概念図、（ｂ）はサイクル値管理テーブルの概念図である。 （ａ）は画像取得プログラム管理テーブルの概念図、（ｂ）は合成処理プログラム管理テーブルの概念図、（ｃ）は歪み補正プログラム管理テーブルの概念図、（ｄ）はサービスプログラム管理テーブルの概念図である。 物体情報管理テーブルの概念図である。 物体変位管理テーブルの概念図である。 （ａ）は照合データ管理テーブルの概念図、（ｂ）は移動情報管理テーブルの概念図である。 セッション管理テーブルの概念図である。 端末ＩＤの概念図である。 認証サーバ管理テーブルの概念図である。 認証管理テーブルの概念図である。 認証処理を示したシーケンス図である。 認証処理を示したシーケンス図である。 分散データ処理端末の画面例を示す図である。 分散データ処理端末の画面例を示す図である。 検出領域の設定処理を示したシーケンス図である。 検出領域の設定処理を示したシーケンス図である。 検出領域設定画面を示した図である。 画像認識の開始要求の処理を示したシーケンス図である。 実時間データ処理端末の実時間処理の準備処理を示したシーケンス図である。 プログラムの取得処理を示したシーケンス図である。 画像認識の処理を示したシーケンス図である。 実時間処理のうちの物体検出の処理を示したフローチャートである。 実時間処理のうちのイベント生成の処理を示したフローチャートである。 実時間処理のうちのイベント生成の処理を示したフローチャートである。 物体の移動方向を考慮して、建物のエントランスの出入りをカウントする処理を示したフローチャートである。 入退出のカウント数の表示及び移動情報の記憶の処理を示すシーケンス図である。 照合する処理を示したシーケンス図である。 照合処理を示したフローチャートである。 照合結果表示画面を示す図である。 移動情報の表示の処理を示すシーケンス図である。 移動結果表示画面を示す図である。 他の移動結果表示画面を示す図である。

〔全体概略〕
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。本実施形態は、エッジコンピューティングを実現する通信システムを開示している。即ち、本実施形態は、サービス提供サーバ８での処理及び画像取得端末２での処理の協同により、画像取得端末２でサービス提供サーバ２から提供されるサービスを実現する発明を開示している。

〔実施形態の全体構成〕
図1は、本実施形態に係る通信システムの概略図である。図1に示されているように、本実施形態の通信システムは、実時間データ処理端末３、近端末データ処理装置５、分散データ処理端末６、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃによって構築されている。なお、実時間データ処理端末３、近端末データ処理装置５、及び分散データ処理端末６によって、分散処理システム１００が構築されている。

近端末データ処理装置５は、イントラネット２００を介して分散データ処理端末６と通信可能に接続されている。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃと通信可能に接続されている。なお、認証サーバ９は、認証サーバ９ａ，９ｂ，９ｃの総称である。

これらのうち、実時間データ処理端末３は、撮像画像のデータを得るための実時間処理（リアルタイムの処理）を行なう端末である。実時間データ処理端末３には、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの被写体を撮像する画像センサを備えた撮像ユニット４０が着脱自在に接続される。これにより、実時間データ処理端末３は、撮像ユニット４０から入力された撮像画像のデータ（以下、「撮像画像データ」という）をデジタル化し、実時間（たとえば１／６０秒ごと）で物体（ここでは、顔）の画像を検出する。実時間データ処理端末３は、撮像画像のうちの物体部分の領域である部分画像のデータ（以下、「部分画像データ」という）を近端末データ処理装置５に送信する。

近端末データ処理装置５は、実時間データ処理端末３に最も近いところに配置され、例えばハードウェア的にも密接にデータバスやＵＳＢ(Universal Serial Bus)等で1対1に接続されている。近端末データ処理装置５は、実時間データ処理端末３から受信した部分画像データをＪＰＥＧ(Joint Photographic Experts Group)などの汎用的なフォーマットに符号化した後、顔画像の照合が行なわれる場合の被照合データとして、イントラネット２００を介して分散データ処理端末６に送信する。なお、通常、実時間データ処理端末３と近端末データ処理装置５は接続されて一体になっており、ここでは、実時間データ処理端末３と近端末データ処理装置５とで画像取得端末２を構成している。

分散データ処理端末６は、近端末データ処理装置５に比較的近い位置で利用者によって利用され、利用者の各種操作を受け付けることが可能なコンピュータである。分散データ処理端末６は、予め、顔画像の照合が行なわれる場合の照合データを登録して保存している。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７に、照合データと被照合データとの照合を要求することができる。この場合、分散データ処理端末６は、近端末データ処理装置５から受信した被照合データ、及び予め登録している照合データも送信する。更に、分散データ処理端末６は、集中データ処理サーバ７から、照合結果を示す照合結果情報を応答として受信することができる。また、分散データ処理端末６は、グラフィックインターフェースを介して照合結果を表示させることができる。

集中データ処理サーバ７は、近端末データ処理装置５から比較的遠い位置に設置されており、分散データ処理端末６とはインターネット６００等の通信ネットワークを介して通信することができる。集中データ処理サーバ７は、照合要求を示す照合要求情報並びに照合データ及び被照合データを受信した場合、照合データ及び被照合データの照合を行い、類似度を判断する。そして、集中データ処理サーバ７は、分散データ処理端末６に対して、類似度を含んだ照合結果を示す照合結果情報を送信する。

サービス提供サーバ８は、画像取得端末２に対して、各種サービスを提供するサーバである。

認証サーバ９ａは、画像取得端末２がサービス提供システム８からサービスを受けられる正当な権限があるか否かを判断するためにＩＤの認証を行なう。認証サーバ９ｂ，９ｃも同様である。

〔ハードウェア構成〕
次に、図２乃至図１０を用いて、本実施形態の通信システムの各ハードウェア構成について説明する。

＜実時間データ処理端末のハードウェア構成＞
図２は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、加速度・方位センサ３０６、メディアＩ／Ｆ３０８、ＧＰＳ受信部３０９を備えている。

これらのうち、ＣＰＵ３０１は、実時間データ処理端末３全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ３０４は、ＣＰＵ３０１の制御にしたがって、実時間データ処理端末用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ３０５は、ＣＰＵ３０１の制御に従って被写体（主に撮影ユニット４０の死角）を撮像して、撮影画像データを得る。加速度・方位センサ３０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ３０８は、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部３０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、実時間データ処理端末３は、撮像ユニットＩ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイ３１７、外部機器接続Ｉ／Ｆ３１８、及びタッチパネル３２１を備えている。

これらのうち、撮像ユニットＩ／Ｆ３１３は、外付けの撮像ユニット４０が接続された場合に、撮像ユニット４０の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイ３１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。タッチパネル３２１は、利用者がディスプレイ３１７を押下することで、実時間データ処理端末３を操作する入力手段の一種である。

また、実時間データ処理端末３は、バスライン３１０を備えている。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜撮像ユニットのハードウェア構成＞
図３は、撮像ユニットのハードウェア構成図である。特に、図３（ａ）は、撮像ユニット４０のうち、単眼の撮像ユニット４０ａのハードウェア構成図である。図３（ｂ）は、撮像ユニット４０のうち、複眼の撮像ユニット４０ｂのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ａ、４０ｂ等）の総称である。

図３（ａ）に示されているように、撮像ユニット４０ａは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ａ、レンズ４０２ａ、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ａを有している。撮像ユニット４０ａが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ａを介して撮像ユニットＩ／Ｆ３１３に撮像画像データを送信する。

また、図３（ｂ）に示されているように、撮像ユニット４０ｂは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｂ１，４０１ｂ２、レンズ４０２ｂ１，４０２ｂ２、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｂを有している。レンズ４０２ｂ１，４０２ｂ２は、例えば、魚眼レンズである。撮像ユニット４０ｂが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ｂ１，４０１ｂ２は、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ｂを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ｂを介して撮像ユニットＩ／Ｆ３１３に、複数の撮像画像データを送信する。

図３（ａ）に示されている撮像ユニット４０ａは、一般の平面画像を得るが、図３（ｂ）に示されている撮像ユニット４０ｂは、全天球画像を得ることができる。ここで、図４乃至図８を用いて、撮像ユニット４０ｂで撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図５（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図５（ｂ）は全天球画像を示した図である。

図４（ａ）に示されているように、撮像素子４０１ｂ１によって得られた画像は、レンズ４０２ｂ１によって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子４０３ｂによって得られた画像は、レンズ４０２ｂ２によって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは合成され、図４（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図５（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図５（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)および３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図６及び図７を用いて説明する。

なお、図６は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図７（ａ）は図６の立体斜視図、図７（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図７（ａ）では、図５に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図６に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図７（ａ）に示されている所定領域画像Ｑは、図７（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図７（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（ea，aa）と画角（α）を用いて説明する。

図８を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図８は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図８に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図８では、一般的に以下の（式１）で示される三角関数が成り立つ。中心点ＣＰは、撮影方向（ea，aa）及び距離ｆで特定できるため、結果的に、所定領域情報は、中心点ＣＰ及び画角αで表すことができる。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜近端末データ処理装置、分散データ処理端末のハードウェア構成＞
図９は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置５と分散データ処理端末６とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置５について説明し、分散データ処理端末６の説明は省略する。

図９に示されているように、近端末データ処理装置５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、近端末データ処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、近端末データ処理装置用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に近端末データ処理装置５を操作するユーザの自画像）を撮像し、撮影画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、近端末データ処理装置５は、遠距離通信回路５１１、遠距離通信回路５１１のアンテナ５１１ａ、カメラ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、イントラネット２００を介して、他の機器と通信する回路である。カメラ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して、撮影画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、カメラ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、近端末データ処理装置５を操作する入力手段の一種である。

また、近端末データ処理装置５は、バスライン５１０を備えている。バスライン５１０は、図９に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜集中データ処理サーバ、サービス提供サーバ、認証サーバのハードウェア構成＞
図１０は、集中データ処理サーバ、サービス提供サーバ、又は認証サーバのハードウェア構成図である。ここでは、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９は、同じハードウェア構成を備えている場合を示しているため、集中データ処理サーバ７について説明し、サービス提供サーバ８及び認証サーバ９の説明は省略する。

図１０は、集中データ処理サーバのハードウェア構成図である。集中データ処理サーバ７は、コンピュータによって構築されており、図１０に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ－ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、集中データ処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。

これらのうち、ＣＰＵ７０１は、集中データ処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、インターネット６００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ(Compact Disc－ReWritable)７１３に対する各種データの読み出し等を制御する。

また、集中データ処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図１０に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

〔ソフトウェア構成〕
図１１は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。

図１１に示されているように、実時間データ処理端末３は、ＯＳ３００、及び画像認識アプリケーション（以下、「アプリケーション」は「アプリ」と示す）ＡＰ１を有している。画像認識アプリＡＰ１は、実時間データ処理端末３のＲＡＭ３０３の作業上で動作する。このうち、ＯＳ３００は、基本的な機能を提供し、実時間データ処理端末３全体を管理する基本ソフトウェアである。画像認識アプリＡＰ１は、撮像画像から人物や動物等の顔を認識するためのアプリである。

また、近端末データ処理装置５は、ＯＳ５００、及び通信アプリＡＰ２を有している。通信アプリＡＰ２は、近端末データ処理装置５のＲＡＭ５０３の作業上で動作する。このうち、ＯＳ５００は、基本的な機能を提供し、近端末データ処理装置５全体を管理する基本ソフトウェアである。通信アプリＡＰ２は、分散データ処理端末６等の他の端末（装置）と通信を行うためのアプリである。

このように、画像取得端末２では、実時間データ処理端末３が画像認識を行うのに対して、近端末データ処理装置５がイントラネット２００を介して分散データ処理端末６と通信を行なうことで、分散処理を行なうことができる。

なお、実時間データ処理端末３及び近端末データ処理装置５は、ＯＳだけでなく、ドライバ、ソフトウェア開発キット(SDK)、またはアプリケーションプログラミングインタフェース(API)を搭載しており、それぞれが異なっていてもよい。

続いて、図面を用いて、本発明の一実施形態の機能構成及び処理について説明する。

〔実施形態の機能構成〕
まず、図１２乃至図２２を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図１２は、実施形態に係る通信システムの機能ブロック図である。図１２は、特に画像取得端末２の機能ブロックを示している。

＜実時間データ処理端末の機能構成＞
図１２に示されているように、実時間データ処理端末３は、算出部３１、判断部３３、画像処理部３４、物体検出部３５、イベント生成部３６、表示制御部３７、接続部３８、記憶・読出部３９、及び通信部４８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。

また、実時間データ処理端末３は、図２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には、後述の形状モデルデータが記憶されている。更に、記憶部３０００には、撮像素子情報管理ＤＢ３００１、サイクル値管理ＤＢ３００２、画像取得プログラム管理ＤＢ３００３、合成処理プログラム管理ＤＢ３００４、歪み補正プログラム管理ＤＢ３００５、サービスプログラム管理ＤＢ３００６、物体情報管理ＤＢ３００７、及び物体変位管理ＤＢ３００８が構築されている。

撮像素子情報管理ＤＢ３００１は、後述の撮像素子情報管理テーブルによって構成されている。サイクル値管理ＤＢ３００２は、後述のサイクル値管理テーブルによって構成されている。画像取得プログラム管理ＤＢ３００３は、後述の画像取得プログラム管理テーブルによって構成されている。合成処理プログラム管理ＤＢ３００４は、後述の合成処理プログラム管理テーブルによって構成されている。歪み補正プログラム管理ＤＢ３００５は、後述の歪み補正プログラム管理テーブルによって構成されている。サービスプログラム管理ＤＢ３００６は、後述のサービスプログラム管理テーブルによって構成されている。

更に、物体情報管理ＤＢ３００７は、後述の物体情報管理テーブルによって構成されている。物体変位管理ＤＢ３００８は、後述の物体変位管理テーブルによって構成されている。

（撮像素子情報管理テーブル）
図１４（ａ）は、撮像素子情報管理テーブルを示す概念図である。この撮像素子情報管理テーブルでは、撮像ユニット４０の型番、及び撮像ユニット４０が有する撮像素子の数、及びこの撮像素子に使われるレンズの種類が関連付けて管理されている。なお、型番は、撮像素子の数及びこの撮像素子に使われるレンズの種類の違いに応じた撮像ユニットの種類を示す種類情報の一例である。

（サイクル値管理テーブル）
図１４（ｂ）は、サイクル値管理テーブルを示す概念図である。このサイクル値管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び後述の物体認識の処理のサイクル値(Frames Per Second)が関連付けて管理されている。

図１５に示されている各テーブルは、各プログラムが、実時間データ処理端末３にインストールされているか否かを管理するためのテーブルである。

（画像取得プログラム管理テーブル）
図１５（ａ）は、画像取得プログラム管理テーブルを示す概念図である。この画像取得プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び画像取得プログラム（又はこの名称）が関連付けて管理されている。例えば、撮像素子の数「１」の場合の画像取得プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgC01 (1系統の画像取得)」が関連付けて管理されている。撮像素子の数「２」の場合の画像取得プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgC02 (２系統の画像取得)」が関連付けて管理されている。

（合成処理プログラム管理テーブル）
図１５（ｂ）は、合成処理プログラム管理テーブルを示す概念図である。この合成処理プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び合成処理プログラムの名称が関連付けて管理されている。

（歪み補正プログラム管理テーブル）
図１５（ｃ）は、歪み補正プログラム管理テーブルを示す概念図である。この歪み補正プログラム管理テーブルでは、撮像ユニット４０が有するレンズの種類、及び歪み補正プログラム（又はこの名称）が関連付けて管理されている。例えば、レンズの種類「広角」の場合の歪み補正プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgW01（広角歪み補正）」が関連付けて管理されている。レンズの種類「魚眼」の場合の歪み補正プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgW02（魚眼歪み補正）」が関連付けて管理されている。

（サービスプログラム管理テーブル）
図１５（ｄ）は、サービスプログラム管理テーブルを示す概念図である。このサービスプログラム管理テーブルでは、認証サーバを識別するための認証サーバＩＤ、及び画像取得端末２が提供されるサービスを実行するためのサービスプログラムの名称が関連付けて管理されている。例えば、認証サーバＩＤ「ａ０１」の場合のサービスプログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgD01 (物体検出)」が関連付けて管理されている。また、認証サーバＩＤ「ａ０２」の場合のサービスプログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgD02 (物体計数）」が関連付けて管理されている。

（物体情報管理テーブル）
図１６は、物体情報管理テーブルを示す概念図である。この物体情報管理テーブルでは、（整理）番号、後述の検出可能範囲Ｐにおける矩形の部分画像の位置、部分画像の幅、部分画像の高さ、及び終了フラグ（ここでは、「＊」）が関連付けて管理されている。部分画像の位置は、矩形の画像の左上端の座標の位置を示している。

（物体変位管理テーブル）
図１７は、物体変位管理テーブルを示す概念図である。この物体変位管理テーブルでは、部分画像を識別するための部分画像ＩＤ、この部分画像の照合可能範囲Ｑにおける初期位置（座標）、この部分画像の検出可能範囲Ｐにおける最新位置（座標）、部分画像の幅、部分画像の高さ、この部分画像が集中データ処理サーバ７で照合される進捗状況を示した照合進捗状況、部分画像で示された人物の名前、及び終了フラグ（ここでは、「＊」）が関連付けて管理されている。これらのうち、部分画像の検出可能範囲Ｐにおける位置、部分画像の幅、及び部分画像の高さは、物体情報管理テーブル（図１６参照）から移行された物体特定情報である。即ち、物体情報管理テーブルにおける情報（位置、幅、高さ）は現在の部分画像を特定するための部分画像特定情報であり、物体変位管理テーブルにおける情報（位置、幅、高さ）は過去の部分画像を特定するための部分画像特定情報である。

なお、初期位置は第１の時点における物体の第１の位置の一例である。最新位置は現在の物体の位置である。なお、検出可能範囲Ｐから物体が出る場合、出る直前の検出可能範囲Ｐにおける物体の最終位置は第２の時点における物体の第２の位置の一例である。

また、人物の名前は、人物特定情報の一例である。人物特定情報は、漢字だけでなく、英数字や、記号などによって示されても良い。例えば、人物特定情報には、従業員番号、学籍番号、運転免許書番号、日本の制度で使われているマイナンバー等が含まれる。更に、照合できずに、名前が“Ｕｎｋｎｏｗｎ”と判断された場合に特定された“Ｕｎｋｎｏｗｎ”も含まれる。

また、物体情報管理テーブル（図１６参照）における「終了フラグ」は、物体情報管理テーブルにおける任意のレコード内の物体の現在の位置が、物体変位管理テーブル（図１７参照）の各レコード内における物体の過去の位置と所定距離（閾値）内であるかが判断された場合に、判断が終了したことを示すために付される。一方、物体変位管理テーブルにおける「終了フラグ」は、物体情報管理テーブルから移行された部分画像特定情報がある場合に、この部分画像特定情報を含むレコードに付される。

（実時間データ処理端末の各機能構成）
次に、図１２を用いて、実時間データ処理端末３の各機能構成について更に詳細に説明する。

実時間データ処理端末３の算出部３１は、ＣＰＵ３０１の処理によって実現され、物体の最新の位置と、物体の過去の位置との距離を算出する。

判断部３３は、ＣＰＵ３０１の処理によって実現され、各種判断を行なう。例えば、判断部３３は、撮像ユニット４０から送られて来る型番に基づき、撮像素子情報管理ＤＢ３００１を参考にして、撮像素子の数を判断する。

画像処理部３４は、ＣＰＵ３０１の処理によって実現され、図１５に示されている各プログラム（画像取得プログラム、画像合成プログラム、歪み補正プログラム、及びサービスプログラム）の実行により、各種画像処理を行なう。具体的には、画像処理部３４は、取得するために認証が不要な第１のプログラム（例えば、画像取得プログラム、画像合成プログラム、及び歪み補正プログラム）を実行することで、画像データに対して第１の画像処理（例えば、画像取得、画像合成、歪み補正）を行なう。また、画像処理部３４は、取得するために認証が必要な第２のプログラム（例えば、サービスプログラム）を実行することで、画像データに対して第２の画像処理（例えば、物体検出処理、物体計数処理）を行なう。

物体検出部３５は、ＣＰＵ３０１の処理によって実現され、画像処理部３４で取得された撮像画像のデータにおいて、顔などの予め決められた特定の物体の候補となる特徴点を検出し、顔などの予め定められた特定の物体の形状モデルを示す形状モデルデータを参照して、撮像画像の中の物体の位置を検出する。

イベント生成部３６は、ＣＰＵ３０１の処理によって実現され、物体検出部３５で物体の位置が検出された旨の検出情報（イベント情報）を生成する。

表示制御部３７は、ＣＰＵ３０１の処理によって実現され、表示手段の一例であるディスプレイ３１７に各種画面を表示させる。

接続部３８は、撮像ユニットＩ／Ｆ３１３、及びＣＰＵ３０１の処理によって実現され、撮像ユニット４０を実時間データ処理端末３に機械的及び電気的に接続するためのインターフェースである。

記憶・読出部３９は、ＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

通信部４８は、外部機器接続Ｉ／Ｆ３１８、及びＣＰＵ３０１の処理によって実現され、1対1の通信を介して近端末データ処理装置５の後述の通信部５８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく無線であってもよい。

＜近端末データ処理装置の機能構成＞
図１２に示されているように、近端末データ処理装置５は、送受信部５１、データ検出部５６、表示制御部５７、通信部５８、及び記憶・読出部５９を有している。これら各部は、図９に示されている各構成要素のいずれかが、近端末データ処理装置５において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。

また、近端末データ処理装置５は、図９に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。

（近端末データ処理装置の各機能構成）
次に、図１２を用いて、近端末データ処理装置５の各機能構成について更に詳細に説明する。

近端末データ処理装置５の送受信部５１は、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、イントラネット２００）を介して、分散データ処理端末６との間で各種データ（または情報）の送受信を行う。

データ検出部５６は、ＣＰＵ５０１の処理によって実現され、実時間データ処理端末３からのデータを受信するべきイベントが発生しているか否か、データの受信が完了したか否かを検出する。

表示制御部５７は、ＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。

通信部５８は、外部機器接続Ｉ／Ｆ５１８、及びＣＰＵ５０１の処理によって実現され、1対1の通信を介して実時間データ処理端末３の通信部４８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく、無線であってもよい。

記憶・読出部５９は、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜分散データ処理端末の機能構成＞
図１３に示されているように、分散データ処理端末６は、送受信部６１、受付部６２、判断部６３、表示制御部６７、及び記憶・読出部６９を有している。これら各部は、図９に示されている各構成要素のいずれかが、分散データ処理端末６において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。

また、分散データ処理端末６は、図９に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部６０００を有している。

（分散データ処理端末の各機能構成）
分散データ処理端末６の送受信部６１は、分散データ処理端末６における、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、集中データ処理サーバ７と各種データ（または情報）の送受信を行う。例えば、送受信部６１は、照合データと被照合データとの照合要求を集中データ処理サーバ７に対して送信したり、集中データ処理サーバ７から送られて来た照合結果に対する処理を行ったりする。

受付部６２は、分散データ処理端末６における、タッチパネル５２１、及びＣＰＵ５０１の処理によって実現され、利用者の各種操作を受け付ける。

判断部６３は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、各種判断を行なう。

表示制御部６７は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。

記憶・読出部６９は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、記憶部６０００に各種データ（または情報）を記憶したり、記憶部６０００から各種データ（または情報）を読み出したりする。例えば、記憶・読出部６９は、受付部６２で受け付けられた登録要求により、照合データ（ここでは、顔画像データ）を記憶部６０００に記憶して登録させる。

＜集中データ処理サーバの機能構成＞
図１３に示されているように、集中データ処理サーバ７は、送受信部７１、受付部７２、判断部７３、特徴量生成部７４、照合部７５、計数部７６、及び記憶・読出部７９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、分散データ処理端末６において、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。

また、集中データ処理サーバ７は、図１０に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。記憶部７０００には、後述の照合側の特徴量データが記憶されている。この記憶部７０００には、照合データが記憶されている。更に、記憶部７０００には、照合データ管理ＤＢ７００１が構築されている。照合データ管理ＤＢ７００１は、後述の照合データ管理テーブルによって構成されている。なお、照合データは、集中データ処理サーバ７以外の他のデータ管理サーバ等で記憶してもよい。また、記憶部７０００には、移動情報管理ＤＢ７００２が構築されている。移動情報管理ＤＢ７００２は、後述の移動情報管理テーブルによって構成されている。

（照合データ管理テーブル）
図１８（ａ）は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及びこの画像ファイルに係る照合画像で示される人物の名前が関連付けて管理されている。

（移動情報管理テーブル）
図１８（ｂ）は、移動情報管理テーブルを示す概念図である。この移動情報管理テーブルでは、受信日時、方向情報、及び人物の名前が関連付けて管理されている。これらのうち、受信日時は、集中データ処理サーバ７が分散データ処理端末６から移動情報記憶要求を受信（Ｓ３０６参照）した日時を示す。方向情報は、人物としての物体が移動した方向を示す情報である。例えば、「LtoR」は左から右に移動した旨を示し、「RtoL」は右から左に移動した旨を示す。人物の名前は、照合データ管理テーブルにおける人物の名前と同様である。

（集中データ処理サーバの各機能構成）
集中データ処理サーバ７の送受信部７１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、分散データ処理端末６と各種データ（または情報）の送受信を行う。送受信部７１は、照合データと被照合データとの照合要求を分散データ処理端末６から受信したり、分散データ処理端末６に対して照合結果を示す照合結果情報を送信したりする。

受付部７２は、キーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者の各種操作を受け付ける。

判断部７３は、集中データ処理サーバ７におけるＣＰＵ５０１の処理によって実現され、各種判断を行なう。

特徴量生成部７４は、ＣＰＵ７０１の処理によって実現され、送受信部７１によって受信された被照合データ（部分画像データ）及び照合データから特徴量のパラメータを生成する。

照合部７５は、ＣＰＵ７０１の処理によって実現され、特徴量生成部７４で生成された特徴量を用いて照合データ側の特徴量と被照合データ側の特徴量とを照合し、類似度を示す得点（ポイント）を算出する。

計数部７６は、ＣＰＵ７０１の処理によって実現され、移動情報管理ＤＢ７００２に記憶されている移動情報における単位時間毎（本実施形態では１時間毎）に各方向、人物の名前の組合せでレコード数を計数する。

記憶・読出部７９は、ＣＰＵ７０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜サービス提供サーバの機能構成＞
次に、図１３、図１９乃至図２１を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。図１３に示されているように、サービス提供サーバ８は、送受信部８１、判断部８２、取出部８７、及び記憶・読出部８９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開されたサービス提供サーバ８用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。

また、サービス提供サーバ８は、図１０に示されているＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部８０００を有している。この記憶部８０００には、分散データ処理端末６又は認証サーバ９から送られて来る各種データが記憶される。また、記憶部８０００には、図１５で示されている各プログラムが全て記憶されており、サービス提供サーバ８は、実時間データ処理端末３の要求に応じて、要求対象のプログラムを送信することができる。

更に、記憶部８０００には、セッション管理ＤＢ８００１、及び認証サーバ管理ＤＢ８００２が構築されている。このうち、セッション管理ＤＢ８００１は、後述のセッション管理テーブルによって構成されている。認証サーバ管理ＤＢ８００２は、後述の認証サーバ管理テーブルによって構成されている。以下、各テーブルについて詳細に説明する。

（セッション管理テーブル）
図１９は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、分散データ処理端末６にサービスを提供するために、分散データ処理端末６と確立する通信セッションを識別するためのセッションＩＤ、分散データ処理端末６の利用者を識別するための端末ＩＤ、及び端末ＩＤで示される利用者の分散データ処理端末６のＩＰアドレスが関連付けて記憶されて管理されている。

図２０（ａ）、（ｂ）、（ｃ）は、端末ＩＤ(identification)の一例として、電子メールアドレスを示しており、それぞれ認証対象部分と認証対象外部分によって構成されている。認証対象部分は、認証サーバ９によって認証される際に利用される利用者ＩＤである。認証対象外部分は、認証サーバ９によって認証される際に利用されない部分である。

このうち、図２０（ａ）に示されている第１のパターンでは、認証対象部分は、アカウント名”asai”、ホスト名”myhost”、及びドメイン名の前段部分“ricoo.com”によって構成されている。一方、認証対象外部分は、ドメイン名の後段部分”theta1”によって構成されている。この場合、取出部８７は、”/”によって、認証対象部分と認証対象外部分を区別する。

また、図２０（ｂ）も第１のパターンを示しているが、認証対象外部分が図２０（ａ）と異なる。即ち、認証サーバ９は、図２０（ａ）に示されている端末ＩＤと、図２０（ｂ）に示されている端末ＩＤでは、認証対象部分が同じであるため、同じＩＤとして認証する。

なお、端末ＩＤは、図２０（ｃ）に示されている第２のパターンであってもよい。この第２のパターンでは、認証対象部分は、アカウント名の前段部分”asai”によって構成されている。一方、認証対象外部分は、アカウント名の後段部分”theta2”、ホスト名”myhost”、及びドメイン名“ricoo.com”によって構成されている。この場合、取出部８７は、”+”によって、認証対象部分と認証対象外部分を区別する。

（認証サーバ管理テーブル）
図２１は、認証サーバ管理テーブルを示す概念図である。この認証サーバ管理テーブルでは、各認証サーバ９を識別するための認証サーバＩＤ毎に、各認証サーバ９にアクセスするためのＵＲＬ(Uniform Resource Locator)が関連付けて記憶されて管理されている。

（サービス提供サーバの各機能構成）
次に、図１３を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。

サービス提供サーバ８の送受信部８１は、主に、図１０に示されているＣＰＵ７０１からの命令、及びネットワークＩ／Ｆ７０９によって実現され、インターネット６００を介して分散データ処理端末６、又は認証サーバ９と各種データ（または情報）の送受信を行う。

判断部８２は、主に、図１０に示されているＣＰＵ７０１からの命令によって実現され、例えば、分散データ処理端末６にサービスを提供するための通信セッションが既に確立されているか否かを判断する。

取出部８７は、主に、図１０に示されているＣＰＵ７０１からの命令によって実現され、端末ＩＤから、図２０に示されているような利用者ＩＤ（認証対象部分）を取り出す処理を行う。

記憶・読出部８９は、主に、図１０に示されているＣＰＵ７０１からの命令、及びＨＤＤ７０５によって実現され、記憶部８０００に各種データを記憶したり、記憶部８０００から各種データを読み出したりする。

＜認証サーバの機能構成＞
次に、図１３及び図２２を用いて、認証サーバ９の機能構成について詳細に説明する。認証サーバ９は、送受信部９１、認証部９２、及び、記憶・読出部９９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された認証サーバ９用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。

また、認証サーバ９は、図１０に示されているＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部９０００を有している。この記憶部９０００には、分散データ処理端末６又はサービス提供サーバ８から送られて来る各種データが記憶される。

更に、記憶部９０００には、認証管理ＤＢ９００１が構築されている。認証管理ＤＢ９００１は、後述の認証管理テーブルによって構成されている。以下、このテーブルについて詳細に説明する。

（認証管理テーブル）
図２２（ａ）は認証サーバ９ａが有する認証管理テーブルを示す概念図、図２２（ｂ）は認証サーバ９ｂが有する認証管理テーブルを示す概念図、図２２（ｃ）は認証サーバ９ｃが有する認証管理テーブルを示す概念図である。

各認証管理テーブルでは、端末ＩＤのうちの利用者ＩＤ（認証対象部分）とパスワードとが関連付けて記憶されて管理されている。

（認証サーバの各機能構成）
次に、図１３を用いて、認証サーバ９の各機能構成について詳細に説明する。

認証サーバ９の送受信部９１は、主に、図１０に示されているＣＰＵ７０１からの命令、及びネットワークＩ／Ｆ７０９によって実現され、インターネット６００を介して分散データ処理端末６及びサービス提供サーバ８と各種データ（または情報）の送受信を行う。

認証部９２は、主に、図１０に示されているＣＰＵ７０１からの命令によって実現され、認証要求を送信した画像取得端末２に、サービスを受けられる正当な権限があるか否かを判断することで、ＩＤの認証を行なう。

記憶・読出部９９は、主に、図１０に示されているＣＰＵ７０１からの命令、及びＨＤＤ７０５によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

〔本実施形態の処理又は動作〕
続いて、図２３乃至図４４を用いて、本実施形態の処理又は動作について説明する。

＜認証処理＞
まずは、図２３乃至図２６を用いて、認証処理について説明する。図２３及び図２４は、認証処理を示したシーケンス図である。図２５及び図２６は、分散データ処理端末の画面例を示す図である。

図２３に示されているように、分散データ処理端末６の送受信部６１からサービス提供サーバ８に対して、認証先選択画面の要求を送信する（ステップＳ２１）。この要求には、分散データ処理端末６の端末ＩＤが含まれている。また、この際、送受信部６１は、自端末のＩＰアドレスを送信する。これにより、サービス提供サーバ８の送受信部８１は、認証先選択画面の要求、及び分散データ処理端末６のＩＰアドレスを受信する。

次に、サービス提供サーバ８の判断部８２は、セッション管理テーブル（図１９参照）に、ステップＳ２１で受信された端末ＩＤが所定のセッションＩＤと関連づけて管理されているか否かを判断する（ステップＳ２２）。以降、端末ＩＤが管理されていなかった場合について説明する。

サービス提供サーバ８の送受信部８１は分散データ処理端末６に対して、認証先選択画面のデータを送信する（ステップＳ２３）。これにより、分散データ処理端末６の送受信部６１は、認証先選択画面のデータを受信する。

次に、分散データ処理端末６の表示制御部６７はディスプレイ５１７に対して、図２５に示されているような認証先選択画面ｓ１を表示させる（ステップＳ２４）。図２５では、分散データ処理端末６としての画面例が示されている。この認証先選択画面ｓ１には、端末ＩＤの入力欄ｂ１、パスワードの入力欄ｂ２、及びログイン要求（認証要求）するためのログインボタンｂ３が表示されている。更に、認証先選択画面ｓ１には、認証サーバ９ａ，９ｂ，９ｃをそれぞれ選択するための認証サーバ選択ボタンａ１，ａ２，ａ３が表示されている。例えば、認証サーバ選択ボタンａ１は、利用者が物体検出処理のサービスを受ける場合のボタンである。認証サーバ選択ボタンａ２は、利用者が物体計数処理のサービスを受ける場合のボタンである。

ここで、利用者が、入力欄ｂ１に自己の端末ＩＤ、入力欄ｂ２に自己のパスワードを入力し、認証サーバ選択ボタンａ１，ａ２，ａ３のうち所望のボタンを押下し、ログインボタンｂ３を押下すると、受付部６２が各入力及び選択を受け付ける（ステップＳ２５）。ここでは、認証サーバ選択ボタンａ１が選択されることで、画像認識処理のうち、物体検出処理プログラムProgD01により物体検出処理が実行される場合について説明する。

送受信部６１はサービス提供サーバ８に対して、ＩＤ（ここでは、端末ＩＤ又は利用者ＩＤ）の認証要求を送信する（ステップＳ２６）。この認証要求には、ステップＳ２５で受け付けられた端末ＩＤ及びパスワード、並びに認証サーバ９の選択結果及び分散データ処理端末６のＵＲＬが含まれている。この認証結果は、認証サーバ９を識別するための認証サーバＩＤを示している。これにより、サービス提供サーバ８の送受信部８１は、ＩＤの認証要求を受信する。

次に、サービス提供サーバ８の記憶・読出部８９は、ステップＳ２６で受信された選択結果としての認証サーバＩＤを検索キーとして、認証サーバ管理テーブル（図２１参照）を検索することにより、対応する認証サーバのＵＲＬを読み出す（ステップＳ２７）。

次に、取出部８７は、ステップＳ２６で受信された端末ＩＤのうち、利用者ＩＤ（認証対象部分）のみを取り出す（ステップＳ２８）。そして、送受信部８１は、ステップＳ２７で読み出されたＵＲＬで示される認証サーバ９に対して、ＩＤの認証要求を送信する（ステップＳ２９）。このＩＤの認証要求には、ステップＳ２８で取り出された利用者ＩＤ（認証対象部分）、ステップＳ２６で受信されたパスワード、及びステップ２６で受信された分散データ処理端末６のＵＲＬが含まれている。これにより、認証サーバ９の送受信部７１は、利用者の認証要求を受信する。

次に、認証サーバ９の記憶・読出部９９は、ステップＳ２９によって受信された利用者ＩＤ（認証対象部分）及びパスワードの組を検索キーとし、認証管理テーブル（図２２参照）において同じ組の認証対象部分及びパスワードを検索した結果を用いて、認証部９２が認証を行なう（ステップＳ３０）。認証部９２は、同じ組が管理されている場合には、分散データ処理端末６はサービス提供サーバ８からサービスを受けるための正当な端末であると判断し、同じ組が管理されていない場合には、分散データ処理端末６はサービス提供サーバ８からサービスを受けるための正当な端末でないと判断する。

なお、ステップＳ２８では、取出部８７が端末ＩＤから認証対象部分を取り出したが、これに限るものではない。例えば、サービス提供サーバ８は取出部８７を有しておらず、ステップＳ２９において、送受信部８１が、パスワード及びＵＲＬの他に、端末ＩＤのうち利用者ＩＤ（認証対象部分）のみを送信するようにしてもよい。

続いて、図２４に示されているように、認証サーバ９の認証部９２は、トークン（送信権）の暗号化を行なう（ステップＳ４１）。そして、送受信部９１は、ステップＳ２９によって受信された分散データ処理端末６のＵＲＬに基づいて、この分散データ処理端末６に認証結果を送信する（ステップＳ４２）。この認証結果は、分散データ処理端末６が正当であるか否かを示すとともに、ステップＳ４１によって暗号化されたトークンが含まれている。これにより、分散データ処理端末６の送受信部６１は、利用者の認証結果を受信する。以降、利用者が正当な権限を有する場合について説明する。

分散データ処理端末６の送受信部６１は、サービス提供サーバ８に対して、セッション確立要求を送信する（ステップＳ４３）。このセッション確立要求には、端末ＩＤ、及びステップＳ４２で受信された暗号化されているトークンが含まれている。これにより、サービス提供サーバ８の送受信部８１は、セッション確立要求を受信する。

次に、サービス提供サーバ８は、セッション確立要求を送信した分散データ処理端末６が、ステップＳ３０で正当であると判断されたことを確認するため、送受信部８１は認証サーバ９に対してトークンの認証要求を送信する（ステップＳ４４）。このトークンの認証要求には、ステップＳ４３で受信された暗号化されているトークンが含まれている。これにより、認証サーバ９の送受信部９１は、トークンの認証要求を受信する。

次に、認証部９２は、ステップＳ４４によって受信された、暗号化されているトークンを復号化する（ステップＳ４５）。そして、認証部９２は、ステップＳ４１で暗号化する前のトークンと、ステップＳ４５で復号化した後のトークンを比較することで、トークンの認証を行なう（ステップＳ４６）。そして、認証サーバ９の送受信部９１は、サービス提供サーバ８に対して、ステップＳ４６の認証結果を送信する（ステップＳ４７）。これにより、サービス提供サーバ８の送受信部８１は、認証結果を受信する。以降、ステップＳ４６において、トークンが正当であると判断された場合について説明する。

次に、サービス提供サーバ８の記憶・読出部８９は、セッション管理テーブル（図１９参照）において、新たにセッションＩＤを割り当てるとともに、このセッションＩＤに対して、ステップＳ２６で受信された端末ＩＤ及びＩＰアドレスを関連付けて管理する（ステップＳ４８）。そして、送受信部８１は、分散データ処理端末６に対してサービス提供画面のデータを送信する（ステップＳ４９）。これにより、分散データ処理端末６の送受信部６１は、サービス提供画面のデータを受信する。

次に、分散データ処理端末６の表示制御部６７は、ディスプレイ５１７上に、図２６に示されているようなサービス提供画面ｓ２を表示させる（ステップＳ５０）。図２６では、分散データ処理端末６の画面例が示されている。ここでは、サービス提供例として、分散データ処理端末６から画像取得端末２に対する遠隔操作を実現させるための遠隔操作サービスについて説明する。図２６に示されているサービス提供画面ｓ２には、遠隔操作対象を特定するためのＩＰアドレスの入力欄ｃ１、「遠隔操作開始」ボタンｃ２、及び「検出領域設定」ボタンｃ３が表示されている。

＜検出領域の設定＞
続いて、図２７乃至図２９、及び図３４（ａ）を用いて、検出領域の設定処理について説明する。図２７及び図２８は、検出領域の設定処理を示したシーケンス図である。

まず、図２７に示されているように、分散データ処理端末６の受付部６２は、図２６に示す「検出領域設定」ボタンｃ３の押下により、利用者から検出領域の設定要求を受け付ける（ステップＳ４１）。そして、送受信部６１は、検出領域の設定要求を近端末データ処理装置５に送信する（ステップＳ４２）。これにより、近端末データ処理装置５の送受信部５１は、検出領域の設定要求を受信する。

次に、近端末データ処理装置５の通信部５８は、ステップＳ４２で受信された検出領域の設定要求を実時間データ処理端末３の通信部４８へ出力する（ステップＳ４３）。これにより、実時間データ処理端末３の通信部４８は、検出領域の設定要求を入力する。

次に、実時間データ処理端末３は、実時間処理のうち検出領域設定における物体検出の処理を実行する（ステップＳ４４）。

（検出領域設定における物体検出処理）
ここで、図３４（ａ）を用いて、実時間処理のうち検出領域設定における物体検出の処理について説明する。図３４（ａ）は、実時間処理のうち検出領域設定における物体検出の処理を示したフローチャートである。

まず、判断部３３は、接続されている撮像ユニット４０における撮像素子の数が１つであるか否かを判断する（ステップＳ２０１）。この場合、判断部３３は、上述のステップＳ７２の処理によって読み出された撮像素子の数に基づいて判断する。そして、撮像素子の数が１つの場合には（ステップＳ２０１；ＹＥＳ）、画像処理部３４が、処理を繰り返すサイクル値を１／６０秒に設定する（ステップＳ２０２）。この場合、画像処理部３４は、上述のステップＳ７３の処理によって読み出されたサイクル値に設定する。

次に、接続部３８は、撮像ユニット４０から１系統である撮像画像データを取得する（ステップＳ２０３）。この撮像画像データは、デジタル画像データであり、たとえば４Ｋ画像（幅3840画像×高さ2160画素）のデータである。この場合、接続部３８は、図１５（ａ）に示されている画像取得プログラム（ProgC01 (1系統)）により処理を実行する。

一方、上記ステップＳ２０１において、撮像素子の数が１つではない場合には（ステップＳ２０１；ＮＯ）、画像処理部３４は、実時間処理を繰り返すサイクル値を１／３０秒に設定する（ステップＳ２０４）。この場合、画像処理部３４は、上述のステップＳ７３の処理によって読み出されたサイクル値に設定する。サイクル値を１／３０秒とすることで、１入力と比較して、サイクル値を大きく取ることにより、後述の画像合成処理が間に合わなくなることを防ぐことが出来る。

次に、接続部３８は、撮像ユニット４０から２系統である２つの撮像画像データを取得する（ステップＳ２０５）。２つの撮像画像データは、それぞれ図４（ａ）、（ｂ）に示されているような半球画像のデータである。この場合、接続部３８は、図１５（ａ）に示されている画像取得プログラム（ProgC02 (2系統)）により処理を実行する。

そして、画像処理部３４は、２つの撮像画像データを合成して、図４（ｃ）に示されているような正距円筒射影画像ＥＣを作成する（ステップＳ２０６）。この場合、画像処理部３４は、図１５（ｂ）に示されている合成処理プログラム（ProgS02 (合成処理)）により処理を実行する。

以上により、ステップＳ４４の検出領域設定における物体検出の処理処理が終了する。

続いて、実時間データ処理端末３の通信部４８は、近端末データ処理装置５の通信部５８へ撮像画像データを出力する（ステップＳ４５）。これにより、近端末データ処理装置５の通信部５８は、撮像画像データを入力する。そして、近端末データ処理装置５の記憶・読出部５９は、記憶部５０００から、所定領域情報（中心点ＣＰ及び画角α）を読み出す（ステップＳ４６）。

次に、近端末データ処理装置５の送受信部５１は、分散データ処理端末６に対して、ステップＳ４５で受信された撮影画像データ、及びステップＳ４６で読み出された中心点ＣＰ及び画角αを示す情報を送信する（ステップＳ４７）。これにより、分散データ処理端末６の送受信部６１は、撮影画像データ、並びに中心点ＣＰ及び画角αを示す情報を受信する。

次に、分散データ処理端末６の表示制御部６７は、ステップＳ４７で受信された撮像画像データのうち、ディスプレイ５１７上に図２９に示されているような検出領域設定画面を表示させる。図２９は、検出領域設定画面を示した図である。図２９に示されているように、検出領域設定画面には、検出可能範囲Ｐ、設定ボタンｄ１、及びキャンセルボタンｄ２が表示されている。検出可能範囲Ｐには、建物のエントランスが表されており、左側にドア１１が表されている。このドア１１の左側が屋外で、このドア１１の右側が屋内である。

検出可能範囲Ｐは、撮像ユニット４０の撮影範囲が物体（顔等）を検出することができる範囲である。この検出可能範囲Ｐ内に、物体の画像を照合可能な照合可能範囲Ｑと、この照合可能範囲Ｑ外であって照合不可能な照合不可能範囲Ｒが含まれる。図２９において、マージンａ、マージンｂは、検出可能範囲Ｐにおいて、それぞれｘ方向の左右端、ｙ方向の上下端に設けられた所定の値であり、予め定められている。

このように、検出可能範囲Ｐとは別に照合可能範囲Ｑを設けたのは、検出可能範囲Ｐは撮像素子４０１ａ等の撮像範囲として固定されているため、任意の部屋又は領域の大きさに合った範囲で物体の検出を行うことができるようにするためである。また、これにより、物体が検出可能範囲Ｐに入った後、照合可能範囲Ｑ内に入る前に検出可能範囲Ｐから外に出てしまった場合に、実時間データ処理端末３ａは、近端末データ処理装置５及び分散データ処理端末６を介して、集中データ処理サーバ７に被照合データを送信しなくて済むため、無駄な通信料を削減することができる。

「設定」ボタンｄ１は、検出領域を確定する場合に利用者によって押下されるボタンである。「キャンセル」ボタンｄ２は、検出領域の確定を止める場合に利用者によって押下されるボタンである。

また、検出可能範囲Ｐは、所定領域Ｔ（図７参照）と同じ範囲を示す。そのため、検出可能範囲Ｐを設定することは、所定領域Ｔを設定することになる。なお、検出可能範囲Ｐと所定領域Ｔの縦横比が異なる場合は、表示制御部６７は、所定領域Ｔの縦横比を維持したまま、拡大又は縮小して検出可能範囲Ｐのサイズに合わせて表示する。例えば、検出可能範囲Ｐの縦横比が９：１６であって、所定領域Ｔの縦横比が３：４である場合、表示制御部６７は、所定領域Ｔの横が検出可能範囲Ｐ内で最大となるように表示する。
この検出可能範囲Ｐは、分割データ処理端末６で利用者によって変更可能である。この変更や設定に関し、図２８を用いて説明する。

まず、分散データ処理端末６の受付部６２は、利用者からタッチパネル５２１等によって入力を受け付ける（Ｓ５１）。入力の種類は、図２９に示される検出領域設定画面において、スワイプ、ピンチイン若しくはピンチアウトによる検出可能範囲Ｐの変更、「設定」ボタンｄ１の押下、又は「キャンセル」ボタンｄ２の押下である。検出可能範囲Ｐの変更には、図７（ａ）において、スワイプにより立体球ＣＳ内で別の所定領域を表示させる場合（移動）、ピンチインにより所定領域Ｔを含めた広範囲の所定領域を表示させる場合（縮小）、ピンチアウトにより所定領域Ｔ内で狭範囲の所定領域を表示させる場合（拡大）が含まれる。

ここで、入力の種類が検出可能範囲Ｐの変更である場合には（Ｓ５２；変更）、表示制御部６７は、ピンチイン若しくはピンチアウトの操作量に応じて、検出可能範囲Ｐを変更して表示する（Ｓ５３）。そして、ステップＳ５１の処理に戻る。

また、入力の種類が「設定」ボタンｄ１の押下により、検出領域の確定である場合には（Ｓ５２；確定）、送受信部６１は、近端末データ処理装置５に対して、確定要求を送信する（Ｓ５４）。この確定要求には、ステップＳ５１，Ｓ５２で確定した検出可能範囲Ｐ（所定領域Ｔ）を特定するための中心点ＣＰ及び画角αを示す所定領域情報が含まれている。なお、ステップＳ５１，Ｓ５２で検出可能範囲Ｐ（所定領域Ｔ）が変更された後に確定された場合には、変更後の中心点ＣＰ及び画角αを示す所定領域情報が含まれている。これにより、近端末データ処理装置５の送受信部５１は、確定要求を受信する。

次に、近端末データ処理装置５では、記憶・読出部５９が、記憶部５０００に、確定された所定領域情報を記憶する（Ｓ５５）。

また、入力の種類が「キャンセル」ボタンｄ２の押下により、検出領域の設定を中止する場合には（Ｓ５２；中止）、送受信部６１は、近端末データ処理装置５に対して、撮影を停止するための撮影停止要求を送信する（Ｓ５６）。これにより、近端末データ処理装置５の送受信部５１は、撮影停止要求を受信する。そして、近端末データ処理装置５の通信部５８は、実時間データ処理端末３の通信部４８に対して、撮影停止要求を出力する（Ｓ５７）。これにより、実時間データ処理端末３の通信部４８は、撮影停止要求を入力する。そして、実時間データ処理端末３では、接続部３８が撮像ユニット４０に対して撮影を停止させる（Ｓ５８）。なお、ステップＳ５９の処理後、表示制御部６７は、図３０の領域役割設定画面の表示に戻らせる（Ｓ５９）。

以上により、検出領域の設定処理が終了する。

＜画像認識の準備処理＞
続いて、図３０乃至図３２を用いて、画像認識の準備処理について説明する。図３０は、画像認識の開始要求の処理を示したシーケンス図である。

図３０に示されているように、分散データ処理端末６では、受付部６２が利用者から画像認識の開始要求を受け付ける（ステップＳ６１）。この場合、分散データ処理端末６のＧＵＩ(Graphical User Interface)が利用される。これにより、分散データ処理端末６の送受信部６１は、近端末データ処理装置５に対して、画像認識の開始要求を示す画像認識の開始要求情報を送信する（ステップＳ６２）。この開始要求情報には、上述の認証処理（図２３及び図２４参照）で認証を行なった認証サーバ９を識別するための認証サーバＩＤが含まれている。これにより、近端末データ処理装置５の送受信部５１は、画像認識の開始要求情報を受信する。そして、通信部５８は、実時間データ処理端末３に対して、画像認識の開始要求情報を送信する（ステップＳ６３）。これにより、実時間データ処理端末３の通信部４８は、画像認識の開始要求情報を受信する。このように、ユーザーインタフェースを実時間データ処理端末３から分離することで、分散データ処理端末６から遠隔（リモート）操作が可能となる。

図３１は、実時間データ処理端末の実時間処理の準備処理を示したシーケンス図である。
図３１に示されているように、実時間データ処理端末３の接続部３８は、撮像ユニット４０から、この撮像ユニット４０の型番を取得する（ステップＳ７１）。この場合、接続部３８から撮像ユニット４０に型番を要求し、撮像ユニット４０がこの要求に応じて自ユニットの型番を送信する。

次に、記憶・読出部３９は、ステップＳ７１によって取得された型番を検索キーとして、撮像素子情報管理ＤＢ３００１（図１４（ａ）参照）を検索することにより、対応する撮像素子の数、及びレンズの種類を読み出す（ステップＳ７２）。更に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、サイクル値管理ＤＢ３００２（図１４（ｂ）参照）を検索することにより、対応するサイクル値を読み出す（ステップＳ７３）。

次に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、画像取得プログラム管理ＤＢ３００３（図１５（ａ）参照）で管理されている画像取得プログラムを検索する（ステップＳ７４）。次に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、合成処理プログラム管理ＤＢ３００４（図１５（ｂ）参照）で管理されている合成処理プログラムを検索する（ステップＳ７５）。次に、記憶・読出部３９は、ステップＳ７２によって読み出されたレンズの種類を検索キーとして、歪み補正プログラム管理ＤＢ３００５（図１５（ｃ）参照）で管理されている歪み補正プログラムを検索する（ステップＳ７６）。次に、記憶・読出部３９は、ステップＳ７２によって読み出されたレンズの種類を検索キーとして、サービスプログラム管理ＤＢ３００６（図１５（ｄ）参照）で管理されているサービスプログラムを検索する（ステップＳ７７）。

次に、判断部３３は、上記ステップＳ７４～Ｓ７７の検索結果に基づき、実行するプログラムが管理されているか否かにより、実行するプログラムが全てインストール済みか否かを判断する（ステップＳ７８）。例えば、ステップＳ７４で、記憶・読出部３９が画像処理プログラムを検索した結果、画像処理プログラムが管理されている場合には、判断部３３は、インストール済みと判断し、管理されていない場合には、判断部３３は、インストール済みではないと判断する。

そして、判断部３３によって、４つ全てのプログラムが管理されていると判断された場合には（ステップＳ７８；ＹＥＳ）、図３１に示されている処理は終了する。一方、判断部３３によって、４つのプログラムのうち、少なくとも１つのプログラムがインストールされていないと判断された場合には（ステップＳ７８；ＮＯ）、後述のステップＳ９１へ進む。

図３２は、プログラムの取得処理を示したシーケンス図である。ここでは、実時間データ処理端末３が、図３１に示されている処理によってインストールされていないと判明したプログラムを、サービス提供サーバ８から取得する処理を示している。

まず、図３２に示されているように、実時間データ処理端末３の通信部４８が、近端末データ処理装置５の通信部５８に対して、インストールされていないプログラムの要求を示す要求情報を送信する（ステップＳ９１）。この要求情報には、要求するプログラム名が含まれている。

次に、近端末データ処理装置５の送受信部５１は、通信部５８によって受信された要求情報を、分散データ処理端末６の送受信部６１に送信する（ステップＳ９２）。そして、分散データ処理端末６の送受信部６１は、サービス提供サーバ８の送受信部８１に要求情報を送信する（ステップＳ９３）。

次に、サービス提供サーバ８では、記憶・読出部８９が、要求情報に含まれているプログラム名で示されるプログラムを読み出す（ステップＳ９４）。そして、送受信部８１が、読み出されたプログラムを分散データ処理端末６の送受信部６１に送信する（ステップＳ９５）。この際、プログラム名も送信される。

次に、分散データ処理端末６の送受信部６１は、近端末データ処理装置５の送受信部５１に、プログラム名を含めたプログラムを送信する（ステップＳ９６）。そして、近端末データ処理装置５の通信部５８は、実時間データ処理端末３の通信部４８に対して、プログラム名を含めたプログラムを送信する（ステップＳ９７）。

次に、実時間データ処理端末３の記憶・読出部３９は、通信部４８によって取得されたプログラムをインストールするとともに、図１５に示されている各テーブルのうち、インストールするプログラム名を管理する（ステップＳ９８）。

次に、記憶・読出部３９は、画像認識処理に必要な全てのプログラムを起動させる（ステップＳ９９）。これにより、実時間データ処理端末３が、起動されたプログラムを実行することで、以下に示されている実時間処理を開始する。

＜画像認識処理＞
ここでは、図２５に示される「物体検出処理サービスへのログイン」ボタンｂ１が押下されて、サービス提供サーバ８が、画像認識処理のサービスのうち、物体検出処理のサービスを実行する場合について説明する。図３３は、画像認識処理を示したシーケンス図である。まず、実時間データ処理端末３は、実時間処理を行なう（ステップＳ１１１）。

（物体検出処理）
ここで、図３４（ａ）、（ｂ）を用いて、実時間処理のうち物体検出の処理について説明する。なお、ここでは、図３４（ａ）の処理後に図３４（ｂ）の処理が行われるが、図３４（ａ）の処理は、既に説明したため、図３４（ｂ）の処理を説明する。

ステップＳ２０３の処理後、物体検出部３５が、撮像画像データにおいて、物体の候補となる特徴点を検出することで、物体を検出する（ステップＳ２０７）。この場合、画像処理部３４は、図１５（ｄ）に示されているサービスプログラム（ProgD01 (物体検出処理)）により処理を実行する。画像処理部３４は、予め記憶部３０００に記憶されている物体の形状モデルデータと比較しながら撮像画像の端から矩形を探索し、もっともらしい物体の特徴点の位置を選択する。なお、ステップＳ２０７の処理については、例えば、「顔認識技術とその応用：パブリックセーフティを支える要素技術・ソリューション特集 ; バイオメトリクス認証, NEC技報, Vol.63, no.3, pp.26－30, 2010－09」で開示されているような、既知技術を用いることができる。

次に、画像処理部３４が、検出された物体の画像の歪みを補正する（ステップＳ２０８）。
この場合、画像処理部３４は、図１５（ｃ）に示されている画像処理プログラム（ProgW01（広角歪み補正））により処理を実行する。

なお、ステップＳ２０６の処理後は、ステップＳ２０７に進み、物体検出部３５は、正距円筒射影画像ＥＣのデータにおいて、物体の候補となる特徴点を検出することで、物体を検出する。次に、ステップＳ２０８によって、画像処理部３４が、検出された物体の画像の歪みを補正する。この場合、画像処理部３４は、図１５（ｃ）に示されている画像処理プログラム（ProgW02(魚眼歪み補正））により処理を実行する。

以上により、図３３に示されているように、実時間データ処理端末３の通信部４８は、近端末データ処理装置５の通信部５８へ撮像画像データを送信する（ステップＳ１１２）。そして、近端末データ処理装置５の送受信部５１は、ステップＳ１１２で受信された撮像画像データを、分散データ処理端末６の送受信部６１へ送信する（ステップＳ１１３）。これにより、分散データ処理端末６の表示制御部６７は、ディスプレイ５１７に、図４１に示されているような撮像画像をリアルタイムで表示させる（ステップＳ１１４）。図４１は、分散データ処理端末における撮像画像の表示例を示した図である。この撮像画像には、物体検出（ここでは、顔検出）された矩形を示す枠が表示されている。ステップＳ１１２～Ｓ１１４は、ストリーミングの処理である。

（イベント生成処理）
次に、図３５及び図３６を用いて、実時間処理のうちイベント生成の処理を説明する。図３５及び図３６は、実時間処理のうちのイベント生成の処理を示したフローチャートである。

ステップＳ２０７の処理によって、物体検出部３５が、物体（ここでは、顔）を検出しなかった場合には（Ｓ２１１；ＮＯ）、所定時間（設定されているサイクル値）待機後に（Ｓ２１２）、再びステップＳ２１１の処理に戻る。例えば、検出は1秒間に３０回行われる。

これに対し、上述のステップＳ２０７の処理によって、物体検出部３５が、物体（ここでは、顔）を検出した場合には（Ｓ２１１；ＹＥＳ）、ステップＳ２１３の処理へ進む。そして、検出された物体の位置が照合可能範囲 Ｑにない（照合可能範囲Ｑ外にある）場合にも（Ｓ２１１；ＮＯ）、ステップＳ２１２の処理に進む。

ステップＳ２１３では、記憶・読出部３９が、ステップＳ２０７で検出された物体に関する物体情報を、物体情報管理テーブル（図１６参照）に新たなレコードとして記憶する。こ の場合、記憶・読出部３９が、既に物体情報管理テーブルに記憶されているレコードに対しては、リセットのために終了フラグを消去する。

次に、記憶・読出部３９は、物体変位管理テーブルに記憶されている終了フラグを初期化するため、物体変位管理テーブルにおける全てのレコードに対して終了フラグを消去する（Ｓ２１４）。なお、終了フラグは、後述のステップＳ２１６で付加されるフラグである。

次に、物体変位管理テーブルにおいて、読み出すレコードが残っている場合は（Ｓ２１５；ＹＥＳ）、記憶・読出部３９は、物体変位管理テーブルから１レコードのデータを読み出す（Ｓ２１６）。一方、全てのレコードを読み出し済みである場合は（Ｓ２１５；ＮＯ）、後述のステップＳ２２０へ進む。

次に、算出部３１は、ステップＳ２１３で記憶された最新（現在）の物体の検出位置と、ステップＳ２１６で記憶された過去の物体の検出位置（ここでは座標（x, y）とする）との距離を算出する（Ｓ２１７）。そして、判断部３３は、ステップＳ２１７で算出された距離が所定の閾値よりも短い（未満）か否かを判断する（Ｓ２１８）。本実施形態では、（式１）に示されている平方ユークリッド距離を用いて算出される。なお、判断部３３は、所定の閾値以下か否かを判断してもよい。

平方ユークリッド距離は、より離れた対象ほど大きな重みをもつため、距離が近い過去の物体の位置を見つけ易いという利点がある。なお、他のよく知られた距離の算出方法であってもよく、たとえば、市街地距離や特定の方向(x方向、またはy方向)のみにずれた画素数をカウントする、といった処理を用いることができる。

次に、ステップＳ２１７で算出された距離が所定の閾値よりも短い場合には（Ｓ２１８；ＹＥＳ）、現在の物体の位置と物体変位管理テーブルで管理されている残りのレコードの過去の位置との間の距離が算出されずに、ステップＳ２１９に進む。ステップＳ２１７で算出された距離が所定の閾値よりも短くない（同じ又は長い）場合には（Ｓ２１８；ＮＯ）、上記ステップＳ２１５の処理に戻る。

次に、記憶・読出部３９は、物体変位管理テーブルにおいて、距離が閾値より短いと判断された過去の物体の位置を示す位置情報を、距離が閾値より短いと判断された最新の物体の位置を示す位置情報に置き換えることで、物体変位管理テーブルを更新する（Ｓ２１９）。この場合、記憶・読出部３９は、物体情報管理テーブルと物体変位管理テーブルにおいて、それぞれ置き換えに使われた位置情報を含むレコードの終了フラグ欄に「終了フラグ」を付す。

次に、物体変位管理テーブルにおいて、終了フラグが付されていないレコードが残っている場合には（Ｓ２２０；ＹＥＳ）、実時間データ処理端末３は、物体の移動方向を考慮して、建物のエントランスの出入りをカウントする処理を行う（Ｓ２２１）。ここで、図３７を用いて、物体の移動方向を考慮して、建物のエントランスの出入りをカウントする処理を説明する。図３７は、物体の移動方向を考慮して、建物のエントランスの出入りをカウントする処理を示したフローチャートである。

物体変位管理ＤＢ３００８において、終了フラグが付されていないレコードが残っている場合には（Ｓ２２０；ＹＥＳ）、図３７に示されているように、判断部３３は、当レコードで物体（人物等）が特定されているかを判断する（Ｓ２２１－１）。なお、“Ｋａｔｏ”等のように具体的に名前を特定することができる場合だけでなく、“Ｕｎｋｎｏｗｎ”のように名前を特定できないが物体の存在を特定できた場合も、物体が特定された場合に含まれる。

そして、物体が特定されている場合には（Ｓ２２１－１，ＹＥＳ）、判断部３３は、物体変位管理テーブルのそれぞれのレコードにおいて、初期位置（ｘ座標）と最後の最新位置（最終位置（ｘ座標））のそれぞれが、検出可能範囲Ｐの右半分に含まれるか又は左半分に含まれるかに基づき、物体の移動方向を判断する（Ｓ２２１－２）。例えば、初期位置（ｘ座標）が検出可能範囲Ｐの左半分の領域に含まれ、最終位置（ｘ座標）が検出可能範囲Ｐの右半分の領域に含まれている場合には、初期位置を基準にした最終位置の方向に基づき、物体がエントランスの左側から入って右側に移動したと判断される。また、初期位置（ｘ座標）が検出可能範囲Ｐの右半分の領域に含まれ、最新位置（ｘ座標）が検出可能範囲Ｐの左半分の領域に含まれている場合には、物体がエントランスの右側から入って左側に移動したと判断される。

そして、物体が左側から右側に移動したと判断された場合には（Ｓ２２１－３；左から右）、
算出部３１は、物体が左側から右側へ移動した回数をカウントアップする（Ｓ２２１－４）。一方、物体が右側から左側に移動したと判断された場合には（Ｓ２２１－３；右から左）、算出部３１は、物体が右側から左側へ移動した回数をカウントアップする（Ｓ２２１－５）。

続いて、ステップＳ２２１－４，５の処理後、図３８に示されているように、実時間データ処理端末３の通信部４８は、近端末データ処理装置５の通信部５８に対して、表示変更要求を出力する（Ｓ３０１）。この表示変更要求には、移動方向毎に合計の移動回数を示す情報が含まれている。この情報は、例えば、「LtoR２回及びRtoL２回」を示す。そして、次に、LtoRがカウントアップされると、「LtoR３回及びRtoL２回」を示す情報が出力される。これにより、近端末データ処理装置５の通信部５８は、表示変更要求を入力する。そして、送受信部５１は、分散データ処理端末６に対して、表示変更要求を送信（転送）する（Ｓ３０２）。これにより、分散データ処理端末６の送受信部６１は、表示変更要求を受信する。

次に、分散データ処理端末６では、表示制御部６７が、後述の図４１に示されている移動方向別回数表示領域ｍ３の表示内容を変更する（Ｓ３０３）。図４１では、前回の「LtoR２回及びRtoL２回」の場合から、今回の「LtoR３回及びRtoL２回」の場合に変更された状態が示されている。この場合、「１」は、LtoRの回数とRtoLの回数の差分が示され、表示制御部６７が差分を計算して表示させる。

なお、初期位置（ｘ座標）と最新位置（ｘ座標）を利用して、左右方向の移動を検出するだけでなく、初期位置（ｙ座標）と最新位置（ｙ座標）を利用して、上下方向の移動を検出してもよい。

また、ステップＳ２２１－４，５の処理後、図３８に示されているように、実時間データ処理端末３の通信部４８は、近端末データ処理装置５の通信部５８に対して、移動情報を記憶させるための移動情報記憶要求を出力する（Ｓ３０４）。この移動情報記憶要求には、物体の最新位置の検出日時、物体の移動方向、及び物体の名前を示す情報が含まれている。物体の最新位置は、検出可能範囲Ｐから物体が抜け出す直前の物体の位置を示し、検出可能範囲Ｐ内で物体検出された最後の位置を示す。移動方向は「LtoR」または「RtoL」を示す情報である。物体の名前には、“Ｋａｔｏ”等のように具体的な名前だけでなく、名前を特定できないが人物の存在を特定できた場合の“Ｕｎｋｎｏｗｎ”も含まれる。

次に、送受信部５１は、分散データ処理端末６に対して、移動情報記憶要求を送信（転送）する。これにより、分散データ処理端末６の送受信部６１は、移動情報記憶要求を受信する。
更に、送受信部６１は、集中データサーバ７に対して、移動情報記憶要求を送信（転送）する。これにより、集中データサーバ７の送受信部７１は、移動情報記憶要求を受信する。

次に、集中データサーバ７では、記憶・読出部７９が、移動情報管理ＤＢ７００２（図１８（ｂ）参照）に対して、物体の最新位置の検出日時、物体の移動方向、及び物体の名前を示す情報を関連付けて１レコードとして記憶する（Ｓ３０７）。

なお、物体の最新位置の検出日時、物体の移動方向、及び物体の名前を示す情報が関連付けられた１レコードは、記憶から一定期間（例えば、３ヶ月）経過後に削除するようにしてもよい。

続いて、図３５に戻り、ステップＳ２２１の処理後、記憶・読出部３９は、当該終了フラグが付されていないレコードを削除して（Ｓ２２２）、図３６に示されているステップＳ２３１の処理に進む。この処理は、物体変位管理テーブルにおいて終了フラグが付されずに残っている場合には、既に物体（ここでは、人）が後述の照合可能範囲Ｑから出てしまったと推測できるため、物体変位管理テーブルからレコードを削除して、今後の比較対象から除くようにするための処理である。

一方、物体変位管理テーブルにおいて、終了フラグが付されていないレコードが残っていない場合には（Ｓ２２０；ＮＯ）、上記ステップＳ２２１の処理は省略されて、ステップＳ２３１の処理に進む。

次に、物体情報管理テーブルにおいて、終了フラグが付加されていないレコードが残っている場合には（Ｓ２３１；ＹＥＳ）、記憶・読出部３９は、この残ったレコードの位置情報を物体変位管理テーブルに新たなレコードとして追加する（Ｓ２３２）。この場合、記憶・読出部３９は、追加したレコードにおいて、照合進捗状況を「０（認識前）」で管理する。この処理は、後述の検知可能範囲Ｐに新しく物体（ここでは、人）が入って来たと推測できるので、その後の変位を管理するための処理である。

また、この場合、記憶・読出部３９は、追加したレコードにおけるＩＤ欄には、前回追加したＩＤの値に「＋１」して記憶する。なお、記憶・読出部３９は、ステップＳ２２１でレコードを削除した時にＩＤのリナンバリングはしない。このようにすることで、照合進捗状況が「１（照合中）」のレコードに対して正しい結果を保存することができる。

一方、物体情報管理テーブルにおいて、終了フラグが付加されていないレコードが残っていない場合には（Ｓ２３１；ＮＯ）、後述のステップＳ２３６の処理に進む。

次に、ステップＳ２３２の処理後、判断部３３は、物体変位管理テーブルにおいて、照合進捗状況「０（照合前）」の物体が、照合可能範囲Ｑ内にあるか否かを判断する（Ｓ２３３）。この判断は、物体の位置情報に基づいて行われる。そして、ステップＳ２３３により、照合可能範囲Ｑにあると判断された場合には（Ｓ２３３；ＹＥＳ）、画像処理部３４は、物体変位管理テーブルのうち、照合可能範囲Ｑ内にある物体の位置、幅、及び高さを参照し、これらの値で定まる部分画像データを切り出して、JPEGなどの汎用形式で符号化する（Ｓ２３４）。この場合、記憶・読出部３９は、物体変位管理テーブルの対応するレコードの照合進捗状況を「１（照合中）」に変更する。

一方、ステップＳ２３３において、照合可能範囲Ｑ内にないと判断された場合には（Ｓ２３３；ＮＯ）、ステップＳ２３６の処理に進む。

次に、イベント生成部３６は、近端末データ処理装置５に対して部分画像データと部分画像データに関連付けられた部分画像ＩＤを送信することを通知するイベントメッセージを生成する（Ｓ２３５）。具体的には、イベント生成部３６は、”Send”といったイベントメッセージを生成する。

続いて、画像処理部３４は、表示されている文字画像をクリアしてから、物体変位管理テーブルの照合進捗状況が「１（照合中）」または「２（照合完了）」に関連付けられている位置を参照し、撮像画像の対応する位置に文字画像を合成する（Ｓ２３６）。

ここで、図４１に、文字が画像を合成した例を示す。図４１は、ある部屋（ここでは、建物のエントランス）で画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。画像処理部３４は、位置（ｘ２，ｙ２）の部分画像に対しては照合中であることを示すために”！”で表される待機状態マークｍ１を合成する。また、画像処理部３４は、位置（ｘ３，ｙ３）の部分画像に対して照合結果を示すために名前を参照して部分画像の対応位置に、”Kato”で表される名前情報ｍ２を合成する。この名前情報ｍ２は、物体変位管理ＤＢ３００８から読み出された情報である。なお、合成後の画像データは、図３３に示されているステップＳ１１２，Ｓ１１３によって分散データ処理端末６まで送信され、ステップＳ１１４で表示される。

次に、通信部４８が、後述のステップＳ３１８による照合結果を受信していない場合は（Ｓ２３７；ＮＯ）、ステップＳ２１２の処理へ進む。

一方、通信部４８が照合結果（名前と部分画像ＩＤ）を受信した場合は（Ｓ２３７；ＹＥＳ）、記憶・読出部３９が物体変位管理テーブルにおいて、受信された部分画像ＩＤと関連付けられている名前欄に、受信された名前を記憶する（Ｓ２３８）。この場合、記憶・読出部３９は、照合進捗状況を「１（照合中）」から「２（照合完了）」に変更する。そして、画像処理部３４は、表示されている文字画像をクリアしてから、受信された部分画像ＩＤに関連付けられた物体変位管理テーブルの位置を参照し、撮像画像の対応する位置に受信した名前で文字画像を合成する（Ｓ２３９）。そして、ステップＳ２１２の処理へ戻る。ステップＳ２３９により、表示制御部３７は、照合中であった”！”の表示を”Kato”のように名前の表示に更新する。これにより、分散データ処理端末６の利用者は照合の進捗状況を迅速に知ることができる。

以上により、実時間処理のうちのイベント生成の処理が終了する。

続いて、図３３に戻り、実時間データ処理端末３ａの通信部４８は、近端末データ処理装置５の通信部５８に対して、物体（ここでは、顔）の部分画像データ及び部分画像ＩＤを送信する（Ｓ１１５）。

次に、近端末データ処理装置５では、データ検出部５６が、通信部５８によって”Send”のイベントメッセージの受信の有無を検出する（Ｓ１１６）。そして、イベントメッセージの受信が検出された場合には（Ｓ１１６；ＹＥＳ）、通信部５８は、イベントメッセージと共に送信された部分画像データ及び部分画像ＩＤを受信する（Ｓ１１７）。そして、記憶・読出部５９が、記憶部５０００に部分画像データを一時的に記憶する（Ｓ１１８）。

次に、データ検出部５６は、部分画像データの受信が完了したか否かを監視する（Ｓ１１９）。このステップＳ１１９の処理は、１つのイベントメッセージにつき、全ての部分画像データ及び部分画像ＩＤが受信されるまで繰り返される（Ｓ１１９；ＮＯ）。そして、部分画像データの受信が完了した場合には（Ｓ１１９；ＹＥＳ）、記憶・読出部５９は、記憶部５０００から１つのイベントメッセージと共に送られ、記憶部５０００に一時的に記憶されている全ての部分画像データ及び部分画像ＩＤを読み出す（ステップＳ１２０）。その後、送受信部５１は、イントラネット２００を介して、分散データ処理端末６の送受信部６１に対して、ステップＳ１２０で読み出された全ての部分画像データ及び部分画像ＩＤを送信する（Ｓ１２１）。これにより、分散データ処理端末６の送受信部６１は、全ての部分画像データ及び部分画像ＩＤを受信する。部分画像データは、後ほど被照合データとして利用される。

（照合処理）
続いて、図３９乃至図４１を用いて、照合処理について説明する。生成の処理を示したフローチャートである。図３９は、照合する処理を示したシーケンス図である。図４０は、照合処理を示したフローチャートである。図４１は、ある部屋に画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。

まず、利用者は、照合データを登録するために、分散データ処理端末６から集中データ処理サーバ７にアクセスすることで、集中データ処理サーバ７に照合データの登録を行う（Ｓ３１１）。具体的には、記憶・読出部７９は、記憶部７０００照合データを記憶するとともに、照合データ管理ＤＢ７００１に対して、ファイル名及び名前を関連付けて記憶する。

次に、集中データ処理サーバ７では、特徴量生成部７４が、ステップＳ３１１によって登録された照合データをビットマップデータに復号化する変換を行ない、照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ３１２）。

次に、上述のステップＳ１２１の処理により、分散データ処理端末６の送受信部６１が、被照合データとしての部分画像データ及び部分画像ＩＤを受信すると、送受信部６１は、集中データ処理サーバ７に対して、照合要求を示す照合要求情報を送信する（Ｓ３１３）。この照合要求情報には、被照合データ及び部分画像ＩＤが含まれている。これにより、集中データ処理サーバ７の送受信部７１は、照合要求情報を受信する。

次に、集中データ処理サーバ７は、照合処理を行う（Ｓ３１４）。ここで、図４０を用いて、照合処理について説明する。図４０は、照合処理を示したシーケンス図である。

図４０に示されているように、集中データ処理サーバ７の特徴量生成部７４が、ステップＳ３１３によって受信された被照合データをビットマップデータに復号化する変換を行ない、被照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ４０１）。

次に、記憶・読出部７９は、照合データ管理ＤＢ７００１を検索することで、登録されている照合データが残っているか否かを判断する（Ｓ４０２）。そして、残っていると判断された場合には、照合部７５は、両データ（照合データ及び被照合データ）に係る特徴量のパラメータを比較して類似度を算出する（Ｓ４０３）。そして、記憶・読出部７９が、ステップＳ３１２で登録された照合データに付けられている「名前」と、ステップＳ４０３で算出された「類似度」とを組にして一時的に記憶部７０００に記憶する（Ｓ４０４）。その後、図１８（ａ）に示されている照合データ管理テーブルにおいて、照合データを次の行へ変更して、ステップＳ４０２の処理が再度行なわれる。

一方、ステップＳ４０２において、照合データが残っていない（全くない場合も含む）と判断された場合には、ステップＳ４０５の処理に進む。そして、判断部７３は、記憶部７０００に一時的に記憶していた各類似度のうち最大の類似度が閾値より大きいか否かを判断する（Ｓ４０５）。

そして、ステップＳ４０５において、判断部７３が、最大の類似度が閾値よりも大きいと判断した場合には（ＹＥＳ）、記憶・読出部７９は、照合データ管理ＤＢ７００１から最大の類似度の照合データに付けられた「名前」を読み出す（Ｓ４０９）。閾値は、例えば「８０％」である。これにより、類似度が低い場合には、「名前」が読み出されない。

一方、ステップＳ４０５において、判断部７３が、記憶部７０００に一時的に記憶していた各類似度のうち最大の類似度が閾値以下であると判断した場合には（ＮＯ）、記憶・読出部７９は、記憶部７０００から、“Ｕｎｋｎｏｗｎ”を示す情報を読み出す（Ｓ４０７）。これにより、ステップＳ３１４の照合処理は終了する
続いて、図３９に戻り、集中データ処理サーバ７の送受信部７１は、分散データ処理端末６に対して、照合結果を示す照合結果情報を送信する（Ｓ３１５）。この照合結果情報には、ステップＳ４０６で読み出された「名前」又はステップＳ４０７で読み出された情報、及び、ステップＳ３１３で受信された部分画像ＩＤが含まれている。これにより、分散データ処理端末６の送受信部６１は、照合結果情報を受信する。

次に、分散データ処理端末６では、表示制御部６７が、図４１に示されているような照合結果を表示させる（Ｓ３１６）。ここで、図４１を用いて、照合結果の表示について具体的に説明する。図４１は、照合結果表示画面を示す図である。

図２９に示されている検出領域設定画面と同じように、照合結果表示画面の検出可能範囲Ｐは、撮像ユニット４０の撮影範囲が物体（ここでは、顔）を検出することができる範囲である。この検出可能範囲Ｐ内に、物体（ここでは、顔）の画像を照合可能な照合可能範囲Ｑと、この照合可能範囲Ｑ外であって照合不可能な照合不可能範囲Ｒが含まれる。図４１において、マージンａ、マージンｂは、検出可能範囲Ｐにおいて、それぞれｘ方向の左右端、ｙ方向の上下端に設けられた所定の値である。これらの値は、予め定められた値である。

このように、検出可能範囲Ｐとは別に照合可能範囲Ｑを設けたのは、検出可能範囲Ｐは撮像素子４０１ａ等の撮像範囲として固定されているため、任意の部屋又は領域の大きさに合った範囲で物体の検出を行うことができるようにするためである。また、これにより、物体が検出可能範囲Ｐに入った後、照合可能範囲Ｑ内に入る前に検出可能範囲Ｐから外に出てしまった場合に、実時間データ処理端末３ａは、近端末データ処理装置５及び分散データ処理端末６を介して、集中データ処理サーバ７に被照合データを送信しなくて済むため、無駄な通信料を削減することができる。

上述のステップＳ２０７の処理による顔検出は、撮影範囲である検出可能範囲Ｐの全体に渡って行われる。物体が、マージンａ，ｂで決まる矩形の範囲外にある場合は、物体は照合可能範囲Ｑ内にない。この場合、物体は検出可能範囲Ｐ内で検出されるが、照合可能範囲Ｑ内では検出されないため、結果的に、物体は、検出可能範囲Ｐ内の照合可能範囲Ｑ以外の範囲である照合不可能範囲Ｒに存在していることになる。

ここで、（ｘ１，ｙ１）は、照合不可能範囲Ｒ内に存在する物体が検出された場合の部分画像データの左上隅の座標を示す。

（ｘ２，ｙ２）は、照合可能範囲Ｑ内に存在する物体が検出された場合の部分画像データの左上隅の座標を示す。また、ここでは、“！”で表された待機状態マークｍ１が表示されている。この待機状態マークｍ１は、分散データ処理端末６が照合要求情報を送信後（Ｓ３１３）、集中データ処理サーバ７から照合結果情報を受信する（Ｓ３１５）までの間に表示されている。

（ｘ３，ｙ３）は、照合可能範囲Ｑ内に存在する物体が検出された場合の部分画像データの左上隅の座標を示す。また、ここでは、“Ｋａｔｏ”で表された名前情報ｍ２が表示されている。この名前情報は、ステップＳ３１５によって集中データ処理サーバ７から受信された「名前」である。このように、照合可能範囲Ｑに入った物体は、最初は待機状態マークｍ１が表示されるが、１～２秒後には、名前情報ｍ２が表示される。これにより、閲覧者は、表示されている物体（ここでは、顔）が誰であるかを認識（特定）することができる。なお、名前が不明な場合は、“Ｕｎｋｎｏｗｎ”と表示される。この表示は、上記ステップ４０７の処理が実行され、ステップＳ３１５によって受信された「名前」が“Ｕｎｋｎｏｗｎ”の場合に行われる。

更に、照合結果表示画面の右上には、上述のように、移動方向別回数表示領域ｍ３が表示されている。これにより、エントランスに入った人が３名、エントランスから出た人が２名、建物に残っている人が１名であるということが容易に分かる。また、例えば、社員証等の入館証による入室管理システムが既に導入されていたとしても、友連れした場合は、正確な入退室を把握できない。しかしながら、本実施形態によれば、確実に人物の出入りを管理することができる。

また、照合結果表示画面の右下には、「移動情報表示」ボタンｅ１が表示されている。「移動情報表示」ボタンｅ１は、後述の図４３又は図４４に示す移動情報を表示するためのボタンである。

（移動情報の表示）
続いて、図４２乃至図４４を用いて、移動情報の表示の処理について説明する。図４２は、移動情報の表示の処理を示すシーケンス図である。図４３は、移動結果表示画面を示す図である。

まず、利用者が「移動情報表示」ボタンｅ１を押下すると、分散データ処理端末６の受付部６２は、移動情報の表示を受け付ける（Ｓ５０１）。そして、送受信部６１は、集中データ処理サーバ７に対して、移動情報を要求するための移動情報要求を送信する（Ｓ５０２）。この移動情報には、現在の日時が含まれている。これにより、集中データ処理サーバ７の送受信部７１は、移動情報要求を受信する。

次に、集中データ処理サーバ７では、記憶・読出部７９が、移動情報管理ＤＢ７００２から、受信された現在の日付に基づいて所定の移動情報を読み出す（Ｓ５０３）。例えば、現在の日時が２０１９年４月１８日であった場合には、記憶・読出部７９は、移動情報管理ＤＢ７００２の日時欄（図１８（ｂ）参照）を参照し、同じ「日」の全てのレコードを読み出す。

次に、計数部７６は、単位時間毎（本実施形態では１時間毎）に各方向、人物の名前の組合せでレコード数を計数する（Ｓ５０４）。本実施形態では、計数部７６は、２種類の移動方向（LtoR, RtoL）、及び、２種類の人物の名前（Ｕｎｋｎｏｗｎ, Kato）の組み合わせ4種類で計数する。

次に、集中データ処理サーバ７の送受信部７１は、分散データ処理端末６に対して、移動情報を送信する（Ｓ５０５）。この移動情報には、ステップＳ５０４で計数された１時間ごとで４種類の計数データが含まれている。

次に、分散データ処理端末６では、表示制御部６７が、ステップＳ５０５によって受信された移動情報をディスプレイ５１７上に、図４３に示されているような棒グラフで表された移動結果表示画面を表示させる（Ｓ５０６）。図４３の例では、正数、負数はそれぞれ左から右、右から左へ移動した人の数を示し、各棒グラフはKatoとＵｎｋｎｏｗｎ(それ以外の人)を積み上げて表示している。このように単位時間ごとにグラフ表示することで、入退室の様子が一目瞭然となる。また、特定の人物（例えば、Kato）に対しては、いつ移動したのかについても可視化できる。

なお、図４３の移動結果表示画面では、現在日であるため、「記録表示」ボタンを押下した時点よりも先の時刻（例えば、１８時以降）については表示されない。また、グラフ上部の日付の右に配置されている矢印は翌日の結果を表示できるが、表示例１では、現在日であるため、押下しても反応しないことを淡い表示で示している。その一方で、日付の左側の矢印を押下すれば、図４２の処理が再度実施されることで、一日前のグラフが表示される。この場合は２４時間すべての結果が表示されるとともに、日付の右側の矢印が濃い表示になり、翌日の結果について再表示することができる。また、受付部６２が右下の「ＯＫ」ボタンｆ１の押下を受け付けることで、表示制御部６７は、図４３の移動結果表示画面から図４１の照合結果表示画面に切り替える。

図４４は、他の移動結果表示画面を示す図である。この場合、図４２におけるステップＳ５０４において、上述のステップＳ５０４における計数部７６の処理に替えて、計数部７６は、特定の人物（ここでは、名前）ごとに、移動方向（LtoR, RtoL）を計数し、LtoRの計数結果からRtoLの計数結果を差し引く。この場合、ステップＳ５０５において、送受信部５０５が送信する移動情報は、計数部７６によって、LtoRの計数結果からRtoLの計数結果を差し引かれた場合に、差分が０でない人物の名前を示す。

これにより、ステップＳ５０６において、分散データ処理端末６では、表示制御部６７が、ディスプレイ５１７上に、図４４に示されているような人物の名前が表された移動結果表示画面を表示させる。図４４の例では、表示された名前は、現在時点で建物内に残っている人の名前である。また、受付部６２が、利用者によって、日付欄（ここでは、2019－04－19）又は時刻欄（ここでは、17:12:37）の変更、及び「再表示」ボタンｇ１の押下を受け付けると、図４４の表示のためのステップＳ５０１～Ｓ５０６が再度実行される。但し、「再表示」ボタンｇ１が押下された場合のステップＳ５０３の処理は、入力された日付の0時0分0秒から入力された時刻までが読み出される移動情報の範囲となる。また、受付部６２が右下の「ＯＫ」ボタンｇ２の押下を受け付けることで、表示制御部６７は、図４４の移動結果表示画面から図４１の照合結果表示画面に切り替える。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、実時間データ処理端末３は、第１の位置を基準にした第２の位置の方向を判断することで、物体の移動方向を求めることができるという効果を奏する。

また、実時間データ処理端末３で同じ物体が撮影された場合には、実時間データ処理端末３から近端末データ処理装置５及び分散データ処理端末６を介して、集中データ処理サーバ７に、撮影画像データ及び照合要求の送信を行わない。これにより、実時間データ処理端末３の利用者に対して、必要以上に通信料金の請求が行われることを抑制することができるという効果を奏する。

〔補足〕
上記実施形態では、ステップＳ２１７，Ｓ２１８において、最新の物体の検出位置と過去の物体の検出位置との距離だけを判断材料としたが、これに限るものではない。例えば、最新の物体の部分画像と過去の物体の部分画像との面積差も判断材料にしてもよい。具体的には、以下の２つの条件である（条件１）及び（条件２）を満たしたときに、ステップＳ２１９に進むようにしてもよい。この判断によれば、現在の物体の検出位置が過去の検出位置に近かったとしても、不自然に検出領域の大きさに差があれば、同じ物体（ここでは、人）であると認定しないこととすることができる。これによって、本来、照合要求が不要であるべき送信（Ｓ１１５，Ｓ１２１）を更に減らすことができる。
（条件１）過去の物体と最新の物体との距離が所定の閾値未満（又は以下）（ステップＳ２１８と同じ）
（条件２）過去の物体と最新の物体との面積差の絶対値が所定の閾値未満（又は以下）
なお、条件２の面積差は、算出部３１によって、部分画像の高さと幅から算出された各面積(width*height)の差である。

また、上記実施形態では、待機状態マークｍ１が”！”で表されているが、これに限るものではない。例えば、砂時計のアイコンや、「照合中」又は「認証中」等のコメントであってもよい。

また、撮像画像データについて説明したが、これに限らず、撮影されずに利用者によって作成された作成画像データであってもよい。この場合、撮影画像データ及び作成画像データは、「画像データ」の一例である。また。画像取得端末２は、通信端末の一例であり、画像データを外部から取得せず、自端末で作成してもよい。更に、通信端末は、集音により音データを取得してもよいし、温度センサにより温度データを取得してもよいし、湿度センサにより湿度データを取得してもよい。

また、各ＣＰＵ３０１，５０１，７０１等の各構成要素は、単一であってもよく複数であってもよい。また、画像取得端末２、分散データ処理端末６、及び集中データ処理サーバ７は、それぞれ複数あってもよい。更に、分散データ処理端末６はサーバであってもよい。

また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。

２ 画像取得端末（通信端末の一例）
３ 実時間データ処理端末
５ 近端末データ処理装置
６ 分散データ処理端末
７ 集中データ処理サーバ（他の装置の一例）
３１ 算出部（算出手段の一例）
３４ 画像処理部（画像処理手段の一例）
３５ 物体検出部（物体検出手段の一例）
３８ 接続部（取得手段の一例）
５１ 送受信部（送信手段の一例）
６１ 送受信部
６２ 受付部
６７ 表示制御部
６９ 記憶・読出部
７１ 送受信部
７４ 特徴量生成部
７５ 照合部
２００ イントラネット
６００ インターネット
３００１ 撮像素子情報管理ＤＢ
３００２ サイクル値管理ＤＢ
３００３ 画像取得プログラムＤＢ
３００４ 合成処理プログラム管理ＤＢ
３００５ 歪み補正プログラム管理ＤＢ
３００６ サービスプログラム管理ＤＢ
３００７ 物体情報管理ＤＢ
３００８ 物体変位管理ＤＢ
６０００ 記憶部
７００１ 照合データ管理ＤＢ
８０００ 記憶部
８００１ セッション管理ＤＢ
８００２ 認証サーバ管理ＤＢ
９０００ 記憶部
９００１ 認証管理ＤＢ

特開２０１９－４９９７８号公報

Claims (10)

1. 物体の所定部分の画像データを送信することで、他の装置に画像の照合を行わせる通信端末であって、
   第１の時点において前記物体が当該物体の照合が可能な照合可能範囲に入った場合に、前記物体が入った第１の位置を管理すると共に、第２の時点において前記物体が当該物体の検出が可能な検出可能範囲を出た場合に、当該検出可能範囲を出る直前の第２の位置を管理する管理手段と、
   前記第１の位置を基準にした前記第２の位置の方向を判断する判断手段と、
   を有することを特徴とする通信端末。
2. 前記第１の時点において前記物体が前記照合可能範囲に入った場合に、前記他の装置が受信するように、前記物体の所定部分の画像データを送信する送信手段と、
   前記他の装置が送信した、前記物体を特定するための人物特定情報を受信する受信手段と、
   を有し、
   前記送信手段は、前記他の装置が受信するように、判断手段によって判断された方向を示す方向情報、及び受信手段によって受信された前記人物特定情報を送信することを特徴とする請求項１に記載の通信端末。
3. 前記送信手段は、前記方向情報及び前記人物特定情報と共に、前記第２の時点を示す日時情報を送信することを特徴とする請求項２に記載の通信端末。
4. 前記物体の所定部分の画像データは、全天球画像の一部の領域であることを特徴とする請求項１乃至３のいずれか一項に記載の通信端末。
5. 請求項１乃至４のいずれか一項に記載の通信端末と、
   前記他の装置と、
   を有することを特徴とする通信システム。
6. 請求項３に記載の通信端末と、
   前記他の装置と、
   を有することを特徴とする通信システム。
7. 前記他の装置は、前記方向情報、前記人物特定情報、及び前記第２の時点を示す日時情報を関連付けて管理することを特徴とする請求項６に記載の通信システム。
8. 前記他の装置は、前記方向情報、前記人物特定情報、及び前記第２の時点を示す日時情報に基づいて、単位時間毎に前記人物特定情報で示される物体の移動方向を表す移動情報を作成することを特徴とする請求項７に記載の通信システム。
9. 物体の所定部分の画像データを送信することで、他の装置に画像の照合を行わせる通信端末が実行する位置管理方法であって、
   第１の時点において前記物体が当該物体の照合が可能な照合可能範囲に入った場合に、前記物体が入った第１の位置を管理すると共に、第２の時点において前記物体が当該物体の検出が可能な検出可能範囲を出た場合に、当該検出可能範囲を出る直前の第２の位置を管理する管理ステップと、
   前記第１の位置を基準にした前記第2の位置の方向を判断する判断ステップと、
   を実行することを特徴とする位置管理方法。
10. コンピュータに、請求項９に記載の方法を実行させるプログラム。