JP7114283B2 - 通信システム - Google Patents

Description

本発明は、サーバ、通信システム、および情報処理方法に関する。

従来、たとえば特許文献１，２に示すように、カメラによる撮像によって得られた映像データを、ネットワークを介して受信側の装置が受信するシステムが知られている。特許文献１では、さらに、受信側の装置から当該映像データが端末装置に送信される。

また、特許文献３に示すように、空を撮影する撮像装置と、前記撮像装置で撮影された撮像画像から空模様を判定する判定装置とを備えたシステムも知られている。

特開２００６－１０１２７９号公報 特開２０１６－０１５５８４号公報 特開２０１２－００８０９７号公報

しかしながら、従来では、広い範囲の空模様を確認することはできない。
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、広範囲の空模様を確認可能とするサーバ、通信システム、および情報処理方法を提供することにある。

本発明のある局面に従うと、サーバは、第１の地点の上空の画像を表す第１の画像データと、第１の地点の上空の画像と連続または一部が重複する第２の地点の上空の画像を表す第２の画像データとを受信する受信手段と、第１の地点の上空の画像と第２の地点の上空の画像とが連続するように、第１の画像データと第２の画像データとを合成する合成手段と、合成により得られた合成画像データを、情報処理端末宛に送信する送信手段とを備える。

上記の発明によれば、情報処理端末のユーザは、広範囲の空模様を確認可能となる。

通信システムの概略構成を表した図である。 カメラの設置場所を説明するための図である。 カメラの設置地点を説明するための図である。 カメラの画角と、上空の撮像領域とを説明するための図である。 通信システムにおける処理の概要を説明するための図である。 複数のカメラのうち、指定された地点の周囲のカメラを説明するための図である。 画像の合成の例を表した図である。 サーバのハードウェア構成の典型例を表した図である。 スマートフォンのハードウェア構成の典型例を表した図である。 サーバとスマートフォンとの機能的構成を説明するための図である。 スマートフォンの画面遷移を説明するための図である。 スマートフォンにおいて合成画像が表示された後の画面遷移例を表した図である。 スマートフォンにおいて合成画像が表示された後の他の画面遷移例を表した図である。 通信システムにおける処理の流れを説明するためのシーケンス図である。 パーソナルコンピュータが、上述したアプリケーションを実行したときに表示される画面を表している。 パーソナルコンピュータが合成画像を表示したときの画面を表した図である。 合成画像が表示された後の画面遷移例を表した図である。 オブジェクトが選択された後に、パーソナルコンピュータで表示される画面を表した図である。 合成画像が表示された後の他の画面遷移例を表した図である。 オブジェクトが選択された後に、パーソナルコンピュータで表示される画面を表した図である。

以下、図面を参照しつつ、本発明の各実施の形態に係るシステムについて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜Ａ．システム構成＞
図１は、本実施の形態にかかる通信システム１の概略構成を表した図である。

図１を参照して、通信システム１は、複数のカメラ１０＿１，１０＿２，１０＿３，１０＿４，１０＿５，…，１０＿Ｎ（Ｎは、自然数）と、サーバ２０と、スマートフォン３０と、パーソナルコンピュータ４０とを備える。

なお、スマートフォン３０は、携帯可能な情報処理端末の一例であって、これに限定されるものではない。情報処理端末としては、たとえば、タブレット端末であってもよい。

また、以下では、説明の便宜上、複数のカメラ１０＿１，１０＿２，１０＿３，１０＿４，１０＿５，…，１０＿Ｎのうちの任意の１つのカメラを、「カメラ１０」と称する。

複数のカメラ１０の各々は、サーバ２０と通信可能に接続されている。各カメラ１０は、撮像により得られた映像データ（動画像データ）を、リアルタイムにサーバ２０に送信する。フレームレート（単位時間あたりに処理させるフレーム数，静止画像数，コマ数）は、たとえば、６ｆｐｓ（frames per second）あるいは３０ｆｐｓである。

スマートフォン３０およびパーソナルコンピュータ４０は、サーバ２０と通信可能に接続されている。スマートフォン３０およびパーソナルコンピュータ４０と、サーバ２０との間で送受信されるデータについては後述する。

以下では、まず、スマートフォン３０およびパーソナルコンピュータ４０のうち、スマートフォン３０を利用する構成について説明する。次いで、パーソナルコンピュータ４０を使用する構成について説明する。

図２は、カメラ１０の設置場所を説明するための図である。詳しくは、カメラ１０を設置する構造物を説明するための図である。

図２（Ａ）を参照して、カメラ１０は、一例として、ビル５０の屋上に設置される。詳しくは、カメラ１０によってビル５０の上空を撮像するため、カメラ１０のレンズが上空を向くように、カメラ１０が図示しない固定部材に固定される。具体的には、カメラ１０のレンズの光軸が鉛直方向になるように、カメラの姿勢が決定される。

図２（Ｂ）を参照して、カメラ１０は、他の例として、電柱６０に設置される。詳しくは、カメラ１０によって電柱６０の上空を撮像するため、カメラ１０のレンズが上空を向くように、カメラ１０が図示しない固定部材に固定される。

図２（Ｃ）を参照して、カメラ１０は、一例として、送電線用の鉄塔７０の屋上に設置される。詳しくは、カメラ１０によって鉄塔７０の上空を撮像するため、カメラ１０のレンズが上空を向くように、カメラ１０が図示しない固定部材に固定される。

図１で示した複数のカメラ１０の各々は、典型的には、ビル５０、電柱６０、鉄塔７０のいずれかに設置され得る。カメラ１０によって撮像された映像に、周囲の建物等が写り込まない場所に設置することが好ましい。カメラ１０を、地面に対して高い位置に設置すること、あるいは周囲に高い建物が存在しない場所に設置することが好ましい。

図３は、カメラ１０の設置地点を説明するための図である。以下では、説明の便宜上、大阪市と、大阪市近辺とを例に挙げて説明する。

図３を参照して、カメラ１０は、おおよそ一定の間隔をあけて、分散して配置される。一例として、通信システム１では、複数のカメラ１０が、約５ｋｍ四方に配置されている。カメラ１０の配置の間隔は、カメラ１０のレンズの画角等によって、決定される。

本実施の形態では、カメラ１０が所定の画角の広角レンズを備える構成を例に挙げて説明する。なお、広角レンズの代わりに、魚眼レンズを用いてもよい。

本例の場合、大阪市内に、９つのカメラ１０（具体的には、カメラ１０＿６，１０＿７，１０＿８，１０＿１０，１０＿１１，１０＿１２，１０＿１４，１０＿１５，１０＿１６）が設置されている。図３では、塗潰（ハッチング処理）した黒丸として、これらのカメラ１０を表記している。

また、大阪市の周囲にも、大阪市内のカメラ１０に隣接した状態で複数のカメラ１０（具体的には、カメラ１０＿１～１０＿５，１０＿９，１０＿１３，１０＿１７～１０＿２１）がさらに設置されている。図３では、白抜きの黒丸として、これらのカメラ１０を表記している。

なお、カメラ１０は、図３に示したものだけではなく、全国各地に配置され得る。
図４は、カメラ１０の画角と、上空の撮像領域とを説明するための図である。

図４を参照して、隣接する２つのカメラ１０は、画角θの広角レンズを有している。隣接する２つのカメラ１０は、被写体である上空の一部が重複するような場所に設置されている。これにより、一方のカメラ１０による撮像によって得られた映像は、他方のカメラ１０よる撮像によって得られる映像の一部と重複することになる。

なお、図４においては、説明を簡略化するために２つのカメラ１０に着目したが、これらのカメラ１０の周囲にもカメラ１０が設置されているため、サーバ２０は、隣接するカメラ１０同士から、一部分が重複した映像を取得することになる。

以下、このような通信システム１を用いて実行される各種の処理について、説明する。
＜Ｂ．処理の概要＞
図５は、通信システム１における処理の概要を説明するための図である。

図５を参照して、スマートフォン３０によって任意の地点が指定される。地点が指定されたことに基づき、スマートフォン３０によって、当該地点の位置情報がサーバ２０に送信される（処理（i）)。

地点の指定は、たとえば、スマートフォン３０に予めインストールされた所定のアプリケーションを用いて行われる。あるいは、スマートフォン３０の位置情報（ＧＰＳ（Global Positioning System）による位置データ）が用いられる。

サーバ２０は、複数のカメラ１０の各々から、リアルタイムに映像データを取得している。映像データには時刻情報が関連付けされている。これにより、サーバ２０は、映像データを構成する各画像データ（フレーム，静止画）が取得されたときの時刻が判別できる。

サーバ２０は、スマートフォン３０から、指定された地点の位置情報を取得すると、当該地点の周囲のカメラ１０による撮像によって得られた画像データを、同時刻のＮ個の画像データの中から抽出する（処理（ii））。

図６は、複数のカメラ１０のうち、指定された地点の周囲のカメラ１０を説明するための図である。

図６を参照して、サーバ２０は、指定された地点から所定の半径の円の内側に位置するカメラ１０を特定する。図６の例の場合、サーバ２０は、スマートフォン３０によって地点Ｐ１が指定されると、複数のカメラ１０のうちから、地点Ｐ１から所定の半径の円Ｃ１の内側に位置する４台のカメラ１０＿７，１０＿８，１０＿１１，１０＿１２を特定する。

再び、図５に戻り、サーバ２０は、特定された４台のカメラ１０によって取得された同時刻（たとえば、時刻ｔ１）の４つの画像データを、同時刻に撮像されたＮ個の被写体の画像データから抽出する（処理（ii））。

サーバ２０は、抽出された４つの画像データを合成し、当該時刻（たとえば、時刻ｔ１）における１つの合成画像データを得る（処理（iii））。サーバ２０は、合成を行うと、合成画像データをスマートフォン３０に送信する（処理（iv））。これ以後、処理（ii），（iii），（iv）が繰り返される。スマートフォン３０が、連続して受信する合成画像データを再生することにより、スマートフォン３０のユーザは、リアルタイムに、スマートフォン３０によって指定した地点を含む広範囲の上空の模様を確認可能となる。

図７は、画像の合成の例を表した図である。なお、以下では、説明の便宜上、スマートフォン３０によって地点Ｐ１（図６参照）が指定されたものとする。

図７を参照して、画像データＧ＿７は、カメラ１０＿７による撮像により得られたものである。同様に、画像データＧ＿８，Ｇ＿１１，Ｇ＿１２は、画像データＧ＿７と同時刻に、それぞれ、カメラ１０＿８，１０＿１１，１０＿１２による撮像によって得られたものである。

サーバ２０は、画像データＧ＿７と、画像データＧ＿８と、画像データＧ＿１１と、画像データＧ＿１２とを合成して、合成画像データＺを得る。

サーバ２０は、カメラ１０＿７（詳しくは、カメラ１０＿７が設置されている地点）の上空の画像と、カメラ１０＿８の上空の画像と、カメラ１０＿１１の上空の画像と、カメラ１０＿１２の上空の画像とが連続するように、４つの画像データＧ＿７，Ｇ＿８，Ｇ＿１１，Ｇ＿１２を合成する。

＜Ｃ．ハードウェア構成＞
図８は、サーバ２０のハードウェア構成の典型例を表した図である。

図８を参照して、サーバ２０は、主たる構成要素として、プログラムを実行するプロセッサ２５１と、データを不揮発的に格納するＲＯＭ２５２と、プロセッサ２５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ２５３と、データを不揮発的に格納するＨＤＤ２５４と、通信ＩＦ（Interface）２５５と、操作キー２５６と、電源回路２５７と、ディスプレイ２５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ２５５は、他の機器と間における通信を行なためのインターフェイスである。

サーバ２０における処理は、各ハードウェアおよびプロセッサ２５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ２５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ２５５等を介してダウンロードされた後、ＨＤＤ２５４に一旦格納される。そのソフトウェアは、プロセッサ２５１によってＨＤＤ２５４から読み出され、ＲＡＭ２５３に実行可能なプログラムの形式で格納される。プロセッサ２５１は、そのプログラムを実行する。

同図に示されるサーバ２０を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ２５３、ＨＤＤ２５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ２０の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、パーソナルコンピュータ４０は、サーバ２０と同様な構成を備えるため、パーソナルコンピュータ４０のハードウェア構成については、繰り返し説明しない。

図９は、スマートフォン３０のハードウェア構成の典型例を表した図である。図９を参照して、スマートフォン３０は、主たる構成要素として、プログラムを実行するプロセッサ３５１と、データを不揮発的に格納するＲＯＭ３５２と、プロセッサ３５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ３５３と、データを不揮発的に格納するフラッシュメモリ３５４と、通信ＩＦ３５５と、電源回路３５６と、タッチスクリーン３５７と、操作キー３５８と、アンテナ３５９とを含む。構成要素３５１～３５８は、相互にデータバスによって接続されている。

タッチスクリーン３５７は、ディスプレイ３５７１と、タッチパネル３５７２により構成される。アンテナ３５９は、通信ＩＦ３５５用のアンテナである。通信ＩＦ３５５は、たとえば、サーバ２０に対するデータの送信処理およびサーバ２０から送信されたデータの受信処理を行なう。タッチスクリーン３５７は、各種のデータを表示し、かつ操作入力を受け付けるためのデバイスである。

スマートフォン３０における処理は、各ハードウェアおよびプロセッサ３５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ３５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ３５５等を介してダウンロードされた後、フラッシュメモリ３５４に一旦格納される。そのソフトウェアは、プロセッサ３５１によってフラッシュメモリ３５４から読み出され、ＲＡＭ３５３に実行可能なプログラムの形式で格納される。プロセッサ３５１は、そのプログラムを実行する。

同図に示されるスマートフォン３０を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ３５３、フラッシュメモリ３５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、スマートフォン３０の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

＜Ｄ．機能的構成＞
図１０は、サーバ２０とスマートフォン３０との機能的構成を説明するための図である。

図１０を参照して、サーバ２０は、制御部２１と、記憶部２２と、通信部２３とを備える。制御部２１は、抽出処理部２１１と、合成処理部２１２とを有する。通信部２３は、受信部２３１と、送信部２３２とを有する。制御部２１は、サーバ全体の動作を制御する。記憶部２２は、画像データを含む各種の情報を記憶する。通信部２３は、各カメラ１０とスマートフォン３０との通信を行なう。

スマートフォン３０は、制御部３１と、通信部３２と、操作入力部３３と、表示部３４とを備える。制御部３１は、スマートフォン３０の全体的な動作を制御する。通信部３２は、サーバ２０との通信を行なう。操作入力部３３は、ユーザからの操作を受け付ける。表示部３４は、合成画像を含む各種の情報を表示する。

以下、サーバ２０およびスマートフォン３０の各機能ブロックについて、より具体的に説明する。

（ｄ１．各カメラ１０からの画像データの受信）
サーバ２０の通信部２３は、各カメラ１０と通信するためのインターフェイスとして機能する。

通信部２３の受信部２３１は、カメラ１０が設置された地点の上空の画像を表す画像データを、各カメラ１０から受信する。詳しくは、受信部２３１は、画像データを各カメラ１０から予め定められた周期で受信する。当該周期は、典型的には、カメラ１０のフレームレートと同じ周期である。より詳しくは、受信部２３１は、画像データを各カメラ１０による撮像時刻を表す時刻情報と関連付けて受信する。

各カメラ１０から受信した画像データは、時刻情報に関連付けられた状態で記憶部２２に記憶される。

（ｄ２．スマートフォン３０からの地点情報の受信）
スマートフォン３０では、上記アプリケーションを実行すると、表示部３４に地図が表示される。典型的には、スマートフォン３０は、スマートフォン３０の現在位置を含む地図を表示する。あるいは、スマートフォン３０は、スマートフォン３０のユーザが前回指定した位置を含む地図を表示する。

スマートフォン３０のユーザが地図上で地点を指定すると、指定された地点を特定するための地点情報が通信部３２を介して、サーバ２０に送信される。典型的には、地点情報の送信は、地点の指定後、操作入力部３３から特定の入力（たとえば、操作ボタンの選択）が行われたことにより実行される。なお、スマートフォン３０では、地図の拡大縮小、地図のスクロール等が可能に構成されている。

なお、上記において、地図を用いて地点を指定する構成を例に挙げて説明したが、これに限定されない。たとえば、スマートフォン３０は、ＧＰＳ機能を用いてスマートフォン３０の現在位置を、上記地点情報としてサーバ２０に送信してもよい。

（ｄ３．サーバ２０における画像データの抽出および合成）
制御部２１の抽出処理部２１１は、スマートフォン３０によって地点が指定されたことに基づき、複数の地点の各上空の画像を表す画像データから、当該指定された地点に応じた複数の画像データを抽出する。

詳しくは、抽出処理部２１１は、地点情報に基づき、各カメラ１０から受信した画像データのうちから、上記周期毎に、複数の画像データを抽出する。典型的には、抽出処理部２１１は、記憶部２２に記憶された画像データから、スマートフォン３０から受信した地点情報の地点の周囲の４台のカメラ１０（図６の例の場合、地点Ｐ１の近隣のカメラ１０＿７，１０＿８，１０＿１１，１０＿１２）によって撮像された画像データを、周期毎に抽出する。

合成処理部２１２は、抽出処理部２１１によって４つの画像データが抽出される度に、当該４つの画像データを合成する。具体的には、図７に示したように、合成処理部２１２は、各地点の上空の画像が連続するように、４つの画像データを合成する。

なお、抽出処理部２１１によって、時刻情報が一致する４つの画像データが抽出されているため、合成処理部２１２は、結果として、時刻情報が一致する４つの画像データを合成することになる。

（ｄ４．合成画像データの表示）
サーバ２０の通信部２３における送信部２３２は、合成処理部２１２による合成処理により得られた合成画像データを、スマートフォン３０宛に送信する。具体的には、送信部２３２は、合成が行われる度に、当該合成により得られた合成画像データを、地点情報の送信元であるスマートフォン３０宛に送信する。

スマートフォン３０の制御部３１は、通信部３２を介して合成画像データをサーバ２０から受信すると、表示部３４に当該合成画像データに基づく合成画像（空模様の画像）を表示させる。表示部３４に表示される合成画像は、合成画像データを受信する度に、更新される。これにより、スマートフォン３０のユーザは、リアルタイムに更新される広範囲の空模様の画像を視認可能となる。特に、当該ユーザは、ユーザが指定した地点の上空を含む広範囲の空模様を、画面を介してリアルタイムに確認可能となる。

なお、制御部２１における各処理は、典型的には、プロセッサ２５１がＨＤＤ２５４等に格納されたプログラムを実行することにより、実現される。また、制御部３１における各処理は、典型的には、プロセッサ３５１がフラッシュメモリ３５４等に格納されたプログラムを実行することにより、実現される。

（ｄ５．小括）
以下、通信システム１において実行される上述した処理を、さらに種々の観点から説明することによって、通信システム１における特有の処理を小括する。なお、以下では、４つのカメラ１０で撮像された４つの画像データを合成する構成について説明するが、本開示は、これに限定されず、２つ以上の画像データを合成する構成であればよい。

（１）複数の上空画像を合成
サーバ２０の受信部２３１は、第１の地点の上空の画像を表す第１の画像データと、第１の地点の上空の画像と一部が重複する第２の地点の上空の画像を表す第２の画像データとを受信する。また、受信部２３１は、少なくとも第１の地点の上空の画像と一部が重複する第３の地点の上空の画像を表す第３の画像データを受信する。さらに、受信部２３１は、少なくとも第２の地点の上空の画像および第３の地点の上空の画像と一部が重複する第４の地点の上空の画像を表す第４の画像データとを受信する。

一例として４台のカメラ１０＿７，１０＿８，１０＿１１，１０＿１２（図６参照）に着目すると、受信部２３１は、（i）カメラ１０＿７が設置された地点（第１の地点の一例）の上空の画像を表す画像データＧ＿７（第１の画像データの一例）と、（ii）カメラ１０＿８が設置された地点の上空の画像を表す画像データＧ＿８（第２の画像データの一例）と、（iii）カメラ１０＿１１が設置された地点（第３の地点の一例）の上空の画像を表す画像データＧ＿１１（第３の画像データの一例）と、（iv）カメラ１０＿１２が設置された地点の上空の画像を表す画像データＧ＿１２（第４の画像データの一例）と、を受信する（図７参照）。

合成処理部２１２は、図７に示したように、４つの地点の上空の画像が互いに連続するように、４つの画像データＧ＿７，Ｇ＿８，Ｇ＿１１，Ｇ＿１２を合成する。一例として、画像データＧ＿７，Ｇ＿８に着目すれば、合成処理部２１２は、カメラ１０＿７が設置された地点の上空の画像と、カメラ１０＿８が設置された地点の上空の画像とが連続するように、画像データＧ＿７と画像データＧ＿８とを合成する。

送信部２３２は、合成により得られた合成画像データＺ（図７参照）を、スマートフォン３０に送信する。

スマートフォン３０は、合成画像データＺを受信すると、合成画像データＺに基づく合成画像を、ディスプレイ３５７１に表示する。

このような構成によれば、スマートフォン３０のユーザは、画像データを合成しない構成に比べて、広範囲の空模様を確認することができる。

（２）リアルタイムの映像（動画）
詳しくは、受信部２３１は、画像データＧ＿７をカメラ１０＿７から予め定められた周期で受信し、かつ画像データＧ＿８をカメラ１０＿８から当該予め定められた周期で受信する。同様に、受信部２３１は、画像データＧ＿１１をカメラ１０＿１１から予め定められた周期で受信し、かつ画像データＧ＿１２をカメラ１０＿１２から当該予め定められた周期で受信する。

合成処理部２１２は、画像データＧ＿７と画像データＧ＿８と画像データＧ＿１１と画像データＧ＿１２とが通信部２３で受信される度に（４つの画像データの受信に成功すると）、上述した合成を行う。

送信部２３２は、合成処理部２１２において合成が行われる度に、当該合成により得られた合成画像データを、スマートフォン３０宛に送信する。

このような構成によれば、スマートフォン３０のユーザは、広範囲の時々刻々と変化する空模様を確認することが可能となる。また、予め定められた周期を短くすれば、ユーザは、リアルタイムに確認することが可能となる。

（３）画像データの同期
受信部２３１は、画像データＧ＿７をカメラ１０＿７による撮像時刻を表す時刻情報と関連付けて受信し、かつ画像データＧ＿８をカメラ１０＿８による撮像時刻を表す時刻情報と関連付けて受信する。また、受信部２３１は、画像データＧ＿１１をカメラ１０＿１１による撮像時刻を表す時刻情報と関連付けて受信し、かつ画像データＧ＿１２をカメラ１０＿１２による撮像時刻を表す時刻情報と関連付けて受信する。

合成処理部２１２は、時刻情報が一致する、４つの画像データＧ＿７，Ｇ＿８，Ｇ＿１１，Ｇ＿１２を合成する。

このような構成によれば、スマートフォン３０のユーザは、同期の得られた４つの画像データに基づく合成画像を、ディスプレイ３５７１で確認することができる。

（４）地点の指定
受信部２３１は、上記第１の地点および上記第２の地点を少なくとも含む複数の地点の各上空の画像を表す画像データを受信する。具体的には、受信部２３１は、複数のカメラ１０の各々から、各カメラ１０が設置された地点の上空の画像を表す画像データを受信する。

サーバ２０の抽出処理部２１１は、スマートフォン３０によって地点が指定されたことに基づき、上記複数の地点の各上空の画像を表す画像データから、当該指定された地点に応じた複数の画像データを抽出する。

抽出処理部２１１は、たとえば、スマートフォン３０によって地点Ｐ１（図６参照）が指定されたことに基づき、上記複数の地点の各上空の画像を表す画像データから、当該指定された地点に応じた複数の画像データＧ＿７、Ｇ＿８，Ｇ＿１１，Ｇ＿１２（図７参照）を抽出する。

合成処理部２１２は、抽出された画像データ同士を合成することにより、合成画像データＺ（図７参照）を生成する。

なお、スマートフォン３０は、表示部３４（ディスプレイ３５７１）に地図が表示された状態で、地点を指定するユーザ操作を受け付ける。スマートフォン３０は、指定された地点をサーバに通知する。

このような構成によれば、スマートフォン３０のユーザは、当該ユーザが指定した地点の上空を含む合成画像を確認することが可能となる。

日本においては、偏西風によって天気は西から変わる。それゆえ、スマートフォン３０のユーザが、スマートフォン３０の現在位置よりも西の地点を指定して当該地点の現在の空模様をスマートフォン３０で確認することにより、ユーザは、当該現在地における後の時刻（たとえば、１時間後）の空模様を推測することも可能となる。

（５）画像データの抽出処理の具体例
抽出処理部２１１は、スマートフォン３０によって地点が指定されたことに基づき、上記複数の地点のうちから、当該指定された地点に一番近い地点と二番目に近い地点とを少なくとも含む所定数の地点を特定する。たとえば、抽出処理部２１１は、地点Ｐ１（図６参照）が指定されたことに基づき、指定された地点に一番近い地点（カメラ１０＿１１の設置地点）と二番目に近い地点（カメラ１０＿８の設置地点）とを少なくとも含む４個の地点を特定する。

抽出処理部２１１は、複数の地点の各上空の画像を表す画像データから、上記特定された各地点の上空の画像データＧ＿７、Ｇ＿８，Ｇ＿１１，Ｇ＿１２（図７参照）を抽出する。

このような構成によれば、スマートフォン３０のユーザは、指定された地点付近の空模様を確実に確認することが可能となる。

なお、通信システム１において実行される処理は、上述した処理に限定されるものではない。たとえば、スマートフォン３０のユーザは、所定の操作入力を行うことにより、表示部３４に表示させる上空の画像を、操作入力に応じた変更することができる。これらの具体例については、以下の「＜Ｅ．ユーザインターフェイス＞」の項目等で説明する。

＜Ｅ．ユーザインターフェイス＞
スマートフォン３０で表示されるユーザインターフェイス（表示画面）の例について、説明する。

図１１は、スマートフォン３０の画面遷移を説明するための図である。
図１１を参照して、状態（Ａ）に示すように、スマートフォン３０のディスプレイ３５７１に地図３６１を表示させた状態で、ユーザが自身の指９００で地図３６１上の地点を指定するためのタッチ操作を行う。このようなタッチ操作が行われると、スマートフォン３０は、指定された地点の位置情報（地点情報）をサーバ２０に通知する。

スマートフォン３０は、地点情報を送信したことに基づき、サーバ２０から合成画像を受信する。スマートフォン３０は、合成画像を受信すると、ディスプレイ３５７１に表示する画面を、状態（Ａ）から状態（Ｂ）に遷移する。

スマートフォン３０は、状態（Ｂ）に示すように、地図３６１に重畳させるような表示形式で、サーバ２０から受信した合成画像３７１を表示する。さらに、スマートフォン３０は、複数の選択可能なオブジェクト３８１，３８２，３８３，３８４，３８５を合成画像上に表示する。また、スマートフォン３０は、２個の選択可能なオブジェクト３９１，３９２を、地図３６１上に表示する。これらの選択可能なオブジェクトに割り当てられた機能については後述する。

なお、状態（Ｂ）では、地図３６１の一部が画面の上部と下部とに表示されている画面を例に挙げて説明したが、これに限定されるものではない。状態（Ｂ）においては、地図３６１の表示は必須ではない。

図１２は、スマートフォン３０において合成画像が表示された後の画面遷移例を表した図である。

図１２を参照して、状態（Ａ）のように合成画像が表示されている状態において、ユーザが、タッチパネル３５７２にて「東の空」を表すオブジェクト３８１を選択すると、スマートフォン３０は、オブジェクト３８１に関連付けられた指令をサーバ２０に通知する。

この場合、スマートフォン３０は、スマートフォン３０によって既に指定されている地点から東の方角の空の模様を表した画像データをサーバ２０から取得し、図１２の状態（Ｂ）に示すように、当該画像データに基づいた画像をディスプレイ３５７１に表示する。当該画像は、合成画像であってもよいし、合成前される前の１つの画像データであってもよい。

図１２の状態（Ｂ）において、ユーザが「全空へ」を表すオブジェクト３８５を選択すると、スマートフォン３０は、ディスプレイ３５７１に表示する画面を、図１２の状態（Ｂ）から図１２の状態（Ａ）に戻す。

また、図１２の状態（Ａ）において、ユーザが「西の空」を表すオブジェクト３８２を選択すると、スマートフォン３０は、指定されている地点から西の方角の空の模様を表した画像を表示する。ユーザが「南の空」を表すオブジェクト３８３を選択すると、スマートフォン３０は、指定されている地点から南の方角の空の模様を表した画像を表示する。ユーザが「北の空」を表すオブジェクト３８４を選択すると、スマートフォン３０は、指定されている地点から北の方角の空の模様を表した画像を表示する。

以上のように、スマートフォン３０は、ディスプレイ３５７１に合成画像が表示された状態で、方角を指定するためのユーザ操作をさらに受け付けると、当該指定された方角を向いた合成画像をディスプレイ３５７１に表示する。このような構成によれば、ユーザは、確認したい方角に対応付けられたオブジェクトをタッチ操作で選択するだけで、当該方向の空模様を確認することが可能となる。

図１３は、スマートフォン３０において合成画像が表示された後の他の画面遷移例を表した図である。

図１３を参照して、状態（Ａ）のように合成画像が表示されている状態において、ユーザが、タッチパネル３５７２にて「前の画像」を表すオブジェクト３９１を指９００等で選択すると、スマートフォン３０は、オブジェクト３９１に関連付けられた指令をサーバ２０に通知する。

この場合、スマートフォン３０は、１周期前の合成画像をディスプレイ３５７１に表示する。スマートフォン３０は、典型的には、ユーザがオブジェクト３９１を選択している間、時間を遡る形式で過去の合成画像を逐次表示させる。つまり、スマートフォン３０は、巻き戻し再生のような表示を行う。

同様に、巻き戻しが行われた状態において、ユーザが、「次の画像」を表すオブジェクト３９２を指９００等で選択すると、現在表示されているよりも１つ後の周期の後の画像が表示される。スマートフォン３０は、典型的には、ユーザがオブジェクト３９２を選択している間、早送りの形式で合成画像を再生する。

このように、ユーザは、過去の空模様を選択的に確認することが可能となる。なお、スマートフォン３０は、当該過去の空模様がいつの時点のものであるかをユーザが確認することが可能となるように、過去の空模様の画像とともに、日時についてもディスプレイ３５７１に表示することが好ましい。

以上のように、スマートフォン３０は、ディスプレイ３５７１に合成画像が表示された状態で、予め定められたユーザ操作をさらに受け付けると、サーバ２０から過去の合成画像を受信し、ディスプレイ３５７１に表示させる合成画像を、現在表示されている合成画像から過去の合成画像に切り換える。このような構成によれば、スマートフォン３０のユーザは、現在の合成画像のみならず、過去の合成画像も確認することができる。

＜Ｆ．処理シーケンス＞
図１４は、通信システム１における処理の流れを説明するためのシーケンス図である。

図１４を参照して、シーケンスＳＱ１において、スマートフォン３０は、ユーザの操作に基づき、地図をディスプレイ３５７１に表示する。シーケンスＳＱ２において、スマートフォン３０は、ユーザ操作に基づき、地図上の地点の指定を受け付ける。シーケンスＳＱ３において、スマートフォン３０は、指定された地点の位置情報（地点情報）を、サーバ２０に送信する。

シーケンスＳＱ４において、サーバ２０は、受信した地点情報を用いて、複数の画像データ（Ｎ個のカメラ１０による撮像により得られたＮ個の画像データ）から、４つの画像データを抽出する。シーケンスＳＱ５において、サーバ２０は、抽出した４つの画像データを合成する。

シーケンスＳＱ６において、サーバ２０は、直前のシーケンスＳＱ５の処理で得られた合成画像データをスマートフォン３０に送信する。シーケンスＳＱ７において、スマートフォン３０は、サーバ２０から受信した合成画像データに基づく合成画像（指定した地点の上空の画像を含む、広範囲の空模様を表した画像）をディスプレイ３５７１に表示する。

以降、シーケンスＳＱ４，ＳＱ５，ＳＱ６，ＳＱ７の処理が、上述した予め定められた周期で実行される。つまり、カメラ１０の撮像周期（たとえば、６ｆｐｓ毎）に実行される。

＜Ｇ．パーソナルコンピュータへの適用＞
上記においては、スマートフォン３０のディスプレイ３５７１に合成画像が表示される例を説明したが、これに限定されるものではない。たとえば、パーソナルコンピュータ４０（図１参照）が、地点情報をサーバ２０に送信することにより、パーソナルコンピュータ４０で合成画像を表示してもよい。

以下、パーソナルコンピュータ４０で合成画像を表示させる場合の適用例について説明する。

図１５は、パーソナルコンピュータ４０が、上述したアプリケーションを実行したときに表示される画面４１０を表している。

図１５を参照して、画面４１０には、地図４６１と、複数の選択可能なオブジェクト４９１，４９２，４９３，４９４，４９５と、カーソル４５０とを、地図４６１上に表示する。これらの選択可能なオブジェクトに割り当てられた機能については後述する。

パーソナルコンピュータ４０のディスプレイに地図４６１を表示させた状態で、ユーザがカーソル４５０によって地図４６１上の地点を指定するための操作（マウス操作あるいはタッチ操作）を行う。このような操作が行われると、パーソナルコンピュータ４０は、指定された地点の位置情報（地点情報）をサーバ２０に通知する。

図１６は、パーソナルコンピュータ４０が合成画像を表示したときの画面４１０Ａを表した図である。

パーソナルコンピュータ４０は、地点情報を送信したことに基づき、サーバ２０から合成画像を受信する。パーソナルコンピュータ４０は、合成画像を受信すると、ディスプレイに表示する画面を、図１５の画面４１０から図１６に示す画面４１０Ａに遷移させる。具体的には、パーソナルコンピュータ４０は、画面４１０Ａに示すように、地図４６１に重畳させるような表示形式で、サーバ２０から受信した合成画像４７１を表示する。

さらに、パーソナルコンピュータ４０は、複数の選択可能なオブジェクト４８１，４８２，４８３，４８４，４８５，４８６を合成画像上に表示する。オブジェクト４８１，４８２，４８３，４８４，４８５は、それぞれ、スマートフォン３０の例で説明したオブジェクト３８１，３８２，３８３，３８４，３８５（図１２等）と同じ機能を有する。

なお、図１６に示した画面４１０Ａは、スマートフォン３０の例における図１１の状態（Ｂ）に対応する。

図１７は、合成画像４７１が表示された後の画面遷移例を表した図である。図１７を参照して、合成画像４７１が表示されている状態において、ユーザが、カーソル４５０にて「東の空」を表すオブジェクト４８１を選択すると、パーソナルコンピュータ４０は、オブジェクト４８１に関連付けられた指令をサーバ２０に通知する。

図１８は、オブジェクト４８１が選択された後に、パーソナルコンピュータ４０で表示される画面４１０Ｂを表した図である。

図１８を参照して、パーソナルコンピュータ４０は、パーソナルコンピュータ４０によって既に指定されている地点から東の方角の空の模様を表した画像データをサーバ２０から取得し、当該画像データに基づいた画像をディスプレイ３５７１に表示する。なお、図１８に示した画面４１０Ｂは、スマートフォン３０の例における図１２の状態（Ｂ）に対応する。

スマートフォン３０の場合と同様に、図１８において、ユーザが「全空へ」を表すオブジェクト４８５を選択すると、パーソナルコンピュータ４０は、ディスプレイに表示する画面を、図１８の画面４１０Ｂから図１７の画面４１０Ａに戻す。

また、図１７の画面４１０Ａにおいて、ユーザが「西の空」を表すオブジェクト４８２を選択すると、パーソナルコンピュータ４０は、指定されている地点から西の方角の空の模様を表した画像を表示する。ユーザが「南の空」を表すオブジェクト４８３を選択すると、パーソナルコンピュータ４０は、指定されている地点から南の方角の空の模様を表した画像を表示する。ユーザが「北の空」を表すオブジェクト４８４を選択すると、パーソナルコンピュータ４０は、指定されている地点から北の方角の空の模様を表した画像を表示する。

このように、パーソナルコンピュータ４０の場合も、スマートフォン３０と同様な表示を実現できる。

図１９は、合成画像４７１が表示された後の他の画面遷移例を表した図である。図１９を参照して、合成画像４７１が表示されている状態において、ユーザが、カーソル４５０にて「１時間前の画像」を表すオブジェクト４９３を選択すると、パーソナルコンピュータ４０は、オブジェクト４９３に関連付けられた指令をサーバ２０に通知する。

図２０は、オブジェクト４９３が選択された後に、パーソナルコンピュータ４０で表示される画面４１０Ｃを表した図である。図２０を参照して、パーソナルコンピュータ４０は、１時間前の合成画像をディスプレイに表示する。

なお、他の例として、オブジェクト４９３等に対する操作によって過去の空模様の画像がディスプレイに表示されている状態において、オブジェクト４９４がさらに選択されると、パーソナルコンピュータ４０は、１時間先の合成画像をディスプレイに表示する。

また、オブジェクト４９１が選択される、パーソナルコンピュータ４０は、１周期前の合成画像をディスプレイ３５７１に表示する。

オブジェクト４９１あるいはオブジェクト４９３に対する操作によって過去の空模様の画像がディスプレイに表示されている状態において、オブジェクト４９２がさらに選択されると、パーソナルコンピュータ４０は、現在表示されているよりも１つ後の周期の後の画像をディスプレイに表示する。

オブジェクト４９５が選択されると、現在表示されている画面に関わらず、パーソナルコンピュータ４０は、現在の状態の空模様の画像をディスプレイに表示する。なお、オブジェクト４９５と同様のオブジェクトをスマートフォン３０で表示させてもよい。

＜Ｈ．変形例＞
（１）上記においては、図７に示したように、画像の一部が少なくとも１つの他の画像と重複するように、カメラ１０が配置されている例を挙げて説明したが、これに限定されるものではない。画像の重複部分がないように、カメラ１０を設置してもよい。

この場合、サーバ２０は、第１の地点の上空の画像を表す第１の画像データと、第１の地点の上空の画像と連続する第２の地点の上空の画像を表す第２の画像データとを受信することになる。

（２）また、上記では空模様の連続的な変化を示すため、スマートフォン３０にて、リアルタイムの動画像を表示する構成を例に挙げて説明したが、必ずしも、これに限定されるものではない。たとえば、スマートフォン３０において、表示される合成画像が、カメラ１０のフレームレートよりも十分に長い時間間隔（たとえば、１分間隔）で更新されるように、通信システム１を構成してもよい。

（３）上記においては、サーバ２０が、複数の画像データを合成し、かつ合成により得られた合成画像データをスマートフォン３０またはパーソナルコンピュータ４０に送信する構成を説明したが、これに限定されるものではない。

たとえば、合成されていない１つの画像データをサーバ２０がスマートフォン３０またはパーソナルコンピュータ４０に送信するように、通信システム１を構成してもよい。具体的には、サーバ２０が、ユーザ等によって指定された地点に最も近いカメラ１０を特定し、かつ、特定された１台のカメラ１０によって取得された１つの画像データをスマートフォン３０またはパーソナルコンピュータ４０に逐次送信するように、通信システム１を構成してもよい。

この場合には、スマートフォン３０またはパーソナルコンピュータ４０が、連続して受信する画像データを再生することにより、スマートフォン３０のユーザは、リアルタイムに、指定した地点を含む上空の模様を確認可能となる。

この場合、サーバ２０は、「互いに異なる地点の上空の画像を表す複数の画像データと、指定された地点を特定するための地点情報とを受信する受信部２３１と、当該地点情報に基づいて、当該複数の画像データから１つの画像データを抽出する抽出処理部２１１と、抽出された画像データをスマートフォン３０（あるいはパーソナルコンピュータ４０）宛に送信する送信部２３２とを備える」といった構成であると言える。典型的には、サーバ２０は、地点情報の送信元の情報処理端末に対して、抽出した画像データを送信する。

また、合成画像データを受信するか、あるいは合成されていない１つの画像データを受信するかを、スマートフォン３０およびパーソナルコンピュータ４０が選択（指定）できるように、通信システム１を構成することが好ましい。このような構成によれば、ユーザは、スマートフォン３０またはパーソナルコンピュータ４０の画面表示を、合成画像データに基づく画像表示（「合成画像表示」とも称する）から１つの画像データに基づく画像表示（「単独画像表示」とも称する）に切り換えたり、単独画像表示から合成画像表示に切り換えることが可能となる。それゆえ、ユーザは、表示される空の範囲を広げたり、あるいは狭めたりすることが可能となる。

（４）上記においては、サーバ２０が画像データを合成する構成を例に挙げて説明したが、スマートフォン３０またはパーソナルコンピュータ４０が、サーバ２０の代わりに画像データの合成を行ってもよい。

今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 通信システム、１０ カメラ、２０ サーバ、３０ スマートフォン、４０ パーソナルコンピュータ、５０ ビル、６０ 電柱、７０ 鉄塔、３６１，４６１ 地図、３７１，４７１ 合成画像、３８１～３８５，３９１，３９２，４８１～４８６，４９１～４９５ オブジェクト、４１０，４１０Ａ，４１０Ｂ，４１０Ｃ 画面、４５０ カーソル、９００ 指、Ｃ１ 円、Ｐ１ 地点、Ｚ 合成画像データ。

Claims (3)

1. サーバと、ディスプレイを有する情報処理端末とを備えた通信システムであって、
   前記情報処理端末は、前記ディスプレイに地図が表示された状態で、地点を指定するユーザ操作を受け付けると、前記指定された地点を前記サーバに通知し、
   前記サーバは、
   複数の地点の各上空の画像を表す画像データを、レンズが上空を向くように設置された複数のカメラから受信し、
   前記情報処理端末によって第１の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第１の地点に応じた複数の第１の画像データを抽出し、
   抽出された前記第１の画像データ同士を合成して、第１の合成画像データを生成し、
   前記第１の合成画像データを前記情報処理端末に送信し、
   前記情報処理端末は、
   前記第１の合成画像データに基づく第１の合成画像を、東西南北のうちの１つの方角を指定するための第１のオブジェクトとともに、前記ディスプレイに表示し、
   前記第１のオブジェクトを選択するユーザ操作をさらに受け付けることにより、前記東西南北のうち前記第１のオブジェクトに対応付けられた方角の第２の地点を指定し、
   前記サーバは、
   前記情報処理端末によって前記第２の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第２の地点に応じた複数の第２の画像データを抽出し、
   抽出された前記第２の画像データ同士を合成して、第２の合成画像データを生成し、
   前記第２の合成画像データを前記情報処理端末に送信し、
   前記情報処理端末は、前記第２の合成画像データに基づく第２の合成画像を前記ディスプレイに表示する、通信システム。
2. 前記情報処理端末は、前記第２の合成画像を第２のオブジェクトとともに前記ディスプレイに表示し、
   前記サーバは、
   前記情報処理端末が前記第２のオブジェクトを選択するユーザ操作をさらに受け付けたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記複数の第２の画像データよりも１周期前の前記第２の地点に応じた複数の第３の画像データを抽出し、
   抽出された前記第３の画像データ同士を合成して、第３の合成画像データを生成し、
   前記第３の合成画像データを前記情報処理端末に送信し、
   前記情報処理端末は、前記第３の合成画像データに基づく第３の合成画像を第２のオブジェクトとともに前記ディスプレイに表示する、請求項１に記載の通信システム。
3. 情報処理端末が、前記情報処理端末のディスプレイに地図が表示された状態で、地点を指定するユーザ操作を受け付けると、前記指定された地点をサーバに通知するステップと、
   前記サーバが、複数の地点の各上空の画像を表す画像データを、レンズが上空を向くように設置された複数のカメラから受信するステップと、
   前記サーバが、前記情報処理端末によって第１の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第１の地点に応じた複数の第１の画像データを抽出するステップと、
   前記サーバが、抽出された前記第１の画像データ同士を合成して第１の合成画像データを生成し、かつ、前記第１の合成画像データを前記情報処理端末に送信するステップと、
   前記情報処理端末が、前記第１の合成画像データに基づく第１の合成画像を、東西南北のうちの１つの方角を指定するためのオブジェクトとともに、前記ディスプレイに表示するステップと、
   前記情報処理端末が、前記オブジェクトを選択するユーザ操作をさらに受け付けることにより、前記東西南北のうち前記オブジェクトに対応付けられた方角の第２の地点を指定するステップと、
   前記サーバが、前記情報処理端末によって前記第２の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第２の地点に応じた複数の第２の画像データを抽出するステップと
   前記サーバが、抽出された前記第２の画像データ同士を合成して、第２の合成画像データを生成し、かつ前記第２の合成画像データを前記情報処理端末に送信するステップと、
   前記情報処理端末が、前記第２の合成画像データに基づく第２の合成画像を前記ディスプレイに表示するステップとを備える、情報処理方法。

Images