JP6558792B2 - 撮影システム及び撮影画像処理方法 - Google Patents

Description

本発明は、撮影に基づいて画像情報を生成する複数の撮影装置を備える撮影システム、そのような撮影システムにて実現される撮影画像処理方法に関する。

自然災害の発生の恐れがある河川、崖、法面等の撮影対象を撮影する撮影装置を設置し、自然災害が発生した場合に、その状況を撮影するシステムが実現され、また提案されている（例えば、特許文献１参照。）。

特開２００１−３３７９９７号

しかしながら、現在のシステムでは、撮影装置の設置位置からの画像又は動画を得られる程度である。そのため、例えば、災害発生時において、その状況の更なる把握を支援することが可能な情報の提供が求められている。

本発明は斯かる事情に鑑みてなされたものであり、撮影対象の三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像を生成することにより、撮影対象の状況の把握を支援することが可能な撮影システムの提供を主たる目的とする。

また、本発明は、本発明に係る撮影システムを用いて行われる撮影画像処理方法の提供を他の目的とする。

上記課題を解決するために、本発明に係る撮影システムは、撮影に基づいて画像情報を生成する複数の撮影装置を備える撮影システムであって、前記各撮影装置は、撮影対象を複数の方向から撮影するように配置されており、かつ、撮影範囲内に、他の撮影装置を含むように配置されており、ＧＮＳＳ衛星から時刻を示す時刻指示情報を含むＧＮＳＳ信号を受信する手段と、受信したＧＮＳＳ信号に含まれる時刻指示情報に基づいて前記各撮影装置の撮影時期を決定する手段と、決定した撮影時期に同期した前記各撮影装置にて連続して撮影する手段と、前記各撮影装置の連続した同期撮影に基づいて生成された複数の画像情報に基づいて、三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像に係る時系列三次元画像情報を生成する画像処理手段とを備え、前記画像処理手段は、前記各撮影装置の同期撮影に基づいて生成した画像情報に基づく画像内の撮影装置に係る位置及び各撮影装置の位置を示す位置情報に基づいて、画像の縮尺及び撮影方向を特定し、特定した縮尺及び撮影方向に基づく三次元画像を用いて時系列三次元画像情報を生成することを特徴とする。

また、本発明に係る撮影システムは、撮影に基づいて画像情報を生成する複数の撮影装置を備える撮影システムであって、前記各撮影装置にて生成された画像情報を処理する処理装置を更に備え、前記各撮影装置は、撮影対象を複数の方向から撮影するように配置されており、かつ、撮影範囲内に、他の撮影装置を含むように配置されており、前記各撮影装置は、ＧＮＳＳ衛星から時刻を示す時刻指示情報を含むＧＮＳＳ信号を受信する受信部と、情報を記録する記録部と、他の装置と通信する通信部と、前記受信部により受信したＧＮＳＳ信号に含まれる時刻指示情報に基づいて撮影時期を決定する手段と、決定した撮影時期に基づき連続して撮影する手段と、撮影に基づいて生成した画像情報に、撮影時刻に係る撮影時刻情報を付加して前記記録部に記録する手段と、前記記録部に記録している画像情報を前記処理装置へ送信する送信手段とを備え、前記処理装置は、各撮影装置の位置を示す位置情報を受け付ける手段と、前記各撮影装置から受信した画像情報に基づく撮影対象の三次元画像を、撮影時刻情報に基づく時系列に従って表示する時系列三次元画像に係る時系列三次元画像情報を生成する画像処理手段とを備え、前記画像処理手段は、前記各撮影装置から受信した画像情報に基づく画像内の撮影装置に係る位置及び受け付けた位置情報に基づいて、画像の縮尺及び撮影方向を特定し、特定した縮尺及び撮影方向に基づく三次元画像を用いて時系列三次元画像情報を生成することを特徴とする。

また、本発明に係る撮影システムは、前記各撮影装置は、時間帯を指定した時間帯指定情報を受信した場合に、受信した時間帯指定情報にて指定された時間帯内に、撮影時刻情報にて示される撮影時刻が含まれる画像情報を、前記記録部から抽出する抽出手段を備え、前記送信手段は、前記抽出手段が抽出した画像情報を送信するようにしてあることを特徴とする。

本発明に係る撮影画像処理方法は、撮影に基づいて画像情報を生成する複数の撮影装置を用い、前記各撮影装置により生成した画像情報を処理する撮影画像処理方法であって、前記各撮影装置は、撮影対象を複数の方向から撮影するように配置されており、かつ、撮影範囲内に、他の撮影装置を含むように配置されており、ＧＮＳＳ衛星から時刻を示す時刻指示情報を含むＧＮＳＳ信号を受信するステップと、受信したＧＮＳＳ信号に含まれる時刻指示情報に基づいて前記各撮影装置の撮影時期を決定するステップと、決定した撮影時期に同期した前記各撮影装置にて連続して撮影するステップと、前記各撮影装置の連続した同期撮影に基づいて生成された複数の画像情報に基づいて、三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像に係る時系列三次元画像情報を生成する画像処理ステップとを含み、前記画像処理ステップは、前記各撮影装置の同期撮影に基づいて生成した画像情報に基づく画像内の撮影装置に係る位置及び各撮影装置の位置を示す位置情報に基づいて、画像の縮尺及び撮影方向を特定し、特定した縮尺及び撮影方向に基づく三次元画像を用いて時系列三次元画像情報を生成することを特徴とする。

以上の構成により、本発明では、撮影対象の三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像を生成することができる。

本発明によれば、撮影対象の三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像を生成することにより、撮影対象を様々な視点から再生可能なデータとして保存及び再生できるので、撮影対象の状況の把握を支援することが可能となる等、優れた効果を奏する。

本発明に係る撮影システムの概要を模式的に示す概略図である。 本発明に係る撮影システムにおける各撮影装置の配置例を模式的に示す概略図である。 本発明に係る撮影システムにおける各撮影装置の配置例を模式的に示す概略図である。 本発明に係る撮影システムにて用いられる撮影装置の外観構成例を模式的に示す概略図である。 本発明に係る撮影システムにて用いられる撮影装置の制御系統の構成例を示すブロック図である。 本発明に係る撮影システムにて用いられる第１処理装置の構成例を示すブロック図である。 本発明に係る撮影システムにて用いられる第２処理装置の構成例を示すブロック図である。 本発明に係る撮影システムが備える撮影装置の設定情報記録処理の一例を示すフローチャートである。 本発明に係る撮影システムが備える撮影装置の撮影処理の一例を示すフローチャートである。 本発明に係る撮影システムが備える撮影装置及び第２処理装置の時系列三次元画像情報生成処理の一例を通信処理と併せて示すフローチャートである。 本発明に係る撮影システムが備える撮影装置から第２処理装置へ送信される画像情報のデータフォーマットの一例を概念的に示す説明図である。 本発明に係る撮影システムが備える撮影装置及び第１処理装置の画像情報送受信処理の一例を示すフローチャートである。 本発明に係る撮影システムが備える第１処理装置及び第２処理装置の時系列三次元画像情報生成処理の実施例２における一例を通信処理と併せて示すフローチャートである。 本発明に係る撮影システムが備える第１処理装置及び第２処理装置の時系列三次元画像情報生成処理の一例を通信処理と併せて示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の実施形態は、本発明を具現化した一例であって、本発明の技術的範囲を限定する性格のものではない。

＜撮影システムの概要＞
図１は、本発明に係る撮影システムの概要を模式的に示す概略図である。図１に例示した撮影システムは、氾濫等の自然災害の発生の恐れがある河川を撮影対象としている。そして、撮影対象を撮影すべく、撮影対象である河川に沿って、両岸に複数の撮影装置１，１，…が配置されており、各撮影装置１，１，…により、様々な方向から河川を撮影することができる。

各撮影装置１，１，…は、無線通信又は有線通信により通信することが可能であり、インターネット、専用通信網等の通信網ＮＷを介して、サーバコンピュータを用いた第１処理装置２及びクライアントコンピュータを用いた第２処理装置３と通信することが可能である。

第１処理装置２は、例えば、撮影システムを用いた各種サービスを提供するサービス事業体にて管理されており、情報管理、画像処理等のサービスを提供するように構成することが可能である。

第２処理装置３は、例えば、サービス事業体、又はサービス事業体にて提供される各種サービスを享受する顧客にて管理されており、操作者が適宜操作し、撮影システムに係る各種設定、画像処理、動画の表示等の各種処理を実行するように構成することが可能である。

このように構成された本発明に係る撮影システムは、川面の様な微少時間で大きく変化する領域を含む河川等の撮影対象を複数の撮影装置１，１，…にて連続同期撮影し、撮影対象の三次元画像を撮影時刻に基づく時系列に従って表示することが可能な時系列三次元画像情報を生成する。

図２は、本発明に係る撮影システムにおける各撮影装置１，１，…の配置例を模式的に示す概略図である。図２に示すように、各撮影装置１，１，…は、河川の両側に、適宜間隔を開けて設置されている。各撮影装置１，１，…は、夫々撮影方向が河川側を向くように配置されており、一の撮影装置１の撮影範囲内には他の撮影装置１が１台以上含まれるように夫々配置されている。また、撮影対象の三次元画像（時系列三次元画像）の生成に際し、相隣る各撮影装置１，１，…の撮影範囲が充分に重なるように（充分な撮影ラップを確保できるように）、各撮影装置１，１，…は、設置間隔が開き過ぎないように配置される。

図３は、本発明に係る撮影システムにおける各撮影装置１，１，…の配置例を模式的に示す概略図である。図３は、崩落の恐れのある崖を撮影対象とした形態を示している。図３に示すように、崖を撮影対象とする場合、崖の両側に沿って、上方から下方へ複数台の撮影装置１，１，…が、適宜間隔を開けて設置されている。図３に示すように、各撮影装置１，１，…は、夫々撮影方向が崖側を向くように配置されており、一の撮影装置１の撮影範囲内には他の撮影装置１が１台以上含まれるように夫々配置されている。また、撮影対象の三次元画像の生成に際し、相隣る各撮影装置１，１，…の撮影範囲が充分に重なるように、各撮影装置１，１，…は、設置間隔が開き過ぎないように配置される。

図２及び図３に示した撮影対象及び撮影装置１，１，…の配置は本発明に係る撮影システムの無数にある実施形態のうちの幾つかの例を示しているに過ぎない。例えば、堤防、法面、道路、海面、港、島嶼、山林、火山及びその噴火口等の様々な対象が撮影対象となる。また、複数の撮影装置１，１，…の配置は、撮影対象の周囲を囲む様に配置してもよく、また、上下方向から撮影可能に配置するようにする等、撮影対象に応じて適宜配置することが可能である。

＜各種装置の構成＞
次に本発明に係る撮影システムにて用いられる各種装置の構成について説明する。図４は、本発明に係る撮影システムにて用いられる撮影装置１の外観構成例を模式的に示す概略図である。撮影装置１は、撮影部１０，制御部１１、支柱１２、受信部１３、撮影標識１４、蓄電池１５、ソーラーパネル１６等の各種構成を備えている。

撮影部１０は、撮影対象を撮影するためのカメラであり、ＣＣＤ（Charge Coupled Device ）等の受光素子を備え、受光素子による受光に基づき撮影画像を示す画像情報を生成する。撮影部１０としては、本発明に係る専用のカメラの他、汎用的なデジタルカメラを用いることも可能である。また、撮影部１０の撮影の目的に応じてレンズその他の付属品が選択される。撮影部１０は、制御部１１に取り付けられており、制御部１１の制御により撮影を行い、撮影により生成した画像情報を制御部１１へ送る。

制御部１１は、撮影部１０を含む撮影装置１全体を制御する機構であり、例えば、マイクロコンピュータを用いて構成される。撮影部１０及び制御部１１は、支柱１２の上端からやや下方に取り付けられる。

支柱１２は、撮影部１０が取り付けられた制御部１１等の各種部材を支持する柱であり、地盤に固定されている。

受信部１３は、支柱１２の上端に取り付けられており、ＧＮＳＳ（Global Navigation Satellite System：全地球測位システム）衛星から送信されるＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号を必要に応じて加工し、制御部１１へ送る。ＧＮＳＳ信号からは、日付、時刻、緯度、経度、標高等の情報を取得することができる。ＧＮＳＳ（Global Navigation Satellite System）としては、ＧＰＳ：Global Positioning System（米国）、ＧＬＯＮＡＳＳ：GLObal'naya NAvigatsionnaya Sputnikovaya Sistema（ロシア）、ガリレオ：Galileo（欧州）、コンパス：Compass（中国）、ＱＺＳＳ：Quasi-Zenith Satellite System（日本）等のシステムを例示することができる。なお、以降の説明では、ＧＮＳＳとして、ＧＰＳを用いた例について説明する。また、ここでは標高として示しているが、ＧＰＳ衛星からは、地球の重力の等ポテンシャル面を示すジオイド面に近似される楕円体の表面に対する垂直な高さを示す楕円体高を示す情報として取得しており、標高は、楕円体高及びジオイド面から換算された値である。

撮影標識１４は、支柱１２において撮影部１０及び制御部１１の下方に取り付けられている。撮影標識１４は、他の撮影装置１にて撮影し、他の撮影装置１の位置及び撮影方向を特定するための標識であり、撮影前又は撮影後に正確な緯度、経度及び標高を含む配置位置が測量される。測量された配置位置は、位置情報として、当該撮影標識１４を撮影した他の撮影装置１において、生成した画像情報に係る画像の撮影方向及び縮尺の特定に用いられる。

蓄電池１５は、鉛蓄電池、リチウムイオン電池、リチウムイオンポリマー電池、ニッケルカドミニウム電池等の二次電池を用いて構成される。蓄電池１５には、太陽光等の光を受けて発電する光電変換素子を用いたソーラーパネル１６及び制御部１１が給電線にて接続されており、ソーラーパネル１６から受電して蓄電し、制御部１１へ給電する。ここでは電力源として蓄電池１５及びソーラーパネル１６を用いた形態を示しているが、安定して長期間電力を供給可能な構成であれば、一次電池、交流電源等の他の電力源を用いるようにしても良い。

図５は、本発明に係る撮影システムにて用いられる撮影装置１の制御系統の構成例を示すブロック図である。撮影装置１は、制御部１１にて、制御されており、制御部１１には、通信線にて撮影部１０及び受信部１３が接続されており、給電線にて蓄電池１５が接続されている。制御部１１は、制御回路１１０、時計回路１１１、記録部１１２、通信部１１３、電源回路１１４等の各種構成を備えている。

制御回路１１０は、制御部１１の制御を司る回路であり、ＬＳＩ（Large Scale Integration ）等の各種半導体チップを用いて構成されている。

時計回路１１１は、時計、タイマー等の時刻を指示する機能を有する回路である。

記録部１１２は、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）等の不揮発メモリ及びＲＡＭ（Random Access Memory）等の揮発メモリを用いて構成される記録機構であり、各種プログラム及びデータ等の情報を記録する。そして、制御回路１１０は、記録部１１２に記録されている各種プログラムを実行し、適宜、自己の内部レジスタ及び記録部１１２に情報を記録して、各種処理を実行し、各機構の動作を制御する。

通信部１１３は、無線通信又は有線通信のための各種回路にて構成され、直接又は他の通信装置を介して通信網ＮＷに通信接続し、第１処理装置２及び第２処理装置３と通信することが可能である。他の通信装置を介して通信網ＮＷへ通信接続する形態としては、例えば、無線ＬＡＮアクセスポイントを兼用した管理用サーバコンピュータを他の通信装置とし、管理用サーバコンピュータを介して通信網ＮＷに接続する形態を例示することができる。また、自然災害の発生し易い撮影対象の周囲に撮影装置１，１，…を配置することを鑑みてアドホックネットワーク等の通信方法を用いて、通信網ＮＷに接続するようにしても良い。アドホックネットワークを用いることにより、無線ＬＡＮアクセスポイント等の特定の機器の故障による通信障害の発生を防止し、全体として安定性の高い通信接続を確立することが可能なシステムを構築することが可能となる。

電源回路１１４は、蓄電池１５から受電し、制御部１１内に安定した電力を供給する機構である。

図６は、本発明に係る撮影システムにて用いられる第１処理装置２の構成例を示すブロック図である。第１処理装置２は、サーバコンピュータ等のコンピュータを用いて構成され、制御部２０、記録部２１、記憶部２２、通信部２３等の各種構成を備えている。

制御部２０は、装置全体を制御するＣＰＵ（Central Processing Unit ）等の機構である。記録部２１は、ハードディスク、半導体メモリ等の不揮発メモリを用いて構成される機構であり、各種プログラム及びデータ等の情報を記録する。記憶部２２は、ＲＡＭ等の揮発メモリを用いて構成される機構である。そして、制御部２０は、記録部２１に記録されている各種プログラムを読み取り、記憶部２２に一時的な情報を記録しながら、読み取った各種プログラムを実行することにより、装置全体を制御する。

通信部２３は、通信網ＮＷに通信接続し、各種通信を行うための通信回路である。

図７は、本発明に係る撮影システムにて用いられる第２処理装置３の構成例を示すブロック図である。第２処理装置３は、操作者により操作されるパーソナルコンピュータ等の汎用型コンピュータをクライアントコンピュータとして用いた装置として構成され、制御部３０、記録部３１、記憶部３２、通信部３３、入力部３４、出力部３５等の各種構成を備えている。

制御部３０は、装置全体を制御するＣＰＵ等の機構である。記録部３１は、不揮発メモリを用いて構成される機構であり、各種プログラム及びデータ等の情報を記録する。記憶部３２は、揮発メモリを用いて構成される機構である。そして、制御部３０は、記録部３１に記録されている各種プログラムを読み取り、記憶部３２に一時的な情報を記録しながら、読み取った各種プログラムを実行することにより、装置全体を制御する。

通信部３３は、通信網ＮＷに接続し、各種通信を行うための通信回路である。入力部３４は、操作者の入力を受け付けるキーボード、マウス等の機構である。出力部３５は、操作者に対して情報を出力するモニタ、プリンタ等の機構である。

＜実施例１＞
次に、本発明に係る撮影システムが備える各種装置の処理の様々な実施例を説明する。図８は、本発明に係る撮影システムが備える撮影装置１の設定情報記録処理の一例を示すフローチャートである。操作者は、第１処理装置２を操作し、撮影装置１との通信接続を確立させ、各種設定情報を第１処理装置２から撮影装置１へ送信させる。

撮影装置１は、制御部１１が備える制御回路１１０の制御により、記録部１１２に記録されている各種プログラムを実行し、通信部１１３にて各種設定情報を受信し（Ｓ１０１）、受信した各種設定情報を記録部１１２に記録する（Ｓ１０２）。そして、撮影装置１は、記録部１１２に記録した各種設定情報に基づいて、絞り、シャッター速度等の撮影条件、撮影時期の決定条件、撮影間隔（フレームレート）、解像度等の動画撮影に係る条件等の各種条件に係る各種設定を行う。撮影装置１と第１処理装置２との通信接続は、通信網ＮＷを介して接続しても良く、また無線ＬＡＮ（Local Area Network）等の閉域通信網を用いても良く、更には、有線通信を用いるようにしても良い。即ち、撮影装置１と通信接続を確立することができるのであれば、どのような方法でも良い。また、第１処理装置２を用いずに、撮影装置１を直接操作して設定するようにしても良い。

このようにして設定情報記録処理が実行される。

図９は、本発明に係る撮影システムが備える撮影装置１の撮影処理の一例を示すフローチャートである。撮影装置１は、制御部１１が備える制御回路１１０の制御により、記録部１１２に記録されている各種プログラムを実行して、受信部１３によりＧＰＳ信号を受信する（Ｓ２０１）。

ＧＰＳ信号を受信した制御部１１は、受信したＧＰＳ信号に含まれる時刻指示情報に基づいて撮影時期を決定し（Ｓ２０２）、決定した撮影時期に基づいて撮影を行う（Ｓ２０３）。ステップＳ２０２では、ＧＰＳ信号に含まれている標準１ｐｐｓ信号等の時刻指示情報が示す標準時刻に時計回路１１１が指示する時刻を同期させると共に、設定した撮影時期の決定条件及び撮影間隔に基づいて撮影時期を決定する処理を行う。決定された撮影時期は、各撮影装置１，１，…で同じであるため、ステップＳ２０３は、複数の撮影装置１，１，…による同期撮影となる。また、撮影間隔としては、１秒、３秒、１０秒等の間隔を設定することが可能であり、更には、一般的なテレビジョン映像と同様に３０フレーム、６０フレーム等の秒間フレーム数を撮影間隔として設定することも可能である。

ＧＰＳ信号に含まれる時刻指示信号に基づいて決定された撮影時期に撮影することにより、複数の撮影装置１，１，…の撮影時期を高精度に同期させることができる。例えば、河川を撮影対象とした場合、特に川面のような微少時間で大きく変化する撮影対象に対しては、複数の撮影装置１，１，…の撮影時期を高精度に同期することが三次元画像を生成する上で必要となる。なお、例えば、無線通信又は有線通信により、電気信号を各撮影装置１，１，…へ一斉送信し、撮影時期を同期させることも可能である。ただし、撮影対象を河川とする場合のように、撮影装置１，１，…の設置間隔が離隔し、長距離に及ぶ場合、一斉送信する電気信号等の信号では伝搬遅延が無視できなくなるため、高精度の同期は困難となる。これに対し、ＧＰＳ信号を用いた場合、撮影装置１，１，…間の距離が長く広範囲に渡る場合であっても、高精度の同期を行うことが可能である。

そして、制御部１１は、ステップＳ２０３での撮影に基づいて画像情報を生成し（Ｓ２０４）、生成した画像情報に、撮影時刻に係る撮影時刻情報を付加して記録部１１２に記録すると共に、記録部１１２に記録されている最も古い画像情報を消去する（Ｓ２０５）。ステップＳ２０５において、撮影時刻情報の付加は、例えば、画像情報として記録するデータファイルのヘッダ部に、撮影時刻情報を保管するフィールドを設定しても良く、また記録する画像情報のファイル名として撮影時刻情報を用いても良い。即ち、画像情報に撮影時刻情報を示すことができるのであれば、様々な形式を採用することが可能である。また、新たに生成した画像情報を記録する都度、最も古い画像情報を消去する所謂ＦＩＦＯ（First-In First-Out）方式を用いることにより、記録部１１２の記録領域を効率的に用いることができる。画像情報を記録する保存期間としては、例えば発生した災害を解析するために必要な時間、例えば６時間、１２時間、２４時間等の期間を設定することができる。

そして、制御部１１は、ステップＳ２０１へ戻り、以降の処理を繰り返す。ステップＳ２０１〜Ｓ２０５の処理を繰り返すことにより、決定した撮影時期に基づき連続して撮影することになる。なお、ＧＰＳ信号に係る時刻指示信号に比して撮影間隔を短く設定した場合、ステップＳ２０３〜Ｓ２０５の処理を所定回数繰り返す都度、ステップＳ２０１〜Ｓ２０５の処理を１回実行する等、適宜設定することが可能である。即ち、これらの繰り返し処理にて所定の周期で継続的に撮影を行うことで、撮影対象の経時変化を示す一連の複数の画像情報が生成される。

このようにして撮影処理が実行される。

図１０は、本発明に係る撮影システムが備える撮影装置１及び第２処理装置３の時系列三次元画像情報生成処理の一例を通信処理と併せて示すフローチャートである。第２処理装置３を操作する操作者は、例えば、河川の氾濫等の災害が発生し、その状況の解析を所望する場合、解析の対象となる時間帯を指定する時間帯指定情報を、第２処理装置３に入力する操作を行う。時間帯指定情報は、例えば、「○月○日ｈｈ：ｍｍ：ｓｓ−１ｈｒ」のように、日付、指定時間帯開始時刻及び抽出時間等の情報として入力される。また、「○月○日ｈ１：ｍ１：ｓ１−○月○日ｈ２：ｍ２：ｓ２」のように、指定時間帯の開始時刻及び終了時間を指定する等、適宜設定することが可能である。

第２処理装置３の制御部３０は、記録部２１に記録されている各種プログラムを実行して、入力部３４から時間帯指定情報の入力を受け付け（Ｓ３０１）、受け付けた時間帯指定情報を通信部３３から通信網ＮＷを介して各撮影装置１，１，…へ送信する（Ｓ３０２）。

撮影装置１の制御部１１は、通信部１１３にて時間帯指定情報を受信する。制御部１１は、時間帯指定情報に指定された時間帯内に、撮影時刻情報にて示される撮影時刻が含まれる画像情報を記録部１１２から抽出し（Ｓ３０３）、抽出した画像情報を通信部１１３から通信網ＮＷを介して第２処理装置３へ送信する（Ｓ３０４）。指定された時間帯に係る画像情報は複数であるので、ステップＳ３０４では、指定された時間帯に係る一連の複数の画像情報が送信される。

図１１は、本発明に係る撮影システムが備える撮影装置１から第２処理装置３へ送信される画像情報のデータフォーマットの一例を概念的に示す説明図である。画像情報は、ビットマップ形式、所定の圧縮方法にて圧縮した形式等の形式の画像データであり、クライアント情報、ジョブ情報、データＩＤ、撮影装置情報、撮影時刻情報、位置情報等の情報が付加されている。

クライアント情報は、画像情報の要求元である第２処理装置３を示すＩＤである。ジョブ情報は、画像情報を要求する時間帯指定情報に対するジョブであることを示すＩＤである。データＩＤは、個々のデータを特定するＩＤである。撮影装置情報は、画像情報の送信元の撮影装置１を特定するＩＤである。撮影時刻情報は、画像情報が撮影された時刻を示す時刻情報である。なお、前述のように撮影時刻情報が画像情報の名称として用いられていても良い。位置情報は、撮影装置１が受信したＧＰＳ信号により特定される撮影装置１の位置を示す情報又は予め測量され記録部１１２に記録された撮影装置１の位置を示す情報であり、緯度情報、経度情報、標高情報等の情報により示される。なお、各撮影装置１，１，…は、指定された時間帯内における一連の複数の画像情報を圧縮結合したアーカイブ情報として送信するようにしても良く、その場合、圧縮結合した画像情報にヘッダ情報等の情報として図１１に例示するような情報を付加するようにしても良い。また、各撮影装置１，１，…及び第２処理装置３と通信可能な記録装置を設け、各撮影装置１，１，…から送信される画像情報を記録装置にて纏めた上で、第２処理装置３へ送信するようにしても良い。

なお、図１１に示すデータフォーマットは、あくまでも一例であり、適宜設計することが可能である。例えば、要求元の第２処理装置３が特定されているのであれば、クライアント情報は不要である。また、後述するように画像処理の段階で、画像情報に係る画像の撮影方向及び縮尺を特定することができるので、位置情報は省略することも可能である。

図１０のフローチャートに戻り、第２処理装置３の制御部３０は、通信部３３にて各撮影装置１，１，…から画像情報を受信する。制御部３０は、各撮影装置１，１，…から受信した一連の画像情報を記録部３１に記録する（Ｓ３０５）。

そして、操作者は、各撮影装置１，１，…の連続した同期撮影に基づいて生成された夫々の一連の画像情報に基づいて、三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像を表示させる時系列三次元画像情報を生成させる画像加工処理を、第２処理装置３に実行させる操作を行う。画像加工処理としては、様々な方法を用いることが可能であるが、その一例として、ここでは画像情報に係る画像内の位置を特定して画像を結合し三次元画像を生成する方法を転用した方法を説明する。操作者は、各画像情報に基づく画像内に写り込んだ撮影装置１の撮影標識１４の位置を示す位置情報を入力する。入力する撮影標識１４の位置を示す位置情報とは、撮影時における撮影標識１４の位置を、別途測量により求めた緯度、経度、標高等の座標として示す精度の高い情報である。なお、入力した位置情報と画像内の位置との対応付けに際しては、操作者が手動で行っても良く、また既存の画像処理用アプリケーションソフトの機能を用いて自動で行っても良い。

制御部３０は、入力部３４から位置情報の入力を受け付け（Ｓ３０６）、受信した画像情報に基づく画像内の撮影装置１の撮影標識１４の位置及び入力を受け付けた位置情報に基づいて、画像の縮尺及び撮影方向を特定する（Ｓ３０７）。ステップＳ３０７は、画像内に含まれる複数の撮影装置１，１，…の撮影標識１４，１４，…の位置を特定することにより、それらの撮影標識１４，１４，…の画像内における間隔、写り込んだ位置等の情報から、その画像の縮尺を特定し、撮影した撮影装置１の位置を特定し、撮影した撮影装置１の撮影方向を特定する処理である。

そして、制御部３０は、各画像について特定した縮尺及び撮影方向に基づいて、時刻情報により特定される撮影時刻毎の三次元画像を生成し、生成した三次元画像を撮影時刻順に連結し、時系列三次元画像を示す時系列三次元画像情報を生成する（Ｓ３０８）。

ステップＳ３０８にて生成する時系列三次元画像情報に係る時系列三次元画像とは、三次元画像を時刻順で経時的に表示することが可能な情報であり、撮影対象の経時変化を任意の方向から表示可能な三次元の画像を連続して動画のように表示することができる。時系列三次元画像の基となる三次元画像は、ＧＰＳ信号に基づき高精度に同期がとれているので、川面のような微少時間で大きく変化する撮影対象に対しても、高精度に三次元で再現することができる。従って、このような三次元画像に基づく時系列三次元画像は、例えば波飛沫の様な瞬間の現象の立体的な経時変化を捉えることも可能となる。なお、時系列三次元画像を構成する三次元画像は、例えば、オルソ画像、３Ｄモデル画像、３Ｄ点群画像等の画像として表現される。このような画像加工処理は、Ａｇｉｓｏｆｔ社（ロシア）製 ＰｈｏｔｏＳｃａｎプロフェッショナル等の画像処理用のアプリケーションプログラムを転用して実行することもできる。

以上のようにして生成された時系列三次元画像情報は、記録部３１に記録される。操作者は、第２処理装置３を操作し、記録された時系列三次元画像情報に基づく時系列三次元画像の再生等の処理を実行させることにより、時系列三次元画像として示される撮影対象、例えば河川の氾濫状況の経時変化を様々な方向から視認し、状況を解析することが可能となる。

なお、時系列三次元画像の前処理となる三次元画像の生成に際して、予め撮影装置１の正確な位置を示す位置情報、撮影方向、撮影により得られる画像の縮尺等の詳細な情報が判明していれば、撮影装置１から送信する画像情報にこれらの情報を付加するようにしても良い。即ち、本発明に係る撮影システムは、ＧＰＳ信号に基づき高精度に同期した三次元画像に基づいて時系列三次元画像を生成することが可能であれば、三次元画像の生成方法は適宜設計することが可能である。

このようにして時系列三次元画像情報生成処理が実行される。

＜実施例２＞
本発明に係る撮影システムにおいて、各撮影装置１，１，…にて生成した画像情報は、サーバコンピュータを用いた第１処理装置２にて保管することも可能である。実施例２では、画像情報を第１処理装置２にて保管する形態について説明する。

図１２は、本発明に係る撮影システムが備える撮影装置１及び第１処理装置２の画像情報送受信処理の一例を示すフローチャートである。撮影装置１の制御部１１は、実施例１において、図９を用いて説明した撮影処理のステップＳ２０１〜Ｓ２０５の処理を実行して、画像情報の記録及び消去を行い（Ｓ２０５）、記録した画像情報を通信部１１３から通信網ＮＷを介して第１処理装置２へ送信する（Ｓ４０１）。ステップＳ４０１の画像情報の送信は、新たな画像情報を記録する都度、送信するようにしても良く、また１時間等の所定時間毎に送信するようにしても良く、第２処理装置３からの命令信号の受信又は操作者からの直接操作に基づいて送信するようにしても良い。画像情報は、例えば、実施例１における図１１に例示したデータフォーマットに適合した形式で各撮影装置１，１，…から第１処理装置２へ送信される。

第１処理装置２の制御部２０は、通信部２３にて画像情報を受信し、受信した画像情報を記録部２１に記録する（Ｓ４０２）。第１処理装置２では、受信した画像情報をサービスの提供先となる事業体毎に、提供するサービスの内容に応じて記録する。サービスの提供先となる事業体は、例えば、図１１に例示したデータフォーマットを用いる場合、クライアント情報、撮影装置情報等の情報に基づいて特定することができる。

このようにして、画像情報送受信処理が実行される。

図１３は、本発明に係る撮影システムが備える第１処理装置２及び第２処理装置３の時系列三次元画像情報生成処理の実施例２における一例を通信処理と併せて示すフローチャートである。図１３を用いて説明する時系列三次元画像情報生成処理は、第１処理装置２に画像情報を記録する形態において実施する場合の処理の例を示している。図１０を用いて説明した実施例１における三次元画像情報生成処理と同様に、第２処理装置３を操作する操作者は、時間帯指定情報を第２処理装置３に入力する。なお、時間帯指定情報の入力に際し、操作者は、第１処理装置２にアクセスし、アクセス権限を有することを示すＩＤ及びパスワード等の識別情報の入力を行い、第２処理装置３を第１処理装置２の当該サービスにログインさせる。第１処理装置２は、入力された識別情報に基づいて、アクセス元の第２処理装置３又はその操作者がクライアント情報にて特定される事業体であることを認識する。

第２処理装置３の制御部３０は、時間帯指定情報の入力を受け付け（Ｓ５０１）、受け付けた時間帯指定情報を通信部３３から通信網ＮＷを介して第１処理装置２へ送信する（Ｓ５０２）。

時間帯指定情報を受信した第１処理装置２の制御部２０は、時間帯指定情報及び第２処理装置３に係るクライアント情報に基づいて画像情報を記録部２１から抽出し（Ｓ５０３）、抽出した画像情報を通信部２３から通信網ＮＷを介して第２処理装置３へ送信する（Ｓ５０４）。第１処理装置２が複数の事業体に対してサービスを提供している場合、時間帯指定情報の送信元に応じた画像情報を選択して画像情報を送信する必要がある。従って、ステップＳ５０３では、時間帯指定情報に加え、クライアント情報も画像情報を抽出する際の検索キーとなる。

画像情報を受信した第２処理装置３の制御部３０は、受信した画像情報を記録部３１に記録する（Ｓ５０５）。そして、操作者は、各画像情報に基づく画像内に写り込んだ撮影装置１の撮影標識１４の位置を示す位置情報を入力する。制御部３０は、入力部３４から位置情報の入力を受け付け（Ｓ５０６）、画像情報に基づく画像内の撮影装置１の撮影標識１４の位置及び入力を受け付けた位置情報に基づいて、画像の縮尺及び撮影方向を特定する（Ｓ５０７）。そして、制御部３０は、各画像について特定した縮尺及び撮影方向に基づいて、撮影時刻毎の三次元画像を生成し、生成した三次元画像に基づいて時系列三次元画像情報を生成する（Ｓ５０８）。ステップＳ５０５〜Ｓ５０８の処理は、図１０を用いて説明した実施例１におけるステップＳ３０５〜Ｓ３０８の処理と実質的に同様である。

このようにして、実施例２における時系列三次元画像情報生成処理が実行される。

＜実施例３＞
本発明に係る撮影システムでは、時系列三次元画像情報の生成をサーバコンピュータを用いた第１処理装置２で実行することも可能である。実施例３では、第１処理装置２が時系列三次元画像情報の生成を実行する例について説明する。

図１４は、本発明に係る撮影システムが備える第１処理装置２及び第２処理装置３の時系列三次元画像情報生成処理の一例を通信処理と併せて示すフローチャートである。実施例３は、実施例２と同様の処理により第１処理装置２に画像情報を記録後、操作者は、第２処理装置３を第１処理装置２にログインさせ、第２処理装置３に時間帯指定情報を入力する。

第２処理装置３の制御部３０は、時間帯指定情報の入力を受け付け（Ｓ６０１）、受け付けた時間帯指定情報を通信部３３から通信網ＮＷを介して第１処理装置２へ送信する（Ｓ６０２）。

時間帯指定情報を受信した第１処理装置２の制御部２０は、時間帯指定情報及び第２処理装置３に係るクライアント情報に基づいて画像情報を記録部２１から抽出し（Ｓ６０３）、抽出した画像情報に基づいて、時系列三次元画像情報を生成する（Ｓ６０４）。時系列三次元画像情報の生成は、実施例１及び実施例２と実質的に同様である。従って、操作者は、必要に応じて撮影装置１の撮影標識１４の位置を示す位置情報を入力することになる。

時系列三次元画像情報を生成した制御部２０は、生成した時系列三次元画像情報を通信部２３から通信網ＮＷを介して第２処理装置３へ送信する（Ｓ６０５）。第２処理装置３は、受信した時系列三次元画像情報に基づく時系列三次元画像を出力部３５であるモニタに表示する。

このようにして、実施例３における時系列三次元画像情報生成処理が実行される。

以上のように、本発明に係る撮影システムでは、ＧＰＳ信号に含まれる時刻指示信号に基づいて撮影時期を決定することにより、複数の撮影装置１，１，…を高精度に同期させることが可能となる。従って、微少時間で大きく変化する自然現象等の撮影対象の三次元画像を生成することが可能となる。しかも、同期撮影を適宜設定した間隔で連続して行うことにより、撮影対象を三次元で表示することが可能な三次元画像を時系列に従って連続して表示させる時系列三次元画像情報を生成することが可能となる。従って、撮影対象の状況の把握を支援することが可能となる等、優れた効果を奏する。

本発明は、以上説明した実施形態に限定されるものではなく、他のいろいろな形態で実施することが可能である。そのため、かかる実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

例えば、本実施形態では、第１処理装置２及び第２処理装置３を用いて画像情報を記録し、また画像処理を実行する実施例について幾つか示したが、本発明はこれに限らず、画像情報の記録主体及び画像処理の処理主体は適宜設定することが可能であり、それぞれの主体となる装置に応じて通信システムの構成も適宜設計することが可能である。

また、本実施形態では、画像情報から三次元画像を生成し、三次元画像から時系列三次元画像を生成する形態を示したが、画像処理を実行するアプリケーションプログラムの使用に応じて画像情報から二次元動画を生成し、二次元動画の基となる二次元の連続画像から時系列三次元画像を生成する等、様々な形態に展開することが可能である。

さらに、本発明の画像処理の方法、処理手順の定義の方法等の処理は、ユーザの要求に応じて適宜設計することが可能であり、上述の形態に限られるものではない。

１ 撮影装置
１０ 撮影部
１１ 制御部
１１０ 制御回路
１１１ 時計回路
１３ 受信部
１４ 撮影標識
２ 第１処理装置
３ 第２処理装置
ＮＷ 通信網

Claims (4)

1. 撮影に基づいて画像情報を生成する複数の撮影装置を備える撮影システムであって、
   前記各撮影装置は、撮影対象を複数の方向から撮影するように配置されており、かつ、撮影範囲内に、他の撮影装置を含むように配置されており、
   ＧＮＳＳ衛星から時刻を示す時刻指示情報を含むＧＮＳＳ信号を受信する手段と、
   受信したＧＮＳＳ信号に含まれる時刻指示情報に基づいて前記各撮影装置の撮影時期を決定する手段と、
   決定した撮影時期に同期した前記各撮影装置にて連続して撮影する手段と、
   前記各撮影装置の連続した同期撮影に基づいて生成された複数の画像情報に基づいて、三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像に係る時系列三次元画像情報を生成する画像処理手段と
   を備え、
   前記画像処理手段は、前記各撮影装置の同期撮影に基づいて生成した画像情報に基づく画像内の撮影装置に係る位置及び各撮影装置の位置を示す位置情報に基づいて、画像の縮尺及び撮影方向を特定し、特定した縮尺及び撮影方向に基づく三次元画像を用いて時系列三次元画像情報を生成する
   ことを特徴とする撮影システム。
2. 撮影に基づいて画像情報を生成する複数の撮影装置を備える撮影システムであって、
   前記各撮影装置にて生成された画像情報を処理する処理装置を更に備え、
   前記各撮影装置は、撮影対象を複数の方向から撮影するように配置されており、かつ、撮影範囲内に、他の撮影装置を含むように配置されており、
   前記各撮影装置は、
   ＧＮＳＳ衛星から時刻を示す時刻指示情報を含むＧＮＳＳ信号を受信する受信部と、
   情報を記録する記録部と、
   他の装置と通信する通信部と、
   前記受信部により受信したＧＮＳＳ信号に含まれる時刻指示情報に基づいて撮影時期を決定する手段と、
   決定した撮影時期に基づき連続して撮影する手段と、
   撮影に基づいて生成した画像情報に、撮影時刻に係る撮影時刻情報を付加して前記記録部に記録する手段と、
   前記記録部に記録している画像情報を前記処理装置へ送信する送信手段と
   を備え、
   前記処理装置は、
   各撮影装置の位置を示す位置情報を受け付ける手段と、
   前記各撮影装置から受信した画像情報に基づく撮影対象の三次元画像を、撮影時刻情報に基づく時系列に従って表示する時系列三次元画像に係る時系列三次元画像情報を生成する画像処理手段と
   を備え、
   前記画像処理手段は、前記各撮影装置から受信した画像情報に基づく画像内の撮影装置に係る位置及び受け付けた位置情報に基づいて、画像の縮尺及び撮影方向を特定し、特定した縮尺及び撮影方向に基づく三次元画像を用いて時系列三次元画像情報を生成する
   ことを特徴とする撮影システム。
3. 請求項１又は請求項２に記載の撮影システムであって、
   前記各撮影装置は、
   時間帯を指定した時間帯指定情報を受信した場合に、受信した時間帯指定情報にて指定された時間帯内に、撮影時刻情報にて示される撮影時刻が含まれる画像情報を、前記記録部から抽出する抽出手段を備え、
   前記送信手段は、前記抽出手段が抽出した画像情報を送信するようにしてある
   ことを特徴とする撮影システム。
4. 撮影に基づいて画像情報を生成する複数の撮影装置を用い、前記各撮影装置により生成した画像情報を処理する撮影画像処理方法であって、
   前記各撮影装置は、撮影対象を複数の方向から撮影するように配置されており、かつ、撮影範囲内に、他の撮影装置を含むように配置されており、
   ＧＮＳＳ衛星から時刻を示す時刻指示情報を含むＧＮＳＳ信号を受信するステップと、
   受信したＧＮＳＳ信号に含まれる時刻指示情報に基づいて前記各撮影装置の撮影時期を決定するステップと、
   決定した撮影時期に同期した前記各撮影装置にて連続して撮影するステップと、
   前記各撮影装置の連続した同期撮影に基づいて生成された複数の画像情報に基づいて、三次元画像を撮影時刻に基づく時系列に従って表示する時系列三次元画像に係る時系列三次元画像情報を生成する画像処理ステップと
   を含み、
   前記画像処理ステップは、前記各撮影装置の同期撮影に基づいて生成した画像情報に基づく画像内の撮影装置に係る位置及び各撮影装置の位置を示す位置情報に基づいて、画像の縮尺及び撮影方向を特定し、特定した縮尺及び撮影方向に基づく三次元画像を用いて時系列三次元画像情報を生成する
   ことを特徴とする撮影画像処理方法。

Images