JP6695063B2 - 建物画像生成装置および建物画像表示システム - Google Patents

Description

本開示は、建物画像生成装置および建物画像表示システムに関する。

特許文献１には、複数設置された防犯カメラのうち所望の防犯カメラで撮像された画像を表示部に表示させる防犯システムが記載されている。

上記防犯システムにあっては、複数の防犯カメラで撮像された画像は別個に表示させるため、例えば建物の周囲全体の状況を把握しようとすると、複数の画像を見なければならず、建物の周囲の状況を把握しにくい。特に、侵入者等の移動体がある場合に、上記防犯システムにあっては、その移動体の建物の周囲における位置の把握がしにくかった。

特開２００３−８５６６２号公報

本開示は前記事情に鑑みてなされたものであって、建物の周囲の状況、特に、移動体の建物の周囲における位置の把握がしやすい、建物画像生成装置および建物画像表示システムを提供することを目的とする。

前記目的を達成するために本開示に係る一形態の建物画像生成装置は、画像取得部と、合成画像生成部と、合成画像記憶部と、移動体抽出部と、移動体表示画像生成部と、を備える。前記画像取得部は、建物の周囲を撮像する複数の撮像部で撮像された複数の画像を複数の撮像画像として取得する。前記合成画像生成部は、前記画像取得部で取得された前記複数の撮像画像を合成して、仮想視点から見た合成画像を生成する。前記合成画像記憶部は、前記合成画像生成部で生成された前記合成画像を記憶する。前記移動体抽出部は、前記合成画像記憶部における、異なる時間に撮像された、複数の撮像画像からそれぞれがなる複数の合成画像を比較して、前記複数の合成画像中で位置が変化している移動体を抽出する。前記移動体表示画像生成部は、前記移動体抽出部で抽出された前記移動体の画像要素を前記複数の合成画像の一つに合成して移動体表示画像を生成する。

また、本開示に係る他の形態の建物画像表示システムは、建物の周囲を撮像する複数の撮像部と、建物画像生成装置と、を備える。前記建物画像生成装置は、画像取得部と、合成画像生成部と、合成画像記憶部と、移動体抽出部と、移動体表示画像生成部と、画像表示部と、を備える。前記画像取得部は、前記複数の撮像部で撮像された複数の画像を複数の撮像画像として取得する。前記合成画像生成部は、前記画像取得部で取得された前記複数の撮像画像を合成して、仮想視点から見た合成画像を生成する。前記合成画像記憶部は、前記合成画像生成部で生成された前記合成画像を記憶する。前記移動体抽出部は、前記合成画像記憶部における、異なる時間に撮像された、複数の撮像画像からそれぞれがなる複数の合成画像を比較して、前記複数の合成画像中で位置が変化している移動体を抽出する。前記移動体表示画像生成部は、前記移動体抽出部で抽出された前記移動体の画像要素を前記複数の合成画像の一つに合成して移動体表示画像を生成する。前記画像表示部は、前記移動体表示画像を表示する。

また、本開示に係るさらに他の形態の建物画像表示システムは、建物の周囲を撮像する複数の撮像部と、建物画像生成装置と、前記建物画像生成装置で生成された移動体表示画像を表示する画像表示端末と、を備える。前記建物画像生成装置は、画像取得部と、合成画像生成部と、合成画像記憶部と、移動体抽出部と、移動体表示画像生成部と、画像送信部と、を備える。前記画像取得部は、前記複数の撮像部で撮像された複数の画像を複数の撮像画像として取得する。前記合成画像生成部は、前記画像取得部で取得された前記複数の撮像画像を合成して、仮想視点から見た合成画像を生成する。前記合成画像記憶部は、前記合成画像生成部で生成された前記合成画像を記憶する。前記移動体抽出部は、前記合成画像記憶部における、異なる時間に撮像された、複数の撮像画像からそれぞれがなる複数の合成画像を比較して、前記複数の合成画像中で位置が変化している移動体を抽出する。前記移動体表示画像生成部は、前記移動体抽出部で抽出された前記移動体の画像要素を前記複数の合成画像の一つに合成して移動体表示画像を生成する。前記画像送信部は、前記画像表示端末へ前記移動体表示画像を送信する。

図１は、第１実施形態に係る建物画像表示システムのブロック図である。 図２Ａは、同上の建物画像表示システムにおける建物の斜視図である。図２Ｂは、同上の建物画像表示システムにおける建物の平面図である。 図３は、同上の建物画像表示システムにおける合成画像を示す図である。 図４Ａは、同上の建物画像表示システムにおける建物の前面に設けられた撮像部で撮像された画像を示す図である。図４Ｂは、同上の建物画像表示システムにおける建物の右面に設けられた撮像部で撮像された画像を示す図である。図４Ｃは、同上の建物画像表示システムにおける建物の後面に設けられた撮像部で撮像された画像を示す図である。図４Ｄは、同上の建物画像表示システムにおける建物の左面に設けられた撮像部で撮像された画像を示す図である。 図５は、同上の建物画像表示システムにおける移動体表示画像を示す図である。 図６は、第２実施形態に係る建物画像表示システムのブロック図である。 図７は、同上の建物画像表示システムにおける移動体軌跡画像を示す図である。 図８は、同上の建物画像表示システムにおける拡大画像を示す図である。 図９は、第３実施形態に係る建物画像表示システムのブロック図である。

本開示は、建物画像生成装置および建物画像表示システムに関し、詳しくは、建物の周囲を撮像する複数の撮像部の画像を合成してさらに移動体を表示させた移動体表示画像を生成する建物画像生成装置とこれを用いたシステムに関する。

第１実施形態の建物画像表示システム１およびこれに用いられる建物画像生成装置３について、図１〜図５に基いて説明する。

図１に示すように、建物画像表示システム１は、複数の撮像部２（２１〜２４）と、建物画像生成装置３と、を備える。

図２Ａ、図２Ｂに示すように、撮像部２は、建物１０の周囲を撮像するものである。第１実施形態では、撮像部２は、撮像素子と、広角レンズ等の光学部品と、信号処理回路等を有する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサのような赤外光および可視光に感度を有するもので、所定範囲を所定のフレームレートで撮影する。光学部品は、撮像素子に光を集光する広角レンズと、絞り等を有する。信号処理回路は、撮像素子の全ての画素（受光素子）を走査して各画素の画素値（電荷）をアナログの電気信号として読み出し、この電気信号をデジタル信号（画像のデータ）に変換する。このような撮像素子、光学部品および信号処理回路は公知の技術が適宜利用可能であり、詳細な説明は省略する。

第１実施形態では、便宜上、建物１０を矩形箱状とし、建物１０の各側面を前面１１、右面１２、後面１３、左面１４と定義する。撮像部２は、前面１１、右面１２、後面１３、左面１４に一個ずつ計４個設けられる。これにより、建物１０の周囲に死角が形成されないように全周囲を撮影範囲としている。

建物画像生成装置３は、図１に示すように、画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、画像表示部３６と、制御部３０と、を備える。画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、画像表示部３６と、制御部３０は、一つのケースに収納される。

画像取得部３１は、複数の撮像部２１〜２４で撮像された画像を、複数の撮像画像画像５１〜５４（図４Ａ〜図４Ｄ参照）として取得するものである。第１実施形態では、画像取得部３１は、Ｉ／Ｏインターフェース（Input-Output Interface）により構成され、受信（撮像画像の取得）のみならず送信も可能な双方向通信を行うことができる。画像取得部３１は、複数の撮像部２にそれぞれ無線または有線により通信可能に接続され、撮像部２で撮影された画像を撮像画像として取得して建物画像生成装置３に取り込むことができる。このようなＩ／Ｏインターフェースについては、公知の技術が適宜利用可能であり、詳細な説明は省略する。

合成画像生成部３２は、画像取得部３１で取得された複数の撮像画像５１〜５４を合成して、仮想視点１５（図２Ａ参照）から見た合成画像５（図３参照）を生成するものである。このような技術については、例えば特許第３３００３３４号等に開示されているように公知の技術であり、同様の様々な公知の技術が適宜利用可能である。この技術につき概略説明する。

仮想視点１５は、任意の位置に、任意の方向に向けて、決めることができる。第１実施形態では、建物１０の中央部の上方約数ｍの位置から下方に向けた視点として決められる。

仮想視点１５が決められると、生成しようとする合成画像５と各撮像部２で撮影された画像との関係が定まり、マッピングテーブルが作成される。

マッピングテーブルは、合成画像５の複数の画素と、複数の撮像部２で撮影されたそれぞれの撮像画像５１〜５４の全画素との対応関係を決めるものである。言い換えると、マッピングテーブルは、合成画像５の複数の画素と、複数の撮像部２で撮影されたそれぞれの撮像画像５１〜５４の全画素との間のマッピングを記憶する。例えば、図４Ａに示す、前面１１に設けられた撮像部２１により撮影された撮像画像５１の画素５１１と、図３に示す、合成画像５のうちの撮像画像５１に対応する変形画像５１０の画素５１２とが、マッピングテーブルにより対応づけられる。また、図４Ｂに示す、右面１２に設けられた撮像部２２により撮影された撮像画像５２の画素５２１と、図３に示す、合成画像５のうちの撮像画像５２に対応する変形画像５２０の画素５２２とが、マッピングテーブルにより対応づけられる。また、図４Ｃに示す、後面１３に設けられた撮像部２３により撮影された撮像画像５３の画素５３１と、図３に示す、合成画像５のうちの撮像画像５３に対応する変形画像５３０の画素５３２とが、マッピングテーブルにより対応づけられる。また、図４Ｄに示す、左面１４に設けられた撮像部２４により撮影された撮像画像５４の画素５４１と、図３に示す、合成画像５のうちの撮像画像５４に対応する変形画像５４０の画素５４２とが、マッピングテーブルにより対応づけられる。

また、合成画像５において、建物１０に相当する部分の画像は存在しないため、この部分には建物１０の外郭形状の線画のイラスト５５等を表示するが、この部分の表示は特に限定されない。

このように、各撮像部２の各画素を合成画像５の所定の対応する画素として合成するとともに、建物１０のイラストを表示することで、合成画像５が生成される。

合成画像５は、一時点における各撮像部２の撮像画像５１〜５４を合成して生成されるもので、この時点の日時等の情報（メタデータ）がひもづけされる。この合成画像５は、所定の時間間隔で生成される。

図１に示すように、合成画像記憶部３３は、合成画像生成部３２で生成された合成画像５を記憶するものである。第１実施形態では、合成画像記憶部３３は、例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）またはフラッシュメモリ等の不揮発性メモリにより構成される。

移動体抽出部３４は、メタデータを基に、異なる時間（時刻）に撮像された複数の撮像画像５１〜５４からそれぞれがなる複数（通常は二つ）の合成画像５を比較して、図３に示すように、複数の合成画像５中で位置が変化している移動体６を抽出するものである。第１実施形態では、移動体抽出部３４は、例えば画像処理用のプロセッサを用いて構成される。移動体抽出部３４は、合成画像５を解析することによって、人等の移動体６を抽出する。このような移動体抽出部３４は、背景差分法またはフレーム間差分法により動作するもの等、公知の技術が適宜利用可能であり、詳細な説明は省略する。

移動体表示画像生成部３５は、移動体抽出部３４で抽出された移動体６が目立つように例えば移動体６を囲んで示す移動体６の画像要素（移動体表示７０とする）を合成画像５（図３参照）に合成して、図５に示す移動体表示画像７を生成するものである。移動体表示７０は、合成画像５の移動体６の部分の外郭を特定の色の線で描いたり、移動体６の中心回りに円等の特定の図形を描いたりして、移動体６が認識しやすいように表示するものであり、その具体的な態様は限定されない。

画像表示部３６は、移動体表示画像７を表示するものである。画像表示部３６は、例えば移動体表示画像７が表示される液晶ディスプレイからなるものであるが、公知の様々な画像表示部３６が適宜利用可能であり、詳細な説明は省略する。画像表示部３６は、収納されるケースの透明部を通して、又は、収納されるケースの開口部等を通して、外部より視認可能である。

制御部３０は、画像取得部３１と合成画像生成部３２と合成画像記憶部３３と移動体抽出部３４と移動体表示画像生成部３５と画像表示部３６の動作を制御するものである。第１実施形態では、制御部３０は、例えばマイクロコンピュータからなり、ＲＯＭ（Read Only Memory）に記憶されたプログラムを実行することで、各要素の動作を制御するもので、公知の技術が適宜利用可能であり、詳細な説明は省略する。

この第１実施形態の建物画像表示システム１の動作について説明する。

建物画像生成装置３および撮像部２が動作を開始すると、各撮像部２１〜２４は、所定のフレームレートで撮像空間を撮像し、１フレーム分の画像を撮像するごとに１フレーム分の撮像画像５１〜５４を画像取得部３１に出力する。このとき、制御部３０が撮像部２を制御して、所定のフレームレートで撮像空間を撮像させるようにしてもよい。

画像取得部３１より取り込まれた各撮像部２１〜２４の１フレーム分の撮像画像５１〜５４は、合成画像生成部３２により合成されて、１フレーム分の合成画像５が生成される。

合成画像生成部３２により生成された合成画像５は、１フレーム分ごとに日時の情報とともに合成画像記憶部３３に記憶される。

また、合成画像生成部３２により生成された１フレーム分の合成画像５は、移動体抽出部３４により、合成画像記憶部３３に記憶されている直前の１フレーム分の合成画像５と比較され、移動体６が抽出される。

移動体抽出部３４により抽出された移動体６は、移動体表示画像生成部３５により、その移動体表示７０が生成され、この移動体表示７０が１フレーム分の合成画像５に合成されることで、１フレーム分の移動体表示画像７が生成される。

移動体表示画像生成部３５により生成された１フレーム分の移動体表示画像７は、画像表示部３６に表示される。

これが所定のフレームレートで繰り返されて、動的な移動体表示画像７が画像表示部３６に表示される。

第１実施形態の建物画像表示システム１は、複数の撮像部２（２１〜２４）で撮像された複数の建物１０の周囲の撮像画像５１〜５４を合成して、一つの合成画像５（実際に見られるのは移動体表示画像７）を生成しているため、建物１０の周囲の状況の把握がしやすい。

また、建物画像表示システム１は、この合成画像５において移動体６を抽出するとともに移動体表示７０を合成して移動体表示画像７を生成しているため、移動体６の建物１０の周囲における位置の把握がしやすい。

また、建物画像表示システム１は、上空に撮像部２を設けることなく、建物１０の上空の仮想視点１５から見た移動体表示画像７を生成することができる。

また、複数の撮像部２（２１〜２４）で撮像された建物１０の周囲の複数の撮像画像５１〜５４のデータ容量の合計よりも小さいデータ容量の合成画像５とすることにより、合成画像記憶部３３で記憶するデータ容量が小さくてすむ。

次に、第２実施形態の建物画像表示システム１について、図６〜図８に基いて説明する。第２実施形態の建物画像表示システム１は、第１実施形態の建物画像表示システム１が備える構成要素に加えて、次の構成要素を備えるものである。なお、第１実施形態の建物画像表示システム１と同じ構成要素については同符号を付して説明を省略し、異なる部分について説明する。

第２実施形態の建物画像表示システム１では、図６に示すように、建物画像生成装置３が、移動体記憶部３７と、移動体軌跡画像生成部３８と、大きさ判定部３９と、をさらに備える。

移動体記憶部３７は、移動体抽出部３４で抽出された移動体６を記憶するものである。第２実施形態では、移動体記憶部３７は、例えばＥＥＰＲＯＭまたはフラッシュメモリ等の不揮発性メモリにより構成される。

移動体軌跡画像生成部３８は、図７に示すように、移動体記憶部３７で記憶されている複数の移動体６の前記データから移動体６の軌跡（移動体軌跡８０とする）を移動体表示画像７に合成して移動体軌跡画像８を生成するものである。

大きさ判定部３９は、移動体抽出部３４で抽出された移動体６の大きさが所定の範囲にあるか否かを判定するものである。

また、制御部３０は、画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、画像表示部３６と、移動体記憶部３７と、移動体軌跡画像生成部３８と、大きさ判定部３９の動作を制御する。

この第２実施形態の建物画像表示システム１の動作について説明する。

建物画像生成装置３および撮像部２が動作を開始すると、各撮像部２１〜２４は、所定のフレームレートで撮像空間を撮像し、１フレーム分の画像を撮像するごとに１フレーム分の撮像画像５１〜５４を画像取得部３１に出力する。このとき、制御部３０が撮像部２を制御して、所定のフレームレートで撮像空間を撮像させるようにしてもよい。

画像取得部３１より取り込まれた各撮像部２１〜２４の１フレーム分の撮像画像５１〜５４は、合成画像生成部３２により合成されて、１フレーム分の合成画像５が生成される。

合成画像生成部３２により生成された合成画像５は、１フレーム分ごとに日時の情報とともに合成画像記憶部３３に記憶される。

また、合成画像生成部３２により生成された１フレーム分の合成画像５は、移動体抽出部３４により、合成画像記憶部３３に記憶されている直前の１フレーム分の合成画像５と比較され、移動体６が抽出される。

次に、抽出された移動体６は、１フレーム分ごとに日時の情報とともに移動体記憶部３７に記憶される。

また、移動体６が抽出された後、大きさ判定部３９により、移動体抽出部３４で抽出された移動体６の大きさが所定の範囲にあるか否かが判定される。大きさ判定部３９により、移動体６の大きさが所定の範囲にあると判定された場合には、移動体表示画像生成部３５により移動体表示７０が生成され、この移動体表示７０が１フレーム分の合成画像５に合成されることで、１フレーム分の移動体表示画像７が生成される。

他方、大きさ判定部３９により、移動体６の大きさが所定の範囲にないと判定された場合には、猫等の小動物やノイズと考えられ防犯上の影響は低いため、移動体表示画像生成部３５での移動体表示画像７の生成を行わない。第２実施形態では、処理の都合上、移動体表示７０を合成していない合成画像５をそのまま移動体表示画像７として扱う。

移動体表示画像生成部３５により生成された１フレーム分の移動体表示画像７は、画像表示部３６に表示可能である。

次に、移動体６の大きさが所定の範囲にあると判定された場合には、移動体軌跡画像生成部３８により、移動体表示画像生成部３５により生成された１フレーム分の移動体表示画像７に移動体軌跡８０が合成されて、１フレーム分の移動体軌跡画像８が生成される。移動体軌跡８０は、移動体記憶部３７に記憶されている過去の一または複数のフレーム分の移動体６から生成される移動体表示７０により構成される。

移動体軌跡画像生成部３８により生成された１フレーム分の移動体軌跡画像８は、画像表示部３６に表示可能である。

これが所定のフレームレートで繰り返されて、動的な移動体軌跡画像８が画像表示部３６に表示される。

また、第２実施形態では、図８に示すように、移動体軌跡画像８の見たい部分、特に移動体表示７０が表示されている部分を拡大して画像表示部３６に表示することができる。この拡大表示は、第２実施形態では、移動体軌跡画像８の一画素の表示を複数の画素にて同様に表示する手法（いわゆるデジタルズーム）により行われる。

第２実施形態の建物画像表示システム１は、第１実施形態の建物画像表示システム１において得られる効果に加えて、以下の効果が得られる。

第２実施形態の建物画像表示システム１は、移動体軌跡画像８を生成しているため、移動体６の建物１０の周囲における移動体軌跡８０の把握がしやすく、移動体６の移動先の予測がしやすい。

また、建物画像表示システム１は、移動体６が侵入者等の特定の物体でない場合に移動体表示７０を表示しなくてすみ、無駄な注意を喚起しにくい。

次に、第３実施形態の建物画像表示システム１について、図９に基いて説明する。

第３実施形態の建物画像表示システム１は、第２実施形態の建物画像表示システム１が備える構成要素に加えて、次の構成要素を備える。なお、第２実施形態の建物画像表示システム１と同じ構成要素については同符号を付して説明を省略し、異なる部分について説明する。

第３実施形態の建物画像表示システム１では、図９に示すように、建物画像生成装置３が、画像表示端末９１と、画像送信部４０と、を備える。

画像表示端末９１は、建物画像生成装置３で生成された移動体表示画像７を表示するものである。このような画像表示端末９１としては、いわゆるスマートフォン、タブレット、パーソナルコンピュータ等が適宜利用可能であり、特に限定されない。

画像送信部４０は、画像表示端末９１へ移動体表示画像７を送信する。第３実施形態では、画像送信部４０は、Ｉ／Ｏインターフェースにより構成され、無線または有線により送信のみならず受信も可能な双方向通信を行うことができる。このようなＩ／Ｏインターフェースについては、公知の技術が適宜利用可能であり、詳細な説明は省略する。

画像表示端末９１は、無線または有線により伝送する伝送路９を介して画像送信部４０に接続される。第３実施形態では、伝送路９を介して、データサイズに応じた数に分割されたパケットを所定のデジタル変調方式で変調した伝送信号が伝送される。このような伝送路９としては、例えばいわゆるインターネットが利用可能であるが、特に限定されない。

また、制御部３０は、画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、移動体記憶部３７と、移動体軌跡画像生成部３８と、大きさ判定部３９と、画像送信部４０の動作を制御する。

また、第３実施形態の建物画像表示システム１は、第２実施形態の建物画像表示システム１が備える画像表示部３６を備えないものである。

この第３実施形態の建物画像表示システム１の動作について説明する。なお、移動体軌跡画像生成部３８による移動体軌跡画像８の生成までについては、第２実施形態と同じであるため説明を省略する。

移動体軌跡画像生成部３８により生成された１フレーム分の移動体軌跡画像８は、画像送信部４０より伝送路９に出力される。

伝送路９に出力された１フレーム分の移動体軌跡画像８は、画像表示端末９１に受信されて、画像表示端末９１の表示部に表示される。

これが所定のフレームレートで繰り返されて、動的な移動体軌跡画像８が画像表示端末９１の表示部に表示される。なお、移動体軌跡画像生成部３８により生成された移動体軌跡画像８を記憶しておき、画像表示端末９１から要求があったときに、撮像した日時の情報と共に移動体軌跡画像８を画像表示端末９１に送信するようにしても良い。

第３実施形態の建物画像表示システム１は、第２実施形態の建物画像表示システム１において得られる効果に加えて、以下の効果が得られる。

第３実施形態の建物画像表示システム１は、伝送路９を介して画像表示端末９１の表示部に移動体軌跡画像８が表示されるため、建物画像生成装置３から離れた場所での移動体軌跡画像８の表示が可能となる。特に、画像表示端末９１がいわゆるスマートフォンであり、伝送路９が途中に無線を有するインターネットであれば、外出先から手軽に移動体軌跡画像８（または移動体表示画像７、または合成画像５）を見ることができる。

次に、第１実施形態〜第３実施形態の変形例について説明する。

建物１０は、矩形箱状をしたものでなくてもよく、形状および大きさは限定されない。

撮像部２は、建物１０の前面１１、右面１２、後面１３、左面１４に一個ずつ設けられなくてもよい。すなわち、撮像部２は、建物１０の側面の一面に複数個設けられてもよいし、設けられない側面が存在してもよいし、合計数が４個でなくてもよい。

また、撮像部２は、建物１０の全周囲を撮影範囲とするものでなくてもよく、建物１０の周囲の一部に死角が形成されてもよい。

また、撮像部２は、広角レンズではなく魚眼レンズを有するものであってもよい。また、撮像部２は、広角レンズまたは魚眼レンズを有するものでなくてもよく、広角レンズおよび魚眼レンズではない通常のレンズを有するものでも多く設置することで、建物１０の全周囲を撮影範囲とすることができる。

撮像部２が有する撮像素子は、ＣＣＤイメージセンサに限定されるものではなく、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのような画像センサでもよい。

建物画像生成装置３は、家庭やオフィスで広く用いられている汎用のコンピュータ（いわゆるパーソナルコンピュータ）により構成されてもよい。

また、建物画像生成装置３を構成する画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、画像表示部３６と、制御部３０は、一つのケースに収納されなくてもよい。

合成画像５に合成される各撮像部２の画像は、同時に撮影されるのが好ましいが、必ずしも同時に撮影されなくてもよい。また、合成画像５が生成される所定の時間間隔は、特に限定されないものであり、また、一定間隔でなくてもよい。

合成画像記憶部３３と移動体記憶部３７としては、ＥＥＰＲＯＭまたはフラッシュメモリ等の不揮発性メモリではなく、ハードディスク等の他の記憶手段であってもよい。

以上述べた第１実施形態〜第３実施形態および変形例から明らかなように、第１の態様の建物画像生成装置３は、画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、を備える。画像取得部３１は、建物１０の周囲を撮像する複数の撮像部２（２１〜２４）で撮像された複数の画像を複数の撮像画像５１〜５４として取得する。合成画像生成部３２は、画像取得部３１で取得された複数の撮像画像５１〜５４を合成して、仮想視点１５から見た合成画像５を生成する。合成画像記憶部３３は、合成画像生成部３２で生成された合成画像５を記憶する。移動体抽出部３４は、合成画像記憶部３３における、異なる時間に撮像された、複数の撮像画像５１〜５４からそれぞれがなる複数の合成画像５を比較して、複数の合成画像５中で位置が変化している移動体６を抽出する。移動体表示画像生成部３５は、移動体抽出部３４で抽出された移動体６の画像要素を複数の合成画像５の一つに合成して移動体表示画像７を生成する。

第１の態様によれば、移動体表示画像７が生成されることにより、建物１０の周囲の状況、特に、移動体６の建物１０の周囲における位置の把握がしやすい。

第２の態様では、第１の態様との組み合わせにより実現される。第２の態様の建物画像生成装置３は、移動体表示画像７を表示する画像表示部３６をさらに備える。

第２の態様によれば、建物画像生成装置３とは別に画像表示部を用意する必要がない。

第３の態様では、第１または第２の態様との組み合わせにより実現される。第３の態様の建物画像生成装置３は、移動体表示画像７を表示する画像表示端末９１へ移動体表示画像７を送信する画像送信部４０をさらに備える。

第３の態様によれば、建物画像生成装置３から離れた画像表示端末９１への移動体表示画像７の送信が可能となる。

第４の態様では、第１〜第３のいずれかの態様との組み合わせにより実現される。第４の態様の建物画像生成装置３は、移動体記憶部３７と、移動体軌跡画像生成部３８と、をさらに備える。移動体記憶部３７は、移動体抽出部３４で抽出された移動体６の画像要素を記憶する。移動体軌跡画像生成部３８は、移動体記憶部３７で記憶されている複数の画像要素から移動体６の軌跡８０を移動体表示画像７に合成して移動体軌跡画像８を生成する。

第４の態様によれば、移動体軌跡画像８により、移動体６の建物１０の周囲における軌跡８０の把握がしやすく、移動体６の移動先の予測がしやすい。

第５の態様では、第１〜第４のいずれかの態様との組み合わせにより実現される。第５の態様の建物画像生成装置３は、移動体抽出部３４で抽出された移動体６の大きさが所定の範囲にあるか否かを判定する大きさ判定部３９をさらに備える。建物画像生成装置３は、大きさ判定部３９により移動体６の前記大きさが前記所定の範囲にないと判定された場合には、移動体表示画像生成部３５での移動体表示画像７の生成を行わない。

第５の態様によれば、移動体６が侵入者等の特定の物体でない場合に移動体表示７０を表示せず、使用者に無用な情報を省くことができる。

第６の態様の建物画像表示システム１は、建物１０の周囲を撮像する複数の撮像部２と、建物画像生成装置３と、を備える。建物画像生成装置３は、画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、画像表示部３６と、を備える。画像取得部３１は、複数の撮像部２（２１〜２４）で撮像された複数の画像を複数の撮像画像５１〜５４として取得する。合成画像生成部３２は、画像取得部３１で取得された複数の撮像画像５１〜５４を合成して、仮想視点１５から見た合成画像５を生成する。合成画像記憶部３３は、合成画像生成部３２で生成された合成画像５を記憶する。移動体抽出部３４は、合成画像記憶部３３における、異なる時間に撮像された、複数の撮像５１〜５４から画像からそれぞれがなる複数の合成画像５を比較して、複数の合成画像５中で位置が変化している移動体６を抽出する。移動体表示画像生成部３５は、移動体抽出部３４で抽出された移動体６の画像要素を複数の合成画像５の一つに合成して移動体表示画像７を生成する。画像表示部３６は、移動体表示画像７を表示する。

第６の態様によれば、移動体表示画像７が生成されることにより、建物１０の周囲の状況、特に、移動体６の建物１０の周囲における位置の把握がしやすい。また、建物画像生成装置３とは別に画像表示部を用意する必要がない。

第７の態様の建物画像表示システム１は、建物１０の周囲を撮像する複数の撮像部２と、建物画像生成装置３と、建物画像生成装置３で生成された移動体表示画像７を表示する画像表示端末９１と、を備える。建物画像生成装置３は、画像取得部３１と、合成画像生成部３２と、合成画像記憶部３３と、移動体抽出部３４と、移動体表示画像生成部３５と、画像送信部４０と、を備える。画像取得部３１は、複数の撮像部２（２１〜２４）で撮像された複数の画像を複数の撮像画像５１〜５４として取得する。合成画像生成部３２は、画像取得部３１で取得された複数の撮像画像５１〜５４を合成して、仮想視点１５から見た合成画像５を生成する。合成画像記憶部３３は、合成画像生成部３２で生成された合成画像５を記憶する。移動体抽出部３４は、合成画像記憶部３３における、異なる時間に撮像された、複数の撮像画像５１〜５４からそれぞれがなる複数の合成画像５を比較して、複数の合成画像５中で位置が変化している移動体６を抽出する。移動体表示画像生成部３５は、移動体抽出部３４で抽出された移動体６の画像要素を複数の合成画像５の一つに合成して移動体表示画像７を生成する。画像送信部４０は、画像表示端末９１へ移動体表示画像７を送信する。

第７の態様によれば、移動体表示画像７が生成されることにより、建物１０の周囲の状況、特に、移動体６の建物１０の周囲における位置の把握がしやすい。また、建物画像生成装置３から離れた画像表示端末９１への移動体表示画像７の表示が可能となる。

第８の態様では、第６または第７の態様との組み合わせにより実現される。第８の態様の建物画像生成装置３は、移動体記憶部３７と、移動体軌跡画像生成部３８と、をさらに備える。移動体記憶部３７は、移動体抽出部３４で抽出された移動体６の画像要素を記憶する。移動体軌跡画像生成部３８は、移動体記憶部３７で記憶されている複数の画像要素から移動体６の軌跡８０を移動体表示画像７に合成して移動体軌跡画像８を生成する。

第８の態様によれば、移動体軌跡画像８により、移動体６の建物１０の周囲における軌跡８０の把握がしやすく、移動体６の移動先の予測がしやすい。

第９の態様では、第６〜第８のいずれかの態様との組み合わせにより実現される。第９の態様の建物画像生成装置３は、移動体抽出部３４で抽出された移動体６の大きさが所定の範囲にあるか否かを判定する大きさ判定部３９をさらに備える。建物画像生成装置３は、大きさ判定部３９により移動体６の前記大きさが前記所定の範囲にないと判定された場合には、移動体表示画像生成部３５での移動体表示画像７の生成を行わない。

第９の態様によれば、移動体６が侵入者等の特定の物体でない場合に移動体表示７０を表示せず、使用者に無用な情報を省くことができる。

１ 建物画像表示システム
１０ 建物
１５ 仮想視点
２ 撮像部
３ 建物画像生成装置
３０ 制御部
３１ 画像取得部
３２ 合成画像生成部
３３ 合成画像記憶部
３４ 移動体抽出部
３５ 移動体表示画像生成部
３６ 画像表示部
３７ 移動体記憶部
３８ 移動体軌跡画像生成部
３９ 大きさ判定部
４０ 画像送信部
５ 合成画像
５１〜５４ 画像
６ 移動体
７ 移動体表示画像
７０ 移動体表示
８ 移動体軌跡画像
８０ 移動体軌跡
９１ 画像表示端末

Claims (9)

1. 建物の周囲を撮像する複数の撮像部で撮像された複数の画像を複数の撮像画像として取得する画像取得部と、
   前記画像取得部で取得された前記複数の撮像画像を合成して、仮想視点から見た合成画像を生成する合成画像生成部と、
   前記合成画像生成部で生成された前記合成画像を記憶する合成画像記憶部と、
   前記合成画像記憶部における、異なる時間に撮像された、複数の撮像画像からそれぞれがなる複数の合成画像を比較して、前記複数の合成画像中で位置が変化している移動体を抽出する移動体抽出部と、
   前記移動体抽出部で抽出された前記移動体の画像要素を前記複数の合成画像の一つに合成して移動体表示画像を生成する移動体表示画像生成部と、
   を備えることを特徴とする建物画像生成装置。
2. 前記移動体表示画像を表示する画像表示部をさらに備えることを特徴とする請求項１記載の建物画像生成装置。
3. 前記移動体表示画像を表示する画像表示端末へ前記移動体表示画像を送信する画像送信部をさらに備えることを特徴とする請求項１または２記載の建物画像生成装置。
4. 前記移動体抽出部で抽出された前記移動体の前記画像要素を記憶する移動体記憶部と、
   前記移動体記憶部で記憶されている複数の前記画像要素から前記移動体の軌跡を前記移動体表示画像に合成して移動体軌跡画像を生成する移動体軌跡画像生成部と、
   をさらに備えることを特徴とする請求項１〜３のいずれか一項に記載の建物画像生成装置。
5. 前記移動体抽出部で抽出された前記移動体の大きさが所定の範囲にあるか否かを判定する大きさ判定部をさらに備え、
   前記大きさ判定部により前記移動体の前記大きさが前記所定の範囲にないと判定された場合には、前記移動体表示画像生成部での前記移動体表示画像の生成を行わないことを特徴とする請求項１〜４のいずれか一項に記載の建物画像生成装置。
6. 建物の周囲を撮像する複数の撮像部と、
   建物画像生成装置と、
   を備える建物画像表示システムであって、
   前記建物画像生成装置は、
   前記複数の撮像部で撮像された複数の画像を複数の撮像画像として取得する画像取得部と、
   前記画像取得部で取得された前記複数の撮像画像を合成して、仮想視点から見た合成画像を生成する合成画像生成部と、
   前記合成画像生成部で生成された前記合成画像を記憶する合成画像記憶部と、
   前記合成画像記憶部における、異なる時間に撮像された、複数の撮像画像からそれぞれがなる複数の合成画像を比較して、前記複数の合成画像中で位置が変化している移動体を抽出する移動体抽出部と、
   前記移動体抽出部で抽出された前記移動体の画像要素を前記複数の合成画像の一つに合成して移動体表示画像を生成する移動体表示画像生成部と、
   前記移動体表示画像を表示する画像表示部と、
   を備えることを特徴とする建物画像表示システム。
7. 建物の周囲を撮像する複数の撮像部と、
   建物画像生成装置と、
   前記建物画像生成装置で生成された移動体表示画像を表示する画像表示端末と、
   を備える建物画像表示システムであって、
   前記建物画像生成装置は、
   前記複数の撮像部で撮像された複数の画像を複数の撮像画像として取得する画像取得部と、
   前記画像取得部で取得された前記複数の撮像画像を合成して、仮想視点から見た合成画像を生成する合成画像生成部と、
   前記合成画像生成部で生成された前記合成画像を記憶する合成画像記憶部と、
   前記合成画像記憶部における、異なる時間に撮像された、複数の撮像画像からそれぞれがなる複数の合成画像を比較して、前記複数の合成画像中で位置が変化している移動体を抽出する移動体抽出部と、
   前記移動体抽出部で抽出された前記移動体の画像要素を前記複数の合成画像の一つに合成して移動体表示画像を生成する移動体表示画像生成部と、
   前記画像表示端末へ前記移動体表示画像を送信する画像送信部と、
   を備えることを特徴とする建物画像表示システム。
8. 前記建物画像生成装置は、
   前記移動体抽出部で抽出された前記移動体の前記画像要素を記憶する移動体記憶部と、
   前記移動体記憶部で記憶されている複数の前記画像要素から前記移動体の軌跡を前記移動体表示画像に合成して移動体軌跡画像を生成する移動体軌跡画像生成部と、
   をさらに備えることを特徴とする請求項６または７記載の建物画像表示システム。
9. 前記建物画像生成装置は、
   前記移動体抽出部で抽出された前記移動体の大きさが所定の範囲にあるか否かを判定する大きさ判定部をさらに備え、
   前記大きさ判定部により前記移動体の前記大きさが前記所定の範囲にないと判定された場合には、前記移動体表示画像生成部での前記移動体表示画像の生成を行わないことを特徴とする請求項６〜８のいずれか一項に記載の建物画像表示システム。

Images