JP6022123B1 - 画像生成システム及び画像生成方法 - Google Patents

Abstract

画像生成装置（１０）は、対象エリア（６０）が分割されたエリア（６２）毎に対応して設けられ、対応するエリア（６２）である対応エリアを撮像する複数の撮像装置（５０）が接続される。画像生成装置（１０）は、複数の撮像装置（５０）で撮像された撮像データ（７１）から対応エリアの俯瞰画像データを部分画像データ（７２）として生成する。画像統合装置（２０）は、表示エリア（６１）に入るエリア（６２）に対応して設けられた各画像生成装置（１０）に、対応エリアの部分画像データ（７２）として生成させ、部分画像データ（７２）を合成して、表示エリア（６１）の俯瞰画像データである統合画像データ（７３）を生成する。

Description

この発明は、対象エリアに設置された複数の撮像装置で撮像された撮像データから、対象エリア内の表示エリアの俯瞰画像を生成する技術に関する。

人物の混雑状況を監視する場合、様々な位置に設置された撮像装置で撮像された撮像データを切り替えながら状況を確認するよりも、真上から俯瞰した広い範囲の俯瞰画像データを確認した方が、全体の状況を直感的に判断することができる。

特許文献１には、列車からプラットホームへ降車する乗客と、プラットホームから列車へ乗車する乗客との状況を乗務員が監視するための、俯瞰画像データの表示技術が記載されている。特許文献１では、車両の乗降口上部に設置された複数の撮像データを俯瞰画像データに変換し、俯瞰画像データを合成して全車両の横側のパノラマ画像データをモニタ端末に表示している。

特開２０１２−００１１９１号公報

特許文献１では、撮像データから全車両の横側のパノラマ画像データを生成して乗務員室に設置されたモニタ端末に表示するものである。つまり、特許文献１は、表示エリアが固定された１つのパノラマ画像データを生成して１台のモニタ端末に表示するものである。そのため、特許文献１では、複数のモニタ端末それぞれから表示エリアが指定され、指定された表示エリアの俯瞰画像データを生成して、対応するモニタ端末に表示することは考えられていない。
特に、特許文献１では、撮像データと俯瞰変換を行う画像処理ＬＳＩの間のネットワークに関する詳細な記載はない。そのため、撮像装置の台数が鉄道車両に搭載される１０数台前後ではなく、数百台規模になった場合、その処理が画像処理ＬＳＩへ集中してしまう。その結果、俯瞰画像を高速に生成することは困難である。

この発明は、複数のモニタ端末それぞれから表示エリアが指定され、指定された表示エリアの俯瞰画像データを生成する場合にも、高速に表示エリアの俯瞰画像データを生成可能とすることを目的とする。

この発明に係る画像生成システムは、
対象エリアが分割されたエリア毎に対応して設けられた画像生成装置であって、対応するエリアである対応エリアを撮像する複数の撮像装置が接続され、接続された複数の撮像装置で撮像された撮像データから前記対応エリアの俯瞰画像データを生成する画像生成装置と、
表示を要求された表示エリアを少なくとも一部でも含むエリアに対応して設けられた各画像生成装置に、前記対応エリアの俯瞰画像データを部分画像データとして生成させ、生成された部分画像データを合成して、前記表示エリアの俯瞰画像データである統合画像データを生成する画像統合装置と
を備える。

この発明では、処理負荷の大きい俯瞰画像データの生成処理が複数の画像生成装置に分散されて実行される。そのため、複数のモニタ端末それぞれから表示エリアが指定され、指定された表示エリアの俯瞰画像データを生成する場合にも、高速に表示エリアの俯瞰画像データを生成することが可能である。

実施の形態１に係る画像生成システム１の構成図。 実施の形態１に係る画像生成装置１０の構成図。 実施の形態１に係る画像統合装置２０の構成図。 実施の形態１に係る配信装置３０の構成図。 実施の形態１に係る画像生成システム１の動作を示すフローチャート。 実施の形態１に係る画像生成システム１の動作の説明図。 パラメトリック変換処理の説明図。 エリア６２の説明図。 各部の機能がハードウェアで実現される場合の画像生成装置１０の構成図。 各部の機能がハードウェアで実現される場合の画像統合装置２０の構成図。 各部の機能がハードウェアで実現される場合の配信装置３０の構成図。 実施の形態２に係る画像統合装置２０の構成図。 実施の形態２に係るキャッシュテーブル２２１の説明図。 実施の形態２に係る履歴テーブル２２２の説明図。 実施の形態２に係る画像生成システム１の動作を示すフローチャート。 実施の形態２に係る画像生成システム１の動作を示すフローチャート。 スクロール方向の説明図。 未来のスクロール方向の予測方法の説明図。 解像度の指定方法の説明図。

実施の形態１．
＊＊＊概要の説明＊＊＊
図１を参照して、実施の形態１に係る画像生成システム１の概要を説明する。
画像生成システム１では、モニタ端末４０から対象エリア６０内のエリアが表示エリア６１として指定される。すると、表示エリア６１に含まれるエリア６２に対応する画像生成装置１０が、接続された撮像装置５０によって撮像された撮像データ７１から、対応するエリア６２の俯瞰画像データを部分画像データ７２として生成する。そして、画像統合装置２０が、部分画像データ７２を合成して、表示エリア６１全体の俯瞰画像データである統合画像データ７３を生成し、配信装置３０が統合画像データ７３をモニタ端末４０に配信する。

＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る画像生成システム１の構成を説明する。
画像生成システム１は、複数の画像生成装置１０と、画像統合装置２０と、配信装置３０と、複数のモニタ端末４０と、複数の撮像装置５０とを備える。図１では、画像生成システム１は、４台の画像生成装置１０Ａ〜１０Ｄを備えている。

各画像生成装置１０は、対象エリア６０が分割されたエリア６２毎に対応して設けられている。画像生成装置１０に対応するエリア６２を対応エリア６３と呼ぶ。実施の形態１では、画像生成装置１０Ａがエリア６２Ａに対応し、画像生成装置１０Ｂがエリア６２Ｂに対応し、画像生成装置１０Ｃがエリア６２Ｃに対応し、画像生成装置１０Ｄがエリア６２Ｄに対応している。したがって、画像生成装置１０Ａであれば、対応エリア６３はエリア６２Ａである。
各画像生成装置１０には、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のようなネットワーク、又は、専用インタフェースを介して複数の撮像装置５０が接続されている。実施の形態１では、各画像生成装置１０には、４台の撮像装置５０が専用インタフェースを介して接続されている。各画像生成装置１０に接続された撮像装置５０は、撮像する範囲がずらされており、接続された全ての撮像装置５０により撮像される範囲が対応するエリア６２を含むように配置されている。

各画像生成装置１０と画像統合装置２０とは、ＬＡＮのようなネットワークを介して接続されている。同様に、画像統合装置２０と配信装置３０とは、ＬＡＮのようなネットワークを介して接続されている。また、配信装置３０と各モニタ端末４０とは、無線ＬＡＮのようなネットワークを介して接続されている。

画像生成装置１０と画像統合装置２０と配信装置３０とは、コンピュータである。モニタ端末４０は、コンピュータ、又は、タブレット端末のような携帯端末である。撮像装置５０は、カメラである。

なお、配信装置３０は、必ずしも独立した装置でなくてもよく、画像統合装置２０が配信装置３０の機能を備えていてもよい。

図２を参照して、実施の形態１に係る画像生成装置１０の構成を説明する。
画像生成装置１０は、プロセッサ１１と、記憶装置１２と、通信装置１３と、カメラインタフェース１４とを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

画像生成装置１０は、機能構成として、要求受付部１１１と、部分画像生成部１１２と、部分画像送信部１１３とを備える。要求受付部１１１と、部分画像生成部１１２と、部分画像送信部１１３との各部の機能はソフトウェアにより実現される。
記憶装置１２には、画像生成装置１０の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１１に読み込まれ、プロセッサ１１によって実行される。これにより、画像生成装置１０の各部の機能が実現される。

図３を参照して、実施の形態１に係る画像統合装置２０の構成を説明する。
画像統合装置２０は、プロセッサ２１と、記憶装置２２と、通信装置２３とを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

画像統合装置２０は、機能構成として、エリア受付部２１１と、画像要求部２１２と、画像統合部２１３と、統合画像送信部２１４とを備える。エリア受付部２１１と、画像要求部２１２と、画像統合部２１３と、統合画像送信部２１４との各部の機能はソフトウェアにより実現される。
記憶装置２２には、画像統合装置２０の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ２１に読み込まれ、プロセッサ２１によって実行される。これにより、画像統合装置２０の各部の機能が実現される。

図４を参照して、実施の形態１に係る配信装置３０の構成を説明する。
配信装置３０は、プロセッサ３１と、記憶装置３２と、通信装置３３とを備える。プロセッサ３１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

配信装置３０は、機能構成として、画像配信部３１１を備える。画像配信部３１１の機能はソフトウェアにより実現される。
記憶装置３２には、画像配信部３１１の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ３１に読み込まれ、プロセッサ３１によって実行される。これにより、画像配信部３１１の機能が実現される。

プロセッサ１１，２１，３１は、プロセッシングを行うＩＣである。ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１，２１，３１は、具体的には、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＧＰＵは、ＳＩＭＤ型プロセッサ、専用演算プロセッサといった回路により構成される。ＳＩＭＤは、Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａの略である。
記憶装置１２，２２，３２は、具体的には、ＲＡＭ及びＨＤＤである。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。記憶装置は、ＲＯＭ及びフラッシュメモリといった他のハードウェアで構成されてもよい。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。
通信装置１３，２３，３３は、データを受信するレシーバー及びデータを送信するトランスミッターを含む装置である。通信装置１３，２３，３３は、具体的には、通信チップ又はＮＩＣである。ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略である。
カメラインタフェース１４は、撮像装置５０が接続されるポートである。カメラインタフェース１４は、具体的には、ＩＥＥＥ１３９４、ミニＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）である。

プロセッサ１１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置１２、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ１１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置１２に記憶されるものとして説明する。
同様に、プロセッサ２１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置２２、又は、プロセッサ２１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ２１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置２２に記憶されるものとして説明する。
同様に、プロセッサ３１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置３２、又は、プロセッサ３１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ３１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置３２に記憶されるものとして説明する。

プロセッサ１１，２１，３１によって実現される各機能を実現するプログラムは、記憶装置１２，２２，３２に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体に記憶されてもよい。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。同様に、図３、図４では、プロセッサ２１，３１は、１つだけ示されていた。しかし、プロセッサ２１，３１は、複数であってもよく、複数のプロセッサ２１，３１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図５を参照して、実施の形態１に係る画像生成システム１の動作を説明する。
実施の形態１に係る画像生成システム１の動作は、実施の形態１に係る画像生成方法に相当する。また、実施の形態１に係る画像生成システム１の動作は、実施の形態１に係る画像生成プログラムの処理に相当する。

ステップＳ１１のエリア受付処理では、画像統合装置２０のエリア受付部２１１は、いずれかのモニタ端末４０から表示エリア６１を示す画像要求８１を受け付ける。
具体的には、エリア受付部２１１は、通信装置２３を介して、いずれかのモニタ端末４０から表示エリア６１を示す画像要求８１をリクエストとして受信する。そして、エリア受付部２１１は、受信した画像要求８１を記憶装置２２に書き込む。
実施の形態１では、表示エリア６１は、矩形領域であるとする。そして、表示エリア６１は、基準点を原点とした場合の左上の角の座標と、縦の辺及び横の辺の長さとで示されるものとする。なお、表示エリア６１は、矩形領域でなく、円形領域、楕円形領域といった他の形状の領域でもよい。また、表示エリア６１は、矩形領域である場合に左上の角の座標と右下の角の座標とで示されるというように、他の方法により示されてもよい。

ステップＳ１２のエリア特定処理では、画像要求部２１２は、ステップＳ１１で受け付けた画像要求８１が示す表示エリア６１を少なくとも一部でも含むエリア６２を特定エリア６４として特定する。
図６を参照して、具体的に説明する。画像要求部２１２は、ステップＳ１１で書き込まれた画像要求８１を記憶装置２２から読み出す。画像要求部２１２は、各エリア６２の座標と、画像要求８１が示す表示エリア６１とから、表示エリア６１を少なくとも一部でも含むエリア６２を特定エリア６４として特定する。表示エリア６１を少なくとも一部でも含むエリア６２は、各エリア６２の４隅の座標と表示エリア６１とを比較することにより、特定することできる。そして、画像要求部２１２は、特定した特定エリア６４を記憶装置２２に書き込む。
図６では、破線で囲まれた領域が表示エリア６１である。この場合、破線で囲まれた領域に一部でも含まれるエリア６２Ｊ，６２Ｋ，６２Ｎ，６２Ｏが特定エリア６４として特定される。

ステップＳ１３の画像要求処理では、画像要求部２１２は、ステップＳ１２で特定された特定エリア６４に対応して設けられた各画像生成装置１０に、対応エリア６３の俯瞰画像データの生成を要求する生成要求８２を送信する。
具体的には、画像要求部２１２は、ステップＳ１２で書き込まれた特定エリア６４を記憶装置２２から読み出す。画像要求部２１２は、特定エリア６４を対応エリア６３とする画像生成装置１０を特定する。なお、どのエリア６２がどの画像生成装置１０の対応エリア６３であるかは、予め記憶装置２２に記憶されているものとする。画像要求部２１２は、特定した各画像生成装置１０に、その画像生成装置１０の対応エリア６３の俯瞰画像データの生成を要求する生成要求８２を、通信装置２３を介してリクエストとして送信する。
図６では、特定エリア６４は、エリア６２Ｊ，６２Ｋ，６２Ｎ，６２Ｏである。エリア６２Ｊ，６２Ｋ，６２Ｎ，６２Ｏのそれぞれを対応エリア６３とする４つの画像生成装置１０に、対応エリア６３の俯瞰画像データの生成を要求する。

ステップＳ１４の要求受付処理では、画像生成装置１０の要求受付部１１１は、ステップＳ１３で送信された生成要求８２を受け付ける。
具体的には、要求受付部１１１は、通信装置１３を介して、生成要求８２をリクエストとして受信する。そして、要求受付部１１１は、受信した生成要求８２を記憶装置１２に書き込む。

ステップＳ１５の部分画像生成処理では、部分画像生成部１１２は、ステップＳ１３で受け付けられた生成要求８２が要求に従い、対応エリア６３の俯瞰画像データを部分画像データ７２として生成する。
具体的には、部分画像生成部１１２は、ステップＳ１４で書き込まれた生成要求８２を記憶装置１２から読み出す。部分画像生成部１１２は、生成要求８２を読み出すと、各撮像装置５０から撮像データ７１を取得する。部分画像生成部１１２は、各撮像データ７１について、俯瞰変換を行った上で、合成して部分画像データ７２を生成する。そして、部分画像生成部１１２は、生成した部分画像データ７２を記憶装置１２に書き込む。
俯瞰変換の処理は、画像の歪み補正処理と、パラメトリック変換処理とからなり、画像の視点を上方にずらす処理である。画像の歪み補正処理は、レンズの特性から由来する歪みを補正するものでる。歪みを補正するための演算パラメータは、撮像装置５０のレンズ仕様に依存するものであり、予め記憶装置１２に記憶されているものとする。但し、レンズの個体差が大きい場合は、個別の補正が必要な場合もある。パラメトリック変換処理は、図７に示す平面射影行列Ｈを使用して、歪み補正後の画像の点ｉから俯瞰画像の点ｊを生成する。平面射影行列Ｈは、４点の特徴点の座標から算出可能であり、予め算出され記憶装置１２に記憶されているものとする。平面射影行列Ｈは、具体的には、撮像装置５０を設置するときに、撮像範囲にチェッカーボードを設置して撮像し、撮像された画像データの歪みを計測することで算出することができる。
俯瞰変換された俯瞰画像データを合成する処理では、撮像データ７１同士の重なり部分は、距離パラメータを重みとしてブレンディング処理を行うことにより、切れ目のない、あたかも１つの撮像装置５０で撮影された画像にすることができる。

ステップＳ１６の部分画像送信処理では、部分画像送信部１１３は、ステップＳ１５で生成された部分画像データ７２を、画像統合装置２０に送信する。
具体的には、部分画像送信部１１３は、ステップＳ１５で書き込まれた部分画像データ７２を記憶装置１２から読み出す。そして、部分画像送信部１１３は、部分画像データ７２を、通信装置１３を介して画像統合装置２０に送信する。

ステップＳ１７の画像統合処理では、画像統合装置２０の画像統合部２１３は、ステップＳ１６で各画像生成装置１０から送信された部分画像データ７２を取得する。そして、画像統合部２１３は、取得した各部分画像データ７２を合成して、表示エリア６１の俯瞰画像データである統合画像データ７３を生成する。
具体的には、画像統合部２１３は、ステップＳ１６で各画像生成装置１０から送信された部分画像データ７２を、通信装置２３を介して受信する。そして、画像統合部２１３は、各部分画像データ７２の重なり部分を、距離パラメータを重みとしてブレンディング処理を行うことにより合成して、統合画像データ７３を生成する。画像統合部２１３は、生成した統合画像データ７３を記憶装置２２に書き込む。

ステップＳ１８の統合画像送信処理では、統合画像送信部２１４は、ステップＳ１７で生成された統合画像データ７３を配信装置３０に送信する。
具体的には、統合画像送信部２１４は、ステップＳ１７で書き込まれた統合画像データ７３を記憶装置２２から読み出す。そして、統合画像送信部２１４は、統合画像データ７３から表示エリア６１の部分の画像データを切り出して、通信装置２３を介して配信装置３０に送信する。この際、ステップＳ１１で画像要求８１を送信した送信元のモニタ端末４０の識別情報を合わせて配信装置３０に送信する。

ステップＳ１９の画像配信処理では、配信装置３０の画像配信部３１１は、ステップＳ１８で送信された統合画像データ７３を、画像要求８１の送信元のモニタ端末４０に配信する。
具体的には、画像配信部３１１は、ステップＳ１８で送信された統合画像データ７３を、画像要求８１の送信元のモニタ端末４０の識別情報とともに受信する。そして、画像配信部３１１は、受信した統合画像データ７３を、識別情報に対応する宛先に対して送信する。

これにより、画像要求８１の送信元のモニタ端末４０は、表示エリア６１の俯瞰画像データである統合画像データ７３を取得する。そして、モニタ端末４０は、取得した統合画像データ７３を表示装置に表示する。

図５に示す動作は、各モニタ端末４０から画像要求８１が送信される度に実行される。あるモニタ端末４０についての処理中に、他のモニタ端末４０から画像要求８１が送信された場合には、画像生成装置１０及び画像統合装置２０は時分割で処理を行う。

ステップＳ１５からステップＳ１９の処理は、同じモニタ端末４０から新たな画像要求８１が送信されるまで、あるいは、モニタ端末４０から停止の指示があるまで繰り返し実行されてもよい。つまり、一旦モニタ端末４０から画像要求８１が送信されると、その画像要求８１が示す表示エリア６１の俯瞰画像データが順次更新されて配信されてもよい。これにより、モニタ端末４０に表示エリア６１の連続した俯瞰画像データを表示することができる。

ステップＳ１８又はステップ１９では、画像配信部３１１は、ネットワークのトラフィックを小さくするために、統合画像データ７３を圧縮して配信してもよい。圧縮に使用するフォーマットは、モーションＪＰＥＧのような連続した静止画としてもよいし、ＭＰＥＧ／Ｈ．２６４のような圧縮された動画としてもよい。

図６では、各エリア６２が矩形であり、各エリア６２がタイル状に配置されていた。しかし、現実には、エリア６２の形状は、柱及び壁といった障害物と、撮像装置５０のレンズの画角及び向き及び設置高により決まる撮像範囲との影響を受ける。そのため、エリア６２の形状は矩形にならず、各エリア６２が綺麗なタイル状に配置されるとは限らない。
図８を参照して、エリア６２の形状は矩形にならず、各エリア６２が綺麗なタイル状に配置されない場合を説明する。図８では、撮像装置５０Ａが撮像範囲６５Ａを撮像し、撮像装置５０Ｂが撮像範囲６５Ｂを撮像し、撮像装置５０Ｃが撮像範囲６５Ｃを撮像し、撮像装置５０Ｄが撮像範囲６５Ｄを撮像する。撮像装置５０Ａ〜５０Ｄが接続された画像生成装置１０の対応エリア６３を矩形にするのであれば、エリアＸが対応エリア６３になる。しかし、現実には、柱６６Ａ〜６６Ｃと、壁６７Ａ，６７Ｂとの範囲は、撮像できない。したがって、撮像装置５０Ａ〜５０Ｄが接続された画像生成装置１０の対応エリア６３は、エリアＸから柱６６Ａ〜６６Ｃと、壁６７Ａ，６７Ｂとの範囲を除外した範囲となる。

エリア６２の形状は矩形にならず、各エリア６２が綺麗なタイル状に配置されない場合には、事前に図８に示すような各エリア６２を示す２次元マップが作成される。そして、画像要求部２１２は、２次元マップと表示エリア６１とを比較することにより、表示エリア６１に含まれるエリア６２を特定する。
２次元マップは、カメラ設置シミュレータのような装置によって生成されるマップである。カメラ設置シミュレータは、シミュレーションにより最適なカメラ配置を決定する装置である。カメラ設置シミュレータは、レンズの画角情報に基づき、できるだけ少ないカメラ台数で全領域をカバーする最適なカメラ配置を求め、各カメラの撮影範囲の情報とともに出力する。ここで、カメラ配置は、カメラの位置、向き、設置高を含む。２次元マップの構成要素は、柱及び壁の数値的な位置情報であってもよいし、縮尺度の荒い点群情報でもよい。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る画像生成システム１では、モニタ端末４０から要求がある度に、対象エリア６０全体の俯瞰画像データを生成する必要はなく、モニタ端末４０から要求された表示エリア６１の俯瞰画像データだけを生成する。これにより、俯瞰画像データを生成する処理負荷を低くすることができる。

特に、実施の形態１に係る画像生成システム１では、処理負荷の大きい俯瞰画像データの生成処理が複数の画像生成装置１０に分散されて実行される。そのため、複数のモニタ端末４０それぞれから表示エリア６１が指定され、指定された表示エリア６１の俯瞰画像データである統合画像データ７３を生成する場合にも、高速に表示エリア６１の統合画像データ７３を生成することが可能である。

実施の形態１に係る画像生成システム１は、対象エリア６０における各地点の混雑状況を判断する際に利用できる。従来では、監視カメラで撮像された画像データを切り替えながら混雑状況を判断していたが、実施の形態１に係る画像生成システム１を用いることにより、混雑状況を判断したい場所を指定すれば、その場所の俯瞰画像データが速やかに得られる。そのため、従来に比べ容易かつ速やかに混雑状況を判断できる。

＊＊＊他の構成＊＊＊
実施の形態１では、画像生成装置１０と画像統合装置２０と配信装置３０との各機能がソフトウェアで実現された。しかし、変形例として、画像生成装置１０と画像統合装置２０と配信装置３０との各機能はハードウェアで実現されてもよい。この変形例について、実施の形態１と異なる点を説明する。

図９は、各部の機能がハードウェアで実現される場合の画像生成装置１０の構成図である。
各部の機能がハードウェアで実現される場合、画像生成装置１０は、通信装置１３と、カメラインタフェース１４と、処理回路１５とを備える。処理回路１５は、画像生成装置１０の各部の機能及び記憶装置１２の機能を実現する専用の電子回路である。

図１０は、各部の機能がハードウェアで実現される場合の画像統合装置２０の構成図である。
各部の機能がハードウェアで実現される場合、画像統合装置２０は、通信装置２３と、処理回路２４とを備える。処理回路２４は、画像統合装置２０の各部の機能及び記憶装置２２の機能を実現する専用の電子回路である。

図１１は、各部の機能がハードウェアで実現される場合の配信装置３０の構成図である。
各部の機能がハードウェアで実現される場合、配信装置３０は、通信装置３３と、処理回路３４とを備える。処理回路３４は、画像配信部３１１の機能及び記憶装置３２の機能を実現する専用の電子回路である。

処理回路１５，２４，３４は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各部の機能を１つの処理回路１５，２４，３４で実現してもよいし、各部の機能を複数の処理回路１５，２４，３４に分散させて実現してもよい。

また、別の変形例として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、画像生成装置１０の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。画像統合装置２０についても、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。

プロセッサ１１，２１，３１と記憶装置１２，２２，３２と処理回路１５，２４，３４とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。すなわち、画像生成装置１０が図２及び図９のいずれに示した構成であっても、各部の機能はプロセッシングサーキットリーにより実現される。同様に、画像統合装置２０が図３及び図１０のいずれに示した構成であっても、各部の機能はプロセッシングサーキットリーにより実現される。同様に、配信装置３０が図４及び図１１のいずれに示した構成であっても、画像配信部３１１の機能はプロセッシングサーキットリーにより実現される。

実施の形態２．
実施の形態２は、未来に表示エリア６１となるエリアを予測し、表示エリア６１として指定される前に、予測したエリアの俯瞰画像データを生成しておく点が実施の形態１と異なる。実施の形態２では、この異なる部分を説明する。
実施の形態２では、表示エリア６１がスクロールされて、表示エリア６１が指定しなおされた場合について説明する。

＊＊＊構成の説明＊＊＊
図１２を参照して、実施の形態２に係る画像統合装置２０の構成を説明する。
画像統合装置２０は、図３に示す機能構成に加え、予測部２１５を備える。予測部２１５の機能は、他の機能と同様に、ソフトウェアにより実現される。
また、記憶装置２２には、キャッシュテーブル２２１と、履歴テーブル２２２とが記憶される。

図１３に示すように、キャッシュテーブル２２１は、モニタ端末４０及び表示エリア６１に対応付けて、統合画像データ７３を、その統合画像データ７３が生成された時刻とともに記憶したテーブルである。

図１４に示すように、履歴テーブル２２２は、表示エリア６１の左上の角の座標と、スクロールの角度及び距離とを記憶したテーブルである。
履歴テーブル２２２では、時刻Ｔ−ｎから時刻Ｔ−（ｎ−１）へのスクロールの角度及び距離が、時刻Ｔ−ｎの欄に記憶される。そのため、最新の表示エリア６１について記憶された時刻Ｔの欄には、スクロールの角度及び距離は記憶されておらず、表示エリア６１の左上の角の座標だけが記憶されている。

画像生成システム１の構成と、画像生成装置１０の構成と、配信装置３０の構成とは、実施の形態１と同じである。

＊＊＊動作の説明＊＊＊
図１５及び図１６を参照して、実施の形態２に係る画像生成システム１の動作を説明する。
実施の形態２に係る画像生成システム１の動作は、実施の形態２に係る画像生成方法に相当する。また、実施の形態２に係る画像生成システム１の動作は、実施の形態２に係る画像生成プログラムの処理に相当する。

実施の形態２では、初期に指定された表示エリア６１からスクロールされて、新たな表示エリア６１が指定しなおされるものとする。

ステップＳ２１の処理は、図５に示すステップＳ１１の処理と同じである。

ステップＳ２２のキャッシュ判定処理では、画像要求部２１２は、ステップＳ２１で受け付けた表示エリア６１の俯瞰画像データである統合画像データ７３が記憶装置２２のキャッシュテーブル２２１に記憶されているか否かを判定する。
具体的には、画像要求部２１２は、ステップＳ２１で書き込まれた画像要求８１を記憶装置２２から読み出す。画像要求部２１２は、画像要求８１の送信元のモニタ端末４０と、画像要求８１が示す表示エリア６１とでキャッシュテーブル２２１を検索して、ヒットすればその統合画像データ７３がキャッシュテーブル２２１に記憶されていると判定し、ヒットしなければ記憶されていないと判定する。
画像要求部２１２は、統合画像データ７３がキャッシュテーブル２２１に記憶されていない場合、処理をステップＳ２３に進める。一方、画像要求部２１２は、統合画像データ７３がキャッシュテーブル２２１に記憶されている場合、処理をステップＳ２９に進める。

ステップＳ２３からステップＳ２７の処理は、図５に示すステップＳ１２からステップＳ１６までの処理と同じである。

ステップＳ２８の画像統合処理では、画像統合部２１３は、各画像生成装置１０から送信された部分画像データ７２を合成して、統合画像データ７３を生成する。画像統合部２１３は、生成した統合画像データ７３を送信元のモニタ端末４０と、画像要求８１が示す表示エリア６１とに対応付けて、キャッシュテーブル２２１に書き込む。

ステップＳ２９の統合画像送信処理では、統合画像送信部２１４は、ステップＳ２８で生成された統合画像データ７３、又は、キャッシュテーブル２２１に記憶された統合画像データ７３を配信装置３０に送信する。
具体的には、統合画像送信部２１４は、ステップＳ２２で統合画像データ７３がキャッシュテーブル２２１に記憶されていないと判定された場合、ステップＳ２８で書き込まれた統合画像データ７３を記憶装置２２から読み出す。一方、統合画像送信部２１４は、ステップＳ２２で統合画像データ７３がキャッシュテーブル２２１に記憶されていると判定された場合、キャッシュテーブル２２１から統合画像データ７３を読み出す。そして、統合画像送信部２１４は、統合画像データ７３から表示エリア６１の部分の画像データを切り出して、通信装置２３を介して配信装置３０に送信する。

ステップＳ３０の処理は、図５に示すステップＳ１８からステップＳ１９の処理と同じである。

ステップＳ３１の履歴記憶処理では、予測部２１５は、ステップＳ２１で受け付けられた画像要求８１を取得して、画像要求８１が示す表示エリア６１に基づき、履歴テーブル２２２を更新する。
具体的には、予測部２１５は、履歴テーブル２２２における、送信元のモニタ端末４０に対応する行に格納された情報を、１つずつ右の欄にずらす。つまり、図１４では、送信元のモニタ端末４０が端末番号Ｂの場合には、時刻Ｔ−２の欄に格納された情報が時刻Ｔ−３の欄に移動され、時刻Ｔ−１の欄に格納された情報が時刻Ｔ−２の欄に移動され、時刻Ｔの欄に格納された情報が時刻Ｔ−１の欄に移動される。そして、予測部２１５は、画像要求８１が示す表示エリア６１の左上の座標を時刻Ｔの欄に書き込む。また、予測部２１５は、表示エリア６１の左上の座標と、時刻Ｔ−１の欄に格納された座標とから、スクロールの角度及び距離を計算して、時刻Ｔ−１の欄に書き込む。

ステップＳ３２の予測処理では、予測部２１５は、履歴テーブル２２２に記憶されたスクロールの角度及び距離から、未来に表示エリア６１となる位置を予測エリア６８として予測する。
図１７及び図１８を参照して具体的に説明する。スクロールして表示エリア６１が指定しなおされる場合、過去のスクロールと同じ方向にスクロールして新たな表示エリア６１が指定される可能性が高い。図１７では、表示エリア６１Ａが指定されている場合に、スクロールされ表示エリア６１Ｂが指定しなおされたとする。この場合、その後、表示エリア６１Ｃ辺りが指定される可能性が高い。そこで、予測部２１５は、過去のスクロールの角度及び距離を平均化して次のスクロール方向を予測し、次のスクロール方向における予め定められた範囲を予測エリア６８として予測する。図１８では、時刻Ｔ−１の表示エリア６１から時刻Ｔの表示エリア６１へのスクロールの角度θａ及び距離Ｌａと、時刻Ｔ−２の表示エリア６１から時刻Ｔ−１の表示エリア６１へのスクロールの角度θｂ及び距離Ｌｂとが用いられている。そして、図１８では、（θａＬａ＋θｂＬｂ）／（Ｌａ＋Ｌｂ）によって未来のスクロール方向Ｄが予測される。

ステップＳ３３の予測エリア特定処理では、画像要求部２１２は、ステップＳ３２で予測された予測エリア６８を少なくとも一部でも含むエリア６２を特定エリア６４として特定する。予測エリア６８を少なくとも一部でも含むエリア６２の特定方法は、ステップＳ２３で表示エリア６１を少なくとも一部でも含むエリア６２を特定する方法と同じである。

ステップＳ３４の予測画像要求処理では、画像要求部２１２は、ステップＳ３３で特定された特定エリア６４に対応して設けられた各画像生成装置１０に、対応エリア６３の俯瞰画像データの生成を要求する生成要求８２を送信する。

ステップＳ３５からステップＳ３８の処理は、ステップＳ２５からステップＳ２８の処理と同じである。

ステップＳ３２において、図１８では、過去２回のスクロールから次のスクロールを予測して、予測エリア６８を予測した。しかし、過去何回のスクロールを用いて予測するかは、２回に限らず他の回数でもよい。
過去何回のスクロールを用いて予測するかは、スクロールの頻度に応じて定められてもよい。具体的には、スクロールの頻度が多いほど、多い回数のスクロールを用いて予測してもよい。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る画像生成システム１では、未来に表示エリア６１となるエリアを予測し、表示エリア６１として指定される前に、予測したエリアの俯瞰画像データを統合画像データ７３として生成しておく。そして、表示エリア６１が指定された場合に、既に統合画像データ７３を生成されている場合には、その統合画像データ７３を読み出して、モニタ端末４０に配信する。そのため、短時間で統合画像データ７３をモニタ端末４０に配信することが可能である。

＊＊＊他の構成＊＊＊
実施の形態２では、実施の形態１と同様に、画像生成装置１０と画像統合装置２０と配信装置３０との各機能がソフトウェアで実現されたが、画像生成装置１０と画像統合装置２０と配信装置３０との各機能はハードウェアで実現されてもよい。また、画像生成装置１０と画像統合装置２０と配信装置３０との各機能は、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。

実施の形態３．
実施の形態３は、表示エリア６１の大きさに応じた解像度で統合画像データ７３が生成される点が実施の形態１，２と異なる。実施の形態３では、この異なる点について説明する。

＊＊＊構成の説明＊＊＊
画像生成システム１の構成と、画像生成装置１０の構成と、画像統合装置２０の構成と、配信装置３０の構成とは、実施の形態２と同じである。なお、実施の形態３では、実施の形態２と同じとするが、実施の形態１と同じであってもよい。

＊＊＊動作の説明＊＊＊
図１５を参照して、実施の形態３に係る画像生成システム１の動作を説明する。
実施の形態３に係る画像生成システム１の動作は、実施の形態３に係る画像生成方法に相当する。また、実施の形態３に係る画像生成システム１の動作は、実施の形態３に係る画像生成プログラムの処理に相当する。

ステップＳ２１からステップＳ２３と、ステップＳ２５と、ステップＳ２７からステップＳ３３との処理は、実施の形態２と同じである。

図１５のステップＳ２４では、画像要求部２１２は、ステップＳ１１で受け付けた画像要求８１が示す表示エリア６１の大きさに応じた解像度で俯瞰画像データの生成を要求する生成要求８２を送信する。具体的には、画像要求部２１２は、表示エリア６１が大きいほど、低い解像度を指定した生成要求８２を送信する。
図１９では、モニタ端末４０Ａから指定された表示エリア６１Ａが一番大きく、モニタ端末４０Ｂから指定された表示エリア６１Ｂが次に大きく、モニタ端末４０Ｃから指定された表示エリア６１Ｃが一番小さい。そのため、表示エリア６１Ａについては、最も低い解像度が指定され、表示エリア６１Ｂについては次に低い解像度が指定され、表示エリア６１Ｃについては最も高い解像度が指定される。

ステップＳ２６では、部分画像生成部１１２は、生成要求８２で指定された解像度で、対応エリア６３の俯瞰画像データを部分画像データ７２として生成する。
具体的には、部分画像生成部１１２は、生成要求８２で指定された解像度に応じて、撮像データ７１から画素データを間引く。つまり、部分画像生成部１１２は、解像度が低いほど多くの画素データを間引く。そして、部分画像生成部１１２は、画素データを間引いた撮像データ７１から部分画像データ７２を生成する。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る画像生成システム１では、表示エリア６１が大きい場合には、解像度を落とした部分画像データ７２を生成する。そのため、部分画像データ７２及び統合画像データ７３の生成処理の負荷を低くすることができる。

１ 画像生成システム、１０ 画像生成装置、１１ プロセッサ、１２ 記憶装置、１３ 通信装置、１４ カメラインタフェース、１５ 処理回路、１１１ 要求受付部、１１２ 部分画像生成部、１１３ 部分画像送信部、２０ 画像統合装置、２１ プロセッサ、２２ 記憶装置、２３ 通信装置、２４ 処理回路、２１１ エリア受付部、画像要求部、２１３ 画像統合部、２１４ 統合画像送信部、２１５ 予測部、２２１ キャッシュテーブル、２２２ 履歴テーブル、３０ 配信装置、３１ プロセッサ、３２ 記憶装置、３３ 通信装置、３４ 処理回路、３１１ 画像配信部、４０ モニタ端末、５０ 撮像装置、６０ 対象エリア、６１ 表示エリア、６２ エリア、６３ 対応エリア、６４ 特定エリア、６５ 撮像範囲、６６ 柱、６７ 壁、６８ 予測エリア、７１ 撮像データ、７２ 部分画像データ、７３ 統合画像データ。

Claims (3)

1. 対象エリアが分割されたエリア毎に対応して設けられた画像生成装置であって、対応するエリアである対応エリアを撮像する複数の撮像装置が接続され、接続された複数の撮像装置で撮像された撮像データから前記対応エリアの俯瞰画像データを生成する画像生成装置と、
   表示を要求された表示エリアがスクロールされて前記表示エリアが指定しなおされた場合、前記スクロールされた角度及び距離から未来にスクロールされる方向を予測することにより、未来に前記表示エリアとなる位置を予測エリアとして予測し、前記表示エリアとして指定される前に、前記予測エリアを少なくとも一部でも含むエリアに対応して設けられた各画像生成装置に、前記対応エリアの俯瞰画像データを部分画像データとして生成させ、生成された部分画像データを合成して、前記表示エリアの俯瞰画像データである統合画像データを生成する画像統合装置と
   を備える画像生成システム。
2. 前記画像統合装置は、過去にスクロールされた角度と距離との積の和を、距離の和で除して、未来にスクロールされる方向を予測する
   請求項１に記載の画像生成システム。
3. 画像統合装置が、表示を要求された表示エリアがスクロールされて前記表示エリアが指定しなおされた場合、前記スクロールされた角度及び距離から未来にスクロールされる方向を予測することにより、未来に前記表示エリアとなる位置を予測エリアとして予測し、
   画像統合装置が、前記表示エリアとして指定される前に、対象エリアが分割されたエリア毎に対応して設けられた画像生成装置のうち、前記予測エリアを少なくとも一部でも含むエリアに対応して設けられた各画像生成装置に、対応するエリアである対応エリアを撮像する複数の撮像装置で撮像された撮像データから前記対応エリアの俯瞰画像データを部分画像データとして生成させ、
   画像統合装置が、生成された部分画像データを合成して、前記表示エリアの俯瞰画像データである統合画像データを生成する
   画像生成方法。

Images