JP7195659B1 - 動画生成装置、動画生成方法、プログラム、動画生成システム - Google Patents

Abstract

【課題】観察対象の時間経過に応じた状態の遷移を観察するためにさらに視覚的にその状態の遷移を確認しやすい仕組みを提供する。【解決手段】異なる時刻に撮影された観察対象の画像を複数取得する。画像に含まれる観察対象の複数位置の座標情報を取得し、異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、観察対象の状態変化の遷移動画を生成する。【選択図】図１

Description

本発明は、動画生成装置、動画生成方法、プログラム、動画生成システムに関する。

地形、構造物、樹木などの観察対象の調査のために、上空及び地上からそれら観察対象を撮影して、観察対象の状態の時間経過に応じた遷移を観察することが多く行われている。この技術に関連し、特許文献１には、地殻変動に基づいて変動する変位点の座標を算出する技術が開示されている。また特許文献１では、管理対象の最新の座標と当該座標の移動方向ベクトルを示す変位情報を算出する技術が開示されている。

特許第６５２８２９３号公報

上述のような観察対象の時間経過に応じた状態の遷移を観察するためにさらに視覚的にその状態の遷移を確認しやすい技術が求められている。

そこでこの発明は、上述の課題を解決する動画生成装置、動画生成方法、プログラム、動画生成システムを提供することを目的としている。

本発明の第１の態様によれば、動画生成装置は、異なる時刻に撮影された観察対象の画像を複数取得する画像取得部と、前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理部と、前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成部と、前記遷移動画を出力する出力部と、を備える。

本発明の第２の態様によれば、動画生成方法は、異なる時刻に撮影された観察対象の画像を複数取得し、前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出し、前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成し、前記遷移動画を出力する。

本発明の第３の態様によれば、プログラムは、動画生成装置のコンピュータを、異なる時刻に撮影された観察対象の画像を複数取得する画像取得手段、前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理手段、前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成手段、として機能させる。

本発明によれば、観察対象の時間経過に応じた状態の遷移を観察するためにさらに視覚的にその状態の遷移を確認しやすい仕組みを提供することができる。

本実施形態による動画生成システムの構成を示す図である。 本実施形態による動画生成装置のハードウェア構成を示す図である。 本実施形態による動画生成装置の機能ブロック図である。 本実施形態による動画生成装置の処理フローを示す第一の図である。 本実施形態による動画生成装置の処理フローを示す第二の図である。 本実施形態による特定電子基準点の補正処理の処理フローを示す図である。 本実施形態による電子基準点の推定処理の概要を示す図である。 本実施形態による再計算対象点の最新の緯度経度の算出処理フローを示す図である。 本実施形態による再計算対象点の算出処理の概要を示す図である。 本実施形態による動画生成装置の出力例を示す第一の図である。 本実施形態による動画生成装置の出力例を示す第二の図である。 本実施形態による動画生成装置の出力例を示す第三の図である。 本実施形態による動画生成装置の出力例を示す第四の図である。 本実施形態による動画生成装置の最小構成を示す図である。

以下、図面を参照して本実施形態による動画生成装置を説明する。
図１は本実施形態による動画生成システムの構成を示す図である。
この図で示すように、動画生成システム１００は、動画生成装置１と、ＧＮＳＳアンテナ２と、撮影装置３とを含んで構成される。動画生成装置１は情報処理装置の一例である。管理者は、ＧＮＳＳアンテナ２を地表に設置する。ＧＮＳＳアンテナ２は、複数のＧＮＳＳ（global navigation satellite system）衛星から受信した衛星測位信号を受信してＧＮＳＳアンテナ２の設置されている座標を算出する位置センサを少なくとも備えた位置測位装置の一例である。ＧＮＳＳアンテナ２は地表や地物（ビルやその他構造物）などの観察対象の所望の位置に複数設置されている。ＧＮＳＳアンテナ２は、算出した自装置の座標と自装置のＩＤと、座標の算出時刻とを少なくとも含む位置情報（地点データ）を、所定の間隔で、通信ネットワーク等で接続された動画生成装置１へ送信する。撮影装置３はカメラを搭載したドローン３１や航空機３２、地上レーザスキャナ３３、人工衛星などであってもよい。なお地上レーザスキャナ３３はＧＮＳＳアンテナ２の機能を備えており、自装置が位置する座標（緯度、経度、高度）を検知できてよい。

撮影装置３は、ＧＮＳＳアンテナ２が設置された観察対象を撮影する。撮影装置３はその撮影により生成した画像を動画生成装置１へ送信する。撮影装置３は時刻の経過に従って複数回の撮影によりそれぞれ画像を生成し、動画生成装置１へ送信する。動画生成装置１への画像の送信はどのような手法を取ってもよい。管理者が、撮影装置３の撮影した画像を動画生成装置１へ記録してもよい。

図２は動画生成装置のハードウェア構成を示す図である。
動画生成装置１のコンピュータは、図２で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ１０４、通信モジュール１０５、データベース１０６、等のハードウェアを備える。

図３は動画生成装置の機能ブロック図である。
動画生成装置１のＣＰＵ１０１は、表示プログラムを実行する。これにより動画生成装置１は、制御部１１、画像取得部１２、記録部１３、動画生成部１４、座標管理部１５、出力部１６、電子基準点算出部１７の各機能を発揮する。
制御部１１は、動画生成装置１の各機能を制御する。
画像取得部１２は、異なる時刻に撮影された観察対象の画像を複数取得する。
記録部１３は、処理に必要な各情報をデータベース１０６等に記録する。
動画生成部１４は、画像に含まれる観察対象の複数位置の座標情報を取得し、異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、観察対象の状態変化の遷移動画を生成する。動画生成部１４は、観察対象の所定期間の成長量を取得し、当該所定期間の成長量に基づいて、観察対象の状態変化の遷移動画を生成してよい。または動画生成部１４は、画像から観察対象のエリアを特定し、当該特定した観察対象のエリアの状態変化の遷移動画を生成してよい。
座標管理部１５は、観察対象の画像内の再計算対象点の周りの複数の電子基準点を特定する。
出力部１６は、遷移動画を出力する。
電子基準点算出部１７は、再計算対象点を基準として特定した電子基準点の今日の座標を少なくとも算出する。

図４は動画生成装置の処理フローを示す第一の図である。
以下、動画生成装置１の処理の詳細について説明する。
動画生成装置１の画像取得部１２は撮影装置３から観察対象の画像を取得する（ステップＳ１０１）。記録部１３は観察対象のＩＤと観察対象の画像を紐づけてデータベース１０６に記録する（ステップＳ１０２）。一例として画像は、地表の観察対象を含む矩形範囲のＩＤと、その画像の矩形範囲を示す位置情報（例えば矩形範囲の各頂点座標）と、その矩形範囲について撮影装置３が撮影して生成した画像とを紐づけて、データベース１０６に記録してよい。なお撮影対象の画像が示す地表の範囲には予めＧＮＳＳアンテナ２が複数設置されているものとする。

動画生成装置１は、複数の各ＧＮＳＳアンテナ２から位置情報を受信する（ステップＳ１０３）。動画生成装置１の記録部１３は、位置情報に含まれるＧＮＳＳアンテナ２のＩＤに紐づけて、当該位置情報に含まれる時刻と座標とをデータベース１０６に順次記録する（ステップＳ１０４）。

以上の処理によりデータベース１０６には、観察対象を含む矩形範囲のＩＤ、監視対象を撮影した画像、観察対象に複数設置されたＧＮＳＳアンテナ２の座標、などの情報が記録される。動画生成装置１の画像取得部１２は異なる日時に生成された観察対象の画像を順次取得する。また記録部１３は、異なる日時の各ＧＮＳＳアンテナ２の位置情報を順次取得する。記録部１３はそれら異なる日時の観察対象の画像や、各ＧＮＳＳアンテナ２の位置情報を同様に順次、データベース１０６に記録していく。

そして所定のタイミングで動画生成部１４が観察対象の状態変化の遷移を表す動画像を生成する（ステップＳ１０４）。所定のタイミングは、例えば管理者による動画像生成タイミングの入力を受け付けたタイミング、災害の発生を自動検知したタイミングなどであってよい。この動画像の生成において、動画生成部１４は、画像の矩形範囲を示す位置情報と、画像に写るＧＮＳＳアンテナ２の位置と、ＧＮＳＳアンテナ２から受信した位置情報（座標）とに基づいて、画像に写るＧＮＳＳアンテナ２の位置情報（座標）を特定する。なお動画生成部１４は観察対象を含む画像にＧＮＳＳアンテナ２が含まれない場合には、観察対象と当該観察対象の近傍の複数のＧＮＳＳアンテナ２が含まれる画像をデータベース１０６から取得すればよい。動画生成部１４は、異なる日時の観察対象の画像におけるＧＮＳＳアンテナ２の位置情報に基づいて、それら画像の位置を合わせる。動画生成部１４は、観察対象の画像におけるＧＮＳＳアンテナ２の位置情報を合わせた異なる日時のそれら画像を日時の順に表示する動画像を生成する。各画像を撮影した日時の間隔が短く、各画像として長い期間にわたって撮影された多くの画像が含まれる場合、それらを短時間で日時の順に表示することにより、観察対象の動画像として表示することができる。

上述の処理によればＧＮＳＳアンテナ２の位置情報（座標）を受信して、観察対象の画像に写るＧＮＳＳアンテナ２の画像内位置に対応する位置情報（座標）を特定し、その後、各画像の位置をＧＮＳＳアンテナ２の位置情報に基づいて合わせている。しかしながら、動画生成装置１はＧＮＳＳアンテナ２から位置情報を取得しなくても、他の位置情報に基づいて、異なる日時の各画像の位置を合わせるようにしてもよい。例えば動画生成部１４は、観察対象の画像の各画像内位置に対応する地表座標の情報が含まれた各画像を取得し、その画像内の各位置の地表座標に基づいて、異なる日時に撮影された画像の位置を合わせるようにしてもよい。観察対象の画像内の所定位置に対応する地表座標の情報は、管理者が入力した情報であってもよい。つまり、動画生成部１４は、異なる日時の観察対象の画像における複数の所定位置の位置情報に基づいて、それら画像の位置を合わせ、観察対象の画像における所定位置の位置情報を合わせた異なる日時のそれら画像を日時の順に表示する動画像を生成するようにしてもよい。

出力部１６は、生成した動画像を出力する（ステップＳ１０５）。この時、出力部１６は、生成した観察対象の動画像における地表座標に基づいて、観察対象を含む地図データや空撮画像内の位置に合せて、動画像を地図データや空撮画像を重畳し、出力するようにしてもよい。これにより、動画生成装置１は、地図データや空撮画像に重畳した観察対象の動画像を端末などの装置のディスプレイに表示することができる。

図５は動画生成装置の処理フローを示す第二の図である。
動画生成装置１は、過去から現在までに撮影された観察対象の複数の画像を用いて、過去、現在、将来の観察対象の状態変化の遷移動画を示す動画像を生成してよい。以下の動画生成装置１が、過去に撮影された観察対象の複数の画像を用いて、過去、現在、将来の観察対象の状態変化の遷移動画を示す動画像を生成する処理について説明する。

動画生成装置１の座標管理部１５は、観察対象の画像内の各位置の座標を取得して再計算対象点と特定する（ステップＳ２０１）。観察対象の画像内の各位置はＧＮＳＳアンテナ２の座標等である。座標管理部１５は、再計算対象点の周りの複数の電子基準点を特定する（ステップＳ２０２）。これを特定電子基準点（座標基準点）と呼ぶこととする。例えば座標管理部１５は再計算対象点の周りの電子基準点のうち、再計算対象点に直線距離が近い３つ以上の電子基準点を特定電子基準点と特定してよい。または座標管理部１５は、再計算対象点を中心とした数１０ｋｍ，数１００ｋｍの半径の円に含まれる電子基準点を全て特定し、それら電子基準点が２つ未満であれば、さらに再計算対象点を中心とする半径を拡大した円に含まれる電子基準点を全て特定するようにしてもよい。座標管理部１５は再計算対象点に直線距離が近い５つ、６つ等の数の電子基準点を特定電子基準点と特定してもよい。

座標管理部１５は再計算対象点を基準として特定した特定電子基準点の最新の座標（緯度、経度、標高）の出力を電子基準点算出部１７に要求する。当該要求には今日の日時が含まれてよい。なお所定の任意の日時の再計算対象点の最新の座標を算出したい場合にはこの日時情報を任意の日時に変更すればよい。電子基準点算出部１７はＧＰＳ等を含むＧＮＳＳなどの衛星測位信号受信装置から取得した電子基準点の座標情報に基づいて、座標管理部１５が再計算対象点を基準として特定した電子基準点の今日の座標を算出する（ステップＳ２０３）。当該座標は予め算出されていてもよい。予め各電子基準点の今日の座標が算出されている場合には、この時点で電子基準点算出部１７は特定電子基準点の座標をデータベース等から読み込むようにすればよい。そして座標管理部１５は、再計算対象点を基準として特定した各特定電子基準点の今日の最新の座標を取得し、その座標を用いて再計算対象点の今日の最新の座標（緯度，経度）と移動速度とを算出する（ステップＳ２０４）。

座標管理部１５は、当該再計算対象点について観察対象の画像から取得した座標と、新たに算出した今日の最新の座標との差に基づいて、当該再計算対象点の移動方向ベクトルを算出する（ステップＳ２０５）。座標管理部１５はそれら新たに算出した座標、移動速度、移動方向ベクトルを、再計算対象点の最新の座標情報と特定する。座標管理部は、観察対象の画像において特定した再計算対象点の最新の座標を、当該観察対象のＩＤに紐づけて記録する。

また座標管理部１５は、再計算対象点に基づいて特定した特定電子基準点の将来の複数の所定日時の座標（緯度、経度、標高）の出力を電子基準点算出部１７に要求する。当該要求には将来の所定の複数の日時が含まれてよい。電子基準点算出部１７はＧＰＳなどの衛星測位信号受信装置から過去に取得した座標などの情報に基づいて、座標管理部１５が再計算対象点を基準として特定した電子基準点の所定の将来の複数の日時それぞれにおける座標（緯度，経度）をステップＳ２０３と同様に算出する（ステップＳ２０６）。当該座標は予め算出されていてもよい。予め各電子基準点の所定の将来の複数の日時における座標が算出されている場合には、この時点で電子基準点算出部１７は特定電子基準点の所定の将来の複数の日時における座標をデータベース等から読み込むようにすればよい。そして座標管理部１５は、再計算対象点を基準として特定した各特定電子基準点の所定の将来の複数の日時における座標を取得し、その座標を用いて再計算対象点の所定の将来の複数の日時における座標（緯度，経度）と移動速度とを算出する（ステップＳ２０７）。

座標管理部１５は、当該再計算対象点について観察対象の画像から取得した座標と、新たに算出した所定の将来の日時における再計算対象点の座標との差に基づいて、当該再計算対象点の将来の複数の日時それぞれにおける移動方向ベクトルを算出する（ステップＳ２０８）。座標管理部１５はそれら新たに算出した所定の将来の複数の日時それぞれの座標、移動速度、移動方向ベクトルを、再計算対象点の所定の将来の座標情報と特定する。座標管理部１５は、観察対象の画像において特定した再計算対象点の所定の将来の複数の日時それぞれの座標情報を、当該観察対象のＩＤに紐づけて記録する。なお、座標管理部１５は、異なる複数の将来の複数の日時における、再計算対象点の座標、移動速度、移動ベクトルを同様に算出し、当該観察対象のＩＤや将来の複数の日時の情報に紐づけて記録する。座標管理部１５は、１つまたは複数の将来の所定の日時における再計算対象点についての座標、移動速度、移動ベクトルを繰り返し算出する。

これにより動画生成装置１は、観察対象の再計算対象点として特定した位置に関する過去、現在、１つまたは複数の将来の所定の日時における、座標、移動速度、移動ベクトルを、記憶することができる。

そして動画生成部１４は、それら観察対象の再計算対象点として特定した複数の位置に関する過去、現在、将来の所定の複数の日時の、座標、移動速度、移動ベクトルを用いて、過去、現在、将来の所定の日時、のそれぞれにおける観察対象の３次元形状を算出する（ステップＳ２０９）。過去、現在、将来の所定の日時の座標、移動速度、移動ベクトルを用いれば、観察対象の過去、現在、将来の形状（状態）を、公知の３次元モデル生成処理を用いて算出することができる。動画生成部１４は、生成した観察対象の過去、現在、将来の形状に基づいて、その観察対象の3次元形状の形状変化の遷移動画を生成する（ステップＳ２１０）。一例として、動画生成部１４は、所定の期間の間隔で数多くの観察対象の過去、現在、将来の形状を算出すれば、それらの形状を順に表示することにより観察対象の3次元形状の形状変化の遷移動画を生成することができる。

出力部１６は、生成した観察対象の過去、現在、将来の3次元形状の形状変化の遷移動画を出力する（ステップＳ２１１）。この時、出力部１６は、生成した観察対象の動画像における地表座標に基づいて、観察対象を含む地図データや空撮画像内の位置に合せて、動画像を地図データや空撮画像を重畳し、出力するようにしてもよい。これにより、動画生成装置１は、地図データや空撮画像に重畳した観察対象の動画像を端末などの装置のディスプレイに表示することができる。

再計算対象点を基準として特定した電子基準点の最新の座標に基づいて再計算対象点の最新の緯度，経度を算出する上述の処理の詳細を以下説明する。

まず電子基準点算出部１７が、予め国土地理院で管理している電子基準点に近い複数のＩＧＳ点の座標及びその単位期間あたりの移動速度を読み込む。ＩＧＳ点の座標及びその単位期間あたりの移動速度はＩＧＳ点のデータを蓄積しているサーバなどにアクセスして取得する。ＩＧＳ点は全世界で３００点以上定められた点であり、日本においては筑波や臼田に定められており、また韓国、中国、ロシアにも一つまたは複数点が定められている。また電子基準点算出部１７は、電子基準点の座標の情報を当該電子基準点の座標情報を記憶している衛星測位信号受信装置２０にアクセスして読み込む。電子基準点の座標は国土地理院によって１９９７年１月１日に定められた座標値である（通常、『測地成果２０００』と呼ばれている）。

電子基準点算出部１７は、各電子基準点の座標と、その近傍（周辺）の３つ以上のＩＧＳ点の座標及びその単位期間あたりの移動速度とを用いて、基線解析によって各電子基準点の座標を化成し、電子基準点化成値を算出する。ここで、基線解析は例えば『土屋淳、外１名、「やさしいＧＰＳ測量」、社団法人日本測量協会、１９９１年１０月５日，p．238－305』に記載されているような公知の技術を利用すればよい。なお電子基準点算出部１７は、電子基準点１３００点のうち選点した電子基準点についてその電子基準点化成値（座標）を算出してもよい。そして電子基準点算出部１７は、日本全国のまたは定められた電子基準点についての電子基準点化成値（座標）をそれぞれ所定の期間毎（例えば一年や一ヶ月毎）に予め算出しておく。なお電子基準点化成値の算出は地震などによる急激な変動のあった期間を除くようにしてもよい。電子基準点化成値（座標）の算出日時はそれぞれの電子基準点において異なっていてもよい。電子基準点算出部１７は各電子基準点について算出した電子基準点化成値（座標）とその算出日時とを対応付けてデータベース１０６へ書き込んでおく。

また電子基準点算出部１７は、過去に算出された電子基準点化成値（座標）と新たに算出された電子基準点化成値（座標）との差を算出し、当該座標の差と、電子基準点化成値（座標）を算出した期間間隔とを用いて、ある期間単位における移動速度、つまりある期間単位にどのくらい座標が移動するのかの割合を算出する。例えば電子基準点化成値（座標）の算出期間が１ヵ月毎であり、期間単位が１年の線形的な移動速度を算出する場合で、地震などの大きな変動がなければ、１ヵ月毎に算出された電子基準点化成値（座標）のうちの、連続する２ヶ月間の間に算出された２つの電子基準点化成値（座標）の差を１２倍することにより、１年間における移動速度が計算できる。または電子基準点算出部１７は、カルマンフィルターなどの予測フィルターを用いて各電子基準点の移動速度を算出してもよい。

そして電子基準点算出部１７はデータベース１０６に書き込まれている各電子基準点についての電子基準点化成値（座標）とその算出日時に対応付けて、移動速度をさらに書き込む。そして電子基準点算出部１７は電子基準点化成値（座標）を算出したすべての電子基準点についての移動速度を算出し、データベース１０６へ書き込む。つまり、以上の電子基準点算出部１７の処理によれば、データベース１０６には各電子基準点について同一または異なる日時で算出された電子基準点化成値（座標）と移動速度とその算出日時が対応付けられて記録されることとなる。そして、上述の電子基準点算出部１７の処理によってデータベース１０６に処理結果が記録されていき、その後、座標管理部１５からの要求によりステップＳ１０６において電子基準点算出部１７は以下のように特定電子基準点の座標や移動速度を補正する。

図６は特定電子基準点の補正処理の処理フローを示す図である。
特定電子基準点の座標や移動速度の補正値の算出の具体例は、まず電子基準点算出部１７が座標管理部１５からの特定電子基準点の座標の出力要求に基づいて、再計算対象点の座標を基準としてステップＳ２０２において特定された複数の特定電子基準点の識別情報を取得する（ステップＳ３０１）。例えばデータベース１０６に電子基準点の識別情報と座標とが紐づいて記録されていれば、再計算対象点の座標の近傍の特定電子基準点の座標に基づいてその識別情報を取得することができる。電子基準点算出部１７は、複数の特定電子基準点の識別情報に基づいて、それら特定電子基準点について同一または異なる日時に算出された電子基準点化成値（座標）と、当該特定電子基準点の移動速度をデータベース１０６から読み取る（ステップＳ３０２）。

そして電子基準点算出部１７は、それぞれ同一または異なる日時で算出された各特定電子基準点についての電子基準点化成値（座標）を、それら電子基準点化成値に対応する各移動速度を用いて、本処理を行っている日や、将来の所定の日時の座標値に補正する（ステップＳ３０３）。例えば、ある特定電子基準点の電子基準点化成値とその座標（Ｘ，Ｙ，Ｚ）における単位期間（１年とする）あたりの移動速度（Ｖｘ，Ｖｙ，Ｖｚ）が１月１日に算出され、再化成処理の日がその年の４月１日であれば、１月１日から４月１日までは９０日あるので、特定電子基準点の電子基準点化成値における座標の補正値Ｈは、Ｈ＝（Ｘ，Ｙ，Ｚ）＋（Ｖｘ，Ｖｙ，Ｖｚ）×（９０／３６５）で算出することができる。この処理により電子基準点算出部１７は本処理を行っている日や所定の将来の日時における各特定電子基準点の座標となるよう電子基準点化成値を補正する。

電子基準点化成値の補正が終了すると次に電子基準点算出部１７は、各特定電子基準点における補正後の電子基準点化成値とその移動速度を用いて、四次元統合網平均計算式により、特定電子基準点ごとの同一時点（例えば本処理を行っている今日の日時や所定の将来の日時）における座標とその座標における移動速度との推定値を算出する（ステップＳ３０４）。四次元統合網平均とは、三次元の座標と速度の四次元の情報を用いて行う統合網平均計の計算手法である。ここで四次元統合網平均計算式は式（１）により表される式である。

この式（１）においてベクトルＶは残差、ベクトルＸは未知の測位点の座標、ベクトルＳは未知の測位点の座標の変化率（移動速度）、Ｌ（数式中では小文字のｌ（エル）を使用）は観測値（既知の測位点の座標とＩＧＳ点とを結ぶ基線の長さと、そのベクトル）、Ａは計画行列（デザインマトリックス）、Ｇは係数行列である。なお測位点は特定電子基準点である。そして式（１）を最小二乗コロケーションで解くと、

となり、Ｘ，Ｓ，Ｖの推定値Ｘ＾，Ｓ＾，Ｖ＾（＾は推定値を表す）は、

により算出することができる。以上の処理によれば、電子基準点算出部１７が同一日に統一して作成（化成）された複数の特定電子基準点の座標を用いて、さらに四次元統合網平均によってその値を推定するので、精度の高い現在の特定電子基準点の座標と移動速度を算出することができる。

図７は電子基準点の推定処理の概要を示す図である。
この図ではＩＧＳ点４つ（ＩＧＳ点１～４）、特定電子基準点４つ（電子基準点Ａ～Ｄ）を用いて、当該４つの特定電子基準点の今日や将来の所定の日時の座標を推定処理してその緯度と移動速度を求めている様子を示している。このような四次元統合網平均により、同日における精度の高い座標および移動速度の算出を行うことができる。

図８は再計算対象点の最新の緯度経度の算出処理フローを示す図である。
次に、上述の処理によって推定された特定電子基準点の情報を用いて観察対象において特定した再計算対象点の各座標の推定を行うステップＳ２０４、ステップＳ２０７の処理の詳細について以下説明する。

まず座標管理部１５は、再計算対象点を基準とした複数の特定電子基準点の今日または所定の将来の日時の最新の座標と移動速度とを電子基準点算出部１７から取得する（ステップＳ７０１）。また座標管理部１５は、観察対象において特定した複数の再計算対象点について過去に算出された座標と当該座標における移動速度とをデータベース１０６から取得する（ステップＳ７０２）。座標管理部１５は、再計算対象点についての座標や移動速度が過去に算出されていない場合には、地図データに含まれる再計算対象点についての座標や移動速度を取得してもよい。

そして座標管理部１５は再計算対象点の座標を、特定電子基準点の座標が算出された日（本処理を行っている日や所定の将来の日時）と同一の日の座標へと補正する（ステップＳ７０３）。この処理は上述の電子基準点における電子基準点化成値の補正と同様の処理である。そして座標管理部１５は、それら同一日に統一して作成（化成）された再計算対象点における座標とその移動速度と、当該同一日の座標として算出された複数の特定電子基準点の座標およびその座標における移動速度とを用いて、四次元統合網平均計算式により、再計算対象点ごとの同一時点における推定値（座標と移動速度）を算出する（ステップＳ７０４）。この四次元統合網平均の計算についても上述した特定電子基準点における推定処理と同様である。なおこの計算においてベクトルＶは残差、ベクトルＸは未知の測位点の座標、ベクトルＳは未知の測位点の座標の変化率（移動速度）、Ｌは観測値（既知の測位点の座標と電子基準点とを結ぶ基線の長さと、そのベクトル）、Ａは計画行列（デザインマトリックス）、Ｇは係数行列であり、測位点は再計算対象点となる。以上の処理によれステップＳ２０４、ステップＳ２０７における座標管理部１５の再計算対象点の最新の座標（緯度，経度）と移動速度との算出が終了する。座標管理部１５による上述の処理によれば、過去、現在、将来の所定日時の座標や移動速度を精度よく算出することができる。

図９は再計算対象点の算出処理の概要を示す図である。
この図では特定電子基準点８つ（電子基準点Ａ～Ｈ）、再計算対象点Ｘの１つと、を用いて、当該再計算対象点Ｘの座標と移動速度とを算出する様子を示している。このように、それぞれの特定電子基準点の過去に算出された座標を推定処理により同一日に統一して作成（化成）する処理と、図６で示す四次元統合網平均により、再計算対象点Ｘの精度の高い座標および移動速度の算出を行うことができる。

図１０は動画生成装置の出力例を示す第一の図である。
動画生成装置１は観察対象が山体などの地形情報であるとする。動画生成装置１は、過去、現在、将来の所定日時の山体の各位置（再計算対象点）の座標情報を上述の処理により算出する。動画生成装置１は、それら座標情報を用いて、過去、現在、将来の山体の形状変化の遷移動画を生成する。動画生成装置１は、過去、現在、将来の山体の形状変化の遷移動画を端末のディスプレイに表示する。

動画生成装置１は、例えば山体に崩落などがあった場合に外部の災害発生報知装置や地震計などのセンサなどから災害発生信号を取得する。動画生成装置１は、この災害発生信号の取得をトリガとして山体などの観察対象の形状変化の遷移動画を生成してよい。または動画生成装置１は、地上レーザスキャナ３３から得た３Ｄ画像の災害発生前後の観察対象の形状の変化を、当該災害発生前後の３Ｄ画像が示す形状に基づいて検出して、この形状変化をトリガとして山体などの観察対象の形状変化の遷移動画を生成してよい。この場合、動画生成装置１は、災害発生信号に含まれる位置情報（緯度経度）、時刻や、形状変化を検出した時刻や地上レーザスキャナ３３の位置情報に基づいて、撮影装置３（ドローン３１、航空機３２、地上レーザスキャナ３３など）の撮影した観察対象を含む過去の画像を特定する。そして動画生成装置１は、上述の処理と同様にこの画像を用いて過去、現在、将来の山体の形状変化の遷移動画を生成する。この遷移動画の生成処理において、動画生成部１４は、地上レーザスキャナ３３から得た３Ｄ画像の、災害発生時刻の前後の画像と、他のドローン３１や航空機３２などの少なくとも一つまたは複数の撮影装置３から得た３Ｄ画像の、縮尺や基準座標を統合して、それらが３Ｄ画像を合成した遷移動画を生成するようにしてよい。この処理は、動画生成部１４が、観察対象の画像に基づいて生成した３Ｄ画像の形状の変化や、センサから取得した信号の受信に基づいて処理開始タイミングを特定し、当該処理開始タイミングの前後の観察対象の画像を用いて遷移動画を生成する処理の一態様である。なお他の動画生成装置の出力例においても同様に観察対象の画像に基づいて生成した３Ｄ画像の形状の変化や、センサから取得した信号の受信に基づいて処理開始タイミングを特定し、当該処理開始タイミングの前後の観察対象の画像を用いて遷移動画を生成するようにしてもよい。

動画生成装置１は、観察対象となる地盤沈下の発生しているエリアまたは発生する可能性のあるエリアを観察対象としてもよい。動画生成装置１は、過去、現在、将来の所定日時の地盤沈下の観察エリアの各位置（再計算対象点）の座標情報、移動ベクトルを上述の処理により算出する。動画生成装置１は、それら座標情報を用いて、過去、現在、将来の地盤沈下の観察エリアの形状変化の遷移動画を生成する。動画生成装置１は、過去、現在、将来の地盤沈下の観察エリアの形状変化の遷移動画を端末のディスプレイに表示する。

図１１は動画生成装置の出力例を示す第二の図である。
動画生成装置１は観察対象が飛行場で、樹木の生えているエリアがある場合には、そのエリアの樹木の形状変化の遷移動画を生成するようにしてもよい。この場合、動画生成装置１の動画生成部１４は、観察対象である飛行場の画像から樹木の生えているエリアを各画素の色情報に基づいて特定する。または動画生成部１４は観察対象の画像において樹木の形状のパターン認識や、機械学習モデルを用いた認識処理により、観察対象の画像における樹木を特定するようにしてもよい。データベース１０６には予め地域に応じた樹木の単位期間あたり成長量の情報が記録されている。動画生成部１４は、観察対象の画像に樹木を特定した場合に、その樹木の将来の各日時における３次元形状を、当該樹木の期間あたりの成長量に応じて算出する。そして、動画生成部１４は、過去、現在、複数の将来日時の、観察対象の一つである樹木の形状変化の遷移動画を生成する。一例として動画生成部１４は、図１１に示すように、樹木の形状変化の遷移を示す遷移動画を生成することができる。動画生成装置１は上記の他の形状変化の遷移動画に、樹木の形状変化の遷移を示す遷移動画を重ねた動画を生成するようにしてもよい。

図１２は動画生成装置の出力例を示す第三の図である。
動画生成装置１は観察対象が宅地エリアで、その宅地エリア内に樹木の生えているエリアがある場合には、そのエリアの樹木の形状変化の遷移動画を生成するようにしてもよい。この場合も同様に、動画生成装置１の動画生成部１４は、観察対象である宅地エリアの画像から樹木の生えているエリアを各画素の色情報に基づいて特定する。または動画生成部１４は観察対象の画像において樹木の形状のパターン認識や、機械学習モデルを用いた認識処理により、観察対象の画像における樹木を特定するようにしてもよい。データベース１０６には予め地域に応じた樹木の単位期間あたり成長量の情報が記録されている。動画生成部１４は、観察対象の画像に樹木を特定した場合に、その樹木の将来の各日時における３次元形状を、当該樹木の期間あたりの成長量に応じて算出する。そして、動画生成部１４は、過去、現在、複数の将来日時の、観察対象の一つである樹木の形状変化の遷移動画を生成する。動画生成装置１は上記の他の形状変化の遷移動画に、樹木の形状変化の遷移を示す遷移動画を重ねた動画を生成するようにしてもよい。

図１３は動画生成装置の出力例を示す第四の図である。
動画生成装置１は撮影装置３（地上レーザスキャナ３３など）が撮影した現在の観察対象の画像と、管理者が作成した将来の複数の画像を用いて、当該観察対象の状態変化の遷移動画を生成するようにしてもよい。そして動画生成部１４は、撮影装置３が撮影した画像に含まれる観察対象の複数位置の座標情報と、管理者が作成した将来の複数の画像に含まれる観察対象の複数の位置の座標情報とを合わせて、観察対象の状態変化の遷移動画を生成するようにしてもよい。例えば図１３に示すように、過去または現在の宅地エリアや宅地造成地の画像と、管理者が作成した将来の状態の対応する宅地エリアや宅地造成地の画像を時系列に表示することで、動画生成部１４は、観察対象である宅地エリアや宅地造成地の状態変化の遷移動画を生成することができる。

なお、観察対象は工事現場であり、動画生成装置１は同様に、工事現場の状態変化の遷移動画を生成するようにしてもよい。この場合も、撮影装置３は、ドローン３１、航空機３２、地上に設置された複数の定点カメラ（地上レーザスキャナ３３など）であってよい。

図１４は動画生成装置の最小構成を示す図である。
動画生成装置１は、少なくとも、画像取得部と、動画生成部とを備える。
画像取得部１２は、異なる時刻に撮影された観察対象の画像を複数取得する。
動画生成部１４は、画像に含まれる観察対象の複数位置の座標情報を取得し、異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、観察対象の状態変化の遷移動画を生成する。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・動画生成装置
２・・・ＧＮＳＳアンテナ
３・・・撮影装置
１１・・・制御部
１２・・・画像取得部
１３・・・記録部
１４・・・動画生成部
１５・・・座標管理部
１６・・・出力部
１７・・・電子基準点算出部

Claims (14)

1. 異なる時刻に撮影された観察対象の画像を複数取得する画像取得部と、
   前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理部と、
   前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成部と、
   前記遷移動画を出力する出力部と、
   を備える動画生成装置。
2. 前記観察対象の複数位置の座標情報を複数の電子基準点の座標の四次元統合網平均計算を用いた化成値に基づいて算出する前記座標管理部と、
   を備える請求項１に記載の動画生成装置。
3. 前記動画生成部は、前記観察対象の所定期間の成長量を取得し、当該所定期間の成長量に基づいて、前記観察対象の状態変化の遷移動画を生成する
   請求項１または請求項２に記載の動画生成装置。
4. 前記動画生成部は、前記画像から前記観察対象のエリアを特定し、当該特定した前記観察対象のエリアの前記状態変化の遷移動画を生成する
   請求項１から請求項３の何れか一項に記載の動画生成装置。
5. 前記観察対象が地形であり、
   前記動画生成部は、前記地形の状態変化の遷移動画を生成する
   請求項１から請求項４の何れか一項に記載の動画生成装置。
6. 前記観察対象が山体であり、
   前記動画生成部は、前記山体の状態変化の遷移動画を生成する
   請求項１から請求項４の何れか一項に記載の動画生成装置。
7. 前記観察対象が地盤沈下エリアであり、
   前記動画生成部は、前記地盤沈下エリアの状態変化の遷移動画を生成する
   請求項１から請求項４の何れか一項に記載の動画生成装置。
8. 前記観察対象が樹木であり、
   前記動画生成部は、前記樹木の状態変化の遷移動画を生成する
   請求項１から請求項４の何れか一項に記載の動画生成装置。
9. 前記観察対象が宅地造成地であり、
   前記動画生成部は、前記宅地造成地の状態変化の遷移動画を生成する
   請求項１から請求項４の何れか一項に記載の動画生成装置。
10. 前記観察対象が工事現場であり、
    前記動画生成部は、前記工事現場の状態変化の遷移動画を生成する
    請求項１から請求項４の何れか一項に記載の動画生成装置。
11. 前記動画生成部は、前記観察対象の画像に基づいて生成した３Ｄ画像の形状の変化に基づいて前記遷移動画を生成する処理の処理開始タイミングを特定し、当該処理開始タイミングの前後の前記観察対象の画像を用いて前記遷移動画を生成する
    請求項１から請求項１０の何れか一項に記載の動画生成装置。
12. 異なる時刻に撮影された観察対象の画像を複数取得し、
    前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出し、
    前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成し、
    前記遷移動画を出力する
    動画生成方法。
13. 動画生成装置のコンピュータを、
    異なる時刻に撮影された観察対象の画像を複数取得する画像取得手段、
    前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理手段、
    前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成手段、
    として機能させるプログラム。
14. 異なる時刻に撮影された観察対象の画像を複数取得する画像取得部と、
    前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理部と、
    前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成部と、
    前記遷移動画を出力する出力部と、
    を備える動画生成システム。

Images