JP7375064B2 - ドローン映像を活用した航空地図のアップデート方法およびシステム - Google Patents

Description

以下の説明は、ドローン映像を活用した航空地図のアップデート方法およびシステムに関する。

航空地図とは、航空写真を利用して生成した地図を意味する。航空地図の取得周期は長く（一例として、２年）、道路などの領域に変更が生じた場合にこれを迅速に反映することが難しいという問題があった。

このような問題点を解決するために、ドローンが生成した映像を活用する方法もあるが、ドローン映像を活用して既存の地図を生成および／またはアップデートするためには、直接外部に出向いてＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ（地上基準点））を測量し、これを利用して地図を製作および／またはアップデートしなければならないという問題があった。

さらに、測量したＧＣＰとドローン映像とのマッチング作業を手動でしか行うことができないという問題もあった。

韓国登録特許第１０－０９４０１１８号公報

ドローン映像を活用して航空地図を生成および／またはアップデートするにあたり、既存の３次元航空地図をＧＣＰとして活用することにより、航空地図の生成および／またはアップデートのための時間および費用を減らすことができる、アップデート方法およびシステムを提供することを目的とする。

ＧＣＰとして活用される３次元航空地図とドローン映像の自動マッチングを支援することによって人力と時間を節約することができる、アップデート方法およびシステムを提供することを他の目的とする。

少なくとも１つのプロセッサを含むコンピュータ装置のアップデート方法であって、前記少なくとも１つのプロセッサにより、既存の航空地図ベースのＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ（数値標高モデル））、ＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ（数値表層モデル））、およびトゥルーオルソフォト（ｔｒｕｅ－ｏｒｔｈｏｐｈｏｔｏ）を利用して、予め設定された高さ以上の映像を含むルーフ（ｒｏｏｆ）トゥルーオルソフォトを生成する段階、前記少なくとも１つのプロセッサにより、ドローン映像と前記ルーフトゥルーオルソフォトをマッチングする段階、および前記少なくとも１つのプロセッサにより、前記マッチングされたドローン映像を基準に、他のドローン映像にＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）を入力する段階を含むことを特徴とする、アップデート方法を提供する。

一態様によると、前記ルーフトゥルーオルソフォトを生成する段階は、前記トゥルーオルソフォトから前記ＤＳＭと前記ＤＥＭの差が予め設定された高さ以上の部分を抽出して前記ルーフトゥルーオルソフォトを生成することを特徴としてよい。

他の態様によると、前記ドローン映像と前記ルーフトゥルーオルソフォトをマッチングする段階は、前記ドローン映像と前記ルーフトゥルーオルソフォトの特徴点マッチングを処理する段階、前記ドローン映像の一部から少なくとも１つのマッチングポイントを選定する段階、および前記選定されたマッチングポイントに対応する前記ルーフトゥルーオルソフォトの位置に対する実際の地形の３次元座標を、前記選定されたマッチングポイントに対する仮想ＧＣＰとして選定する段階を含むことを特徴としてよい。

また他の態様によると、前記特徴点マッチングを処理する段階は、Ｒ２Ｄ２マッチングを利用して、前記ドローン映像の特徴点と前記ルーフトゥルーオルソフォトの特徴点をマッチングすることを特徴としてよい。

また他の態様によると、前記ドローン映像と前記ルーフトゥルーオルソフォトをマッチングする段階は、前記ルーフトゥルーオルソフォトでアップデートしようとする範囲に予め設定された長さに基づいてシード（ｓｅｅｄ）を設定する段階、前記設定されたシードから最も近いルーフトゥルーオルソフォトをロードする段階、前記ロードされたルーフトゥルーオルソフォトから特徴点を抽出した後、前記設定されたシードの位置を前記抽出された特徴点の密集度に基づいて再設定する段階、および前記再設定されたシードの位置から最も近いドローン映像の一部をロードする段階をさらに含むことを特徴としてよい。

また他の態様によると、前記シードを設定する段階は、一辺の長さが前記予め設定された長さである複数の正方形で構成される範囲に対し、前記複数の正方形それぞれに予め設定された数のシードをランダムに設定することを特徴としてよい。

また他の態様によると、前記再設定する段階は、前記シードの位置を、前記抽出された特徴点の密集度が最も高い位置に再設定することを特徴としてよい。

また他の態様によると、前記他のドローン映像にＧＣＰを入力する段階は、前記マッチングされたドローン映像のポイントに前記ルーフトゥルーオルソフォトのマッチングされたポイントによる３次元座標を仮想ＧＣＰとして入力する段階、および前記マッチングされたドローン映像のポイントとマッチングする前記他のドローン映像のポイントに前記仮想ＧＣＰを入力する段階を含むことを特徴としてよい。

また他の態様によると、前記仮想ＧＣＰを入力する段階は、デンスマッチング（ｄｅｎｓｅ ｍａｔｃｈｉｎｇ）を利用して、前記マッチングされたドローン映像のポイントと前記他のドローン映像のポイントをマッチングすることを特徴としてよい。

また他の態様によると、前記アップデート方法は、前記少なくとも１つのプロセッサにより、前記ＧＣＰをフィルタリングする段階をさらに含んでよい。

また他の態様によると、前記ＧＣＰをフィルタリングする段階は、前記マッチングされたドローン映像のピクセルの位置点に基づいて、前記ＧＣＰに対応する映像座標との差が最小となるドローンカメラの内部焦点距離、歪曲係数、前記ドローンカメラの回転情報、および補正されたＧＣＰを決定することを特徴としてよい。

さらに他の態様によると、前記アップデート方法は、前記少なくとも１つのプロセッサにより、前記フィルタリングされたＧＣＰが入力されたドローン映像に基づいてアップデートされたＤＳＭを生成する段階、および前記少なくとも１つのプロセッサにより、前記アップデートされたＤＳＭに基づいてアップデートされたトゥルーオルソフォトを生成する段階をさらに含んでよい。

前記方法をコンピュータ装置に実行させるためのコンピュータプログラムを提供する。

前記方法をコンピュータ装置に実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、既存の航空地図ベースのＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）、ＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ）、およびトゥルーオルソフォト（ｔｒｕｅ－ｏｒｔｈｏ ｐｈｏｔｏ）を利用して予め設定された高さ以上の映像を含むルーフ（ｒｏｏｆ）トゥルーオルソフォトを生成し、ドローン映像と前記ルーフトゥルーオルソフォトをマッチングし、前記マッチングされたドローン映像を基準に、他のドローン映像にＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）を入力することを特徴とする、コンピュータ装置を提供する。

ドローン映像を活用して航空地図を生成および／またはアップデートするにあたり、既存の３次元航空地図をＧＣＰとして活用することにより、航空地図の生成および／またはアップデートのための時間および費用を減らすことができる。

ＧＣＰとして活用される３次元航空地図とドローン映像の自動マッチングを支援することにより、人力と時間を節約することができる。

本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、アップデート方法の例を示したフローチャートである。 本発明の一実施形態における、ドローン映像とルーフトゥルーオルソフォトをマッチングする方法の例を示したフローチャートである。 本発明の一実施形態における、設定されたシードの例を示した図である。 本発明の一実施形態における、シードの位置を再設定する例を示した図である。 本発明の一実施形態における、ドローン映像とルーフトゥルーオルソフォトのマッチングの例を示した図である。 本発明の一実施形態における、ドローン映像の座標に対応する３次元座標を選定する例を示した図である。 本発明の一実施形態における、サブドローン映像と仮想ＧＣＰの連結を設定する例を示した図である。 本発明の一実施形態における、デンスマッチングによって同一地点をマッチングした例を示した図である。 本発明の一実施形態における、デンスマッチングによって同一地点をマッチングした例を示した図である。 本発明の一実施形態における、加重値を補正する例を示した図である。 本発明の一実施形態における、加重値を補正する例を示した図である。 本発明の一実施形態における、ドローン映像と航空映像の解像度の差を示した図である。 本発明の一実施形態における、ドローン映像を利用して航空地図をアップデートした例を示した図である。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係るアップデートシステムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係るアップデート方法は、アップデートシステムを実現する少なくとも１つのコンピュータ装置によって実行されてよい。コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係るアップデート方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してアップデート方法をコンピュータ装置に実行させるために、コンピュータ読み取り可能な記録媒体に記録されてよい。

以下、添付の図面を参照しながら、実施形態について詳しく説明する。各図面に提示された同一の参照符号は、同一の部材を示す。

図１は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。コンピュータ装置（Ｃｏｍｐｕｔｅｒ ｄｅｖｉｃｅ）１００は、図１に示すように、メモリ（Ｍｅｍｏｒｙ）１１０、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）１２０、通信インタフェース（Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ）１３０、および入力／出力（Ｉ／Ｏ）インタフェース（Ｉ／Ｏ ｉｎｔｅｒｆａｃｅ）１４０を含んでよい。メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータ装置１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク（Ｎｅｔｗｏｒｋ）１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置１００のメモリ１１０にロードされてよい。

プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース１３０は、ネットワーク１６０を介してコンピュータ装置１００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータ装置１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１６０を介してコンピュータ装置１００の通信インタフェース１３０を通じてコンピュータ装置１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどは、プロセッサ１２０やメモリ１１０に伝達されてよく、ファイルなどは、コンピュータ装置１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース１４０は、入力／出力（Ｉ／Ｏ）装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータ装置１００と１つの装置で構成されてもよい。

また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術の構成要素を明確に図に示す必要はない。例えば、コンピュータ装置１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

図２は、本発明の一実施形態における、アップデート方法の例を示したフローチャートである。本実施形態に係るアップデート方法は、図１を参照しながら説明したコンピュータ装置１００によって実行されてよい。このとき、コンピュータ装置１００のプロセッサ１２０は、メモリ１１０が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ１２０は、コンピュータ装置１００に記録されたコードが提供する制御命令にしたがってコンピュータ装置１００が図２の方法に含まれる段階２１０～２６０を実行するようにコンピュータ装置１００を制御してよい。

段階２１０で、コンピュータ装置１００は、既存の航空地図ベースのＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ（数値標高モデル））、ＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ（数値表層モデル））、およびトゥルーオルソフォト（ｔｒｕｅ－ｏｒｔｈｏｐｈｏｔｏ）を利用して、予め設定された高さ以上の映像を含むルーフ（ｒｏｏｆ）トゥルーオルソフォトを生成してよい。ＤＥＭは、実世界の地形情報のうちから建物、樹木、人工構造物などを除いた地形（ｂａｒｅｅａｒｔｈ）部分を表現する数値模型であり、ＤＳＭは、実世界のすべての情報、言い換えれば、地形、樹木、建物、人工構造物などを表現した模型である。したがって、ＤＳＭとＤＥＭの差（ＤＳＭ－ＤＥＭ＝ＣＨＭ（Ｃａｎｏｐｙ Ｈｅｉｇｈｔ Ｍｏｄｅｌ（キャノピー高さモデル）））が予め設定された値以上の部分は、建物、樹木、人工構造物などに対応することになる。このとき、コンピュータ装置１００は、トゥルーオルソフォトにおいてＤＳＭとＤＥＭの差が予め設定された高さ（一例として、１７ｍ）以上となる部分だけをトゥルー（ｔｒｕｅ）として抽出することによってルーフトゥルーオルソフォトを生成してよい。

段階２２０で、コンピュータ装置１００は、ドローン映像とルーフトゥルーオルソフォトをマッチングしてよい。ここで、ドローン映像とは、ドローンで撮影した映像を意味してよい。マッチングされたポイントはＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ（地上基準点））として活用されてよく、ＤＳＭトゥルーオルソフォトを利用することで、マッチングされたポイントの３次元座標が分かるようになる。ドローン映像とルーフトゥルーオルソフォトをマッチングする方法については、図３を参照しながらさらに詳しく説明する。

段階２３０で、コンピュータ装置１００は、マッチングされたドローン映像を基準に、他のドローン映像にＧＣＰを入力してよい。ここで、ＧＣＰは、実際に測量されたＧＣＯでなく、ドローン映像にマッチングされたルーフトゥルーオルソフォトから得られる３次元座標であってよい。言い換えれば、コンピュータ装置１００は、マッチングされたドローン映像をメインとして置きながら、周辺のサブドローン映像と仮想ＧＣＰとの連結を設定してよい。ＧＣＰを入力する方法については、図８～１０を参照しながらさらに詳しく説明する。

段階２４０で、コンピュータ装置１００は、ＧＣＰをフィルタリングしてよい。航空映像のカメラ内部情報は正確であるが、ドローン映像は低価型カメラを使用することから内部情報が不正確であり、カメラポーズとカメラ内部情報を補正する必要がある。このような補正のために、コンピュータ装置１００は、仮想ＧＣＰを利用してバンドル調整を実行してよい。バンドル調整については、以下でさらに詳しく説明する。

段階２５０で、コンピュータ装置１００は、フィルタリングされたＧＣＰが入力されたドローン映像に基づいてアップデートされたＤＳＭを生成してよい。このとき、映像のソースが航空映像からドローン映像に変わることで発生するイシューが修正されてよい。

段階２６０で、コンピュータ装置１００は、アップデートされたＤＳＭに基づいてアップデートされたトゥルーオルソフォトを生成してよい。この過程は、航空地図の生成のためのプロセスにおいて周知の事項であるため、具体的な説明は省略する。

図３は、本発明の一実施形態における、ドローン映像とルーフトゥルーオルソフォトをマッチングする方法の例を示したフローチャートである。図３の段階３１０～３７０は図２の段階２２０に含まれてよく、コンピュータ装置１００によって実行されてよい。

段階３１０で、コンピュータ装置１００は、ルーフトゥルーオルソフォトでアップデートしようとする範囲（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ（関心領域）：ＲＯＩ）に予め設定された長さに基づいてシード（ｓｅｅｄ）を設定してよい。シードとは以後にＧＣＰ位置になるポイントであり、予め設定された長さは、一例として１２０ｍであってよい。ここで、予め設定された長さはシードの間隔となってよく、予め設定された数のシードが設定される領域を示す長さであってよい。

図４は、本発明の一実施形態における、設定されたシードの例を示した図である。図４は、ルーフトゥルーオルソフォト４１０の特定の範囲に、一辺の長さが予め設定された長さ（一例として、１２０ｍ）に設定された正方形４２０が表示された例を示している。このとき、コンピュータ装置１００は、このような正方形４２０にｍ（図４の実施形態においてｍ＝５）個のシードを設定してよい。１つのルーフトゥルーオルソフォト４１０には複数の正方形がランダムに設定されてよく、各正方形にｍ個のシードがランダムに設定されてよい。

このような図４の実施形態は、ＧＣＰを均一に選定して正確度を確保するための一方式に過ぎず、シード設定方法が図４の実施形態に限定されることはない。一例として、ルーフトゥルーオルソフォト４１０内のアップデートしようとする範囲で、予め設定された長さの間隔で均一にシードを設定してもよい。

図３を再び参照すると、段階３２０で、コンピュータ装置１００は、各シードから最も近いルーフトゥルーオルソフォトをロードしてよい。このとき、各シードから最も近いルーフトゥルーオルソフォトとは、ルーフトゥルーオルソフォトのうちで該当のシードを含む映像の一部であってよい。

段階３３０で、コンピュータ装置１００は、ロードされたルーフトゥルーオルソフォトから特徴点を抽出した後、設定されたシードの位置を抽出された特徴点の密集度に基づいて再設定してよい。一定の間隔でシードを設定するため、シードの位置がルーフにないことがある。これにより、コンピュータ装置１００は、シードの位置を該当のシードから最も近いルーフトゥルーオルソフォトの特徴点が密集した位置に移動させて、シードの位置を再設定してよい。

図５は、本発明の一実施形態における、シードの位置を再設定する例を示した図である。図５は、ルーフトゥルーオルソフォト５１０でシード５２０がルーフ上にない場合、最も近いルーフ５３０において特徴点が密集した位置にシード５２０の位置を再設定する例を示している。一例として、コンピュータ装置１００は、シード５２０の位置から最も近いルーフ５３０の特徴点を抽出した後、特徴点の密度が最も高い位置にシード５２０の位置を再設定してよい。

図３を再び参照すると、段階３４０で、コンピュータ装置１００は、再設定されたシードの位置から最も近いドローン映像の一部をロードしてよい。ドローン映像の一部とは、該当のドローン映像から切り取られた一部のピース映像を意味してよい。

段階３５０で、コンピュータ装置１００は、ロードされたドローン映像の一部とルーフトゥルーオルソフォトの特徴点マッチングを処理してよい。一例として、コンピュータ装置１００は、Ｒ２Ｄ２（Ｒｅｐｅａｔａｂｌｅ ａｎｄ Ｒｅｌｉａｂｌｅ Ｄｅｔｅｃｔｏｒ ａｎｄ Ｄｅｓｃｒｉｐｔｏｒ）マッチングにより、ロードされたドローン映像の一部とルーフトゥルーオルソフォトのポイント（特徴点）をマッチングしてよい。ポイントのマッチングは、Ｒ２Ｄ２の他にも、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＨａｒｄＮｅｔ、ＬｏｇＰｏｌａｒＤｅｓｃなどの周知のイメージマッチング技術のうちの１つが活用されてもよい。ただし、Ｒ２Ｄ２は、視空間解像度が異なる２つの映像のマッチングの性能を高めるために学習されたマッチング技法であることから、トゥルーオルソフォトとドローン映像の映像の取得時間と空間解像度の差を考慮するとき、Ｒ２Ｄ２を利用してポイントのマッチングを処理することが好ましい。このとき、コンピュータ装置１００は、ｎ（一例として、ｎは１００）個のポイントをマッチングしてよい。

段階３６０で、コンピュータ装置１００は、ドローン映像の一部から少なくとも１つのマッチングポイントを選定してよい。一例として、コンピュータ装置１００は、マッチングされた複数のポイントのうちで最も適切にマッチングがなれたポイントを選定してよい。一例として、特徴点マッチングを実行するときに、コンピュータ装置１００は、２つの映像で特徴点周辺のピクセル値が最も類似する特徴点のマッチングを実行してよい。このような特徴点周辺のピクセル値の類似度をディスタンス（ｄｉｓｔａｎｃｅ）と呼ぶが、ディスタンスの値が大きいほど類似度は低く、ディスタンスの値が小さいほど類似度は高いと判断されてよい。したがって、コンピュータ装置１００は、マッチングされた点のうちでディスタンスの値が最も小さいマッチングポイントを、最も適切にマッチングがなされたポイントとして選定してよい。

図６は、本発明の一実施形態における、ドローン映像とルーフトゥルーオルソフォトのマッチングの例を示した図である。図６は、ドローン映像６１０とルーフトゥルーオルソフォト６２０の対応するポイントを連結した例を示している。このとき、図６は、複数のポイントのうちで最も適切にマッチングがなされたポイントを連結する線６３０を他の線よりも太く示している。このとき、線６３０によって連結されたポイント６４０、６５０が選定されてよい。図６では、マッチングされるポイントを簡略化して説明したが、上述したように、コンピュータ装置１００は、ｎ個のポイントをマッチングした後、マッチングされたｎ個のポイントのうちから最も適切にマッチングがなされたポイントを選定してよい。ここで、ｎ個のポイントをマッチングするということは、ドローン映像６１０を基準にｎ個のポイントをルーフトゥルーオルソフォト６２０のｎ個のポイントとマッチングすることを意味してよい。

図３を再び参照すると、段階３７０で、コンピュータ装置１００は、選定されたマッチングポイントに対応するルーフトゥルーオルソフォトの位置に対する実際の地形の３次元座標を、選定されたマッチングポイントに対する仮想ＧＣＰとして選定してよい。このように、コンピュータ装置１００は、既存の航空地図から得られるルーフトゥルーオルソフォトにおいて、ドローン映像の特定の座標（ｘ、ｙ）に対し、実際に測量したものと同じ地形の３次元座標（Ｘ、Ｙ、Ｚ）を取得することができる。

図７は、本発明の一実施形態における、ドローン映像の座標に対応する３次元座標を選定する例を示した図である。図７は、ドローン映像６１０のポイントの映像位置（ｘ、ｙ）とルーフトゥルーオルソフォト６２０のマッチングされたポイントに対応する実際の地形の３次元座標（Ｘ、Ｙ、Ｚ）を仮想ＧＣＰとして選定してよい。ここで、ルーフトゥルーオルソフォト６２０のマッチングされたポイントに対応する実際の地形の３次元座標（Ｘ、Ｙ、Ｚ）は、ＤＳＭによって得られてよい。より具体的に、ＸとＹはトゥルーオルソフォトから得られてよく、ＤＳＭがピルセルごとに高さ値を含んでいるため、トゥルーオルソフォトに対応するＤＳＭの位置から高さ値を抽出することでＺが得られてよい。

図２を再び参照すると、段階２３０で、コンピュータ装置１００は、マッチングされたドローン映像を基準に他のドローン映像にＧＣＰを入力するため、マッチングされたドローン映像を基準に、周辺のサブドローン映像と仮想ＧＣＰの連結を設定してよい。

図８は、本発明の一実施形態における、サブドローン映像と仮想ＧＣＰの連結を設定する例を示した図である。図８は、メインドローン映像８１０とルーフトゥルーオルソフォト８２０でマッチングされたポイントに基づいて、メインドローン映像８１０周辺のサブドローン映像８３０それぞれに対してもポイントをマッチングすることにより、サブドローン映像の映像位置（ｘ、ｙ）と仮想ＧＣＰの３次元座標（Ｘ、Ｙ、Ｚ）を連結した様子を示している。一例として、コンピュータ装置１００は、メインドローン映像８１０がルーフトゥルーオルソフォト８２０の仮想ＧＣＰと連結した地点と同一のサブドローン映像８３０それぞれの地点をマッチングすることで、サブドローン映像８３０それぞれの地点に対して仮想ＧＣＰを連結してよい。言い換えれば、コンピュータ装置１００は、ルーフトゥルーオルソフォト８２０にマッチングされたメインドローン映像８１０のポイントにルーフトゥルーオルソフォト８２０のマッチングされたポイントによる３次元座標を仮想ＧＣＰとして入力してよく、マッチングされたメインドローン映像８１０のポイントとマッチングする他のサブドローン映像８３０それぞれのポイントに仮想ＧＣＰを入力してよい。このとき、メインドローン映像８１０とサブドローン映像８３０それぞれの同一地点は、デンスマッチング（ｄｅｎｓｅ ｍａｔｃｈｉｎｇ）によってマッチングされてよい。

図９および図１０は、本発明の一実施形態における、デンスマッチングによって同一地点をマッチングした例を示している。図９は、デンスマッチングを利用してメインドローン映像９１０とサブドローン映像９２０の同一地点をマッチングする過程の例を示しており、図１０は、デンスマッチングを利用してメインイメージ（Ｍａｉｎ ｉｍａｇｅ）１０１０とサブイメージ（Ｓｕｂ ｉｍａｇｅｓ）１０２０、１０３０の同一地点をマッチングした例を示している。ここで、メインイメージ１０１０はメインドローンイメージに対応してよく、サブイメージ１０２０、１０３０はサブドローンイメージに対応してよい。

図２を再び参照すると、段階２４０で、コンピュータ装置２００は、ＧＣＰをフィルタリングするためにバンドル調整を処理してよい。このとき、段階２１０～２３０を実行することで、ＧＣＰがドローンイメージに自動で入力されてよい。したがって、人間が実際に外部に出向いてＧＣＰを測量する必要がなくなり、測量されたＧＣＰをドローンイメージと手動でマッチングする必要がなくなるため、費用と時間を減らすことができる。

ただし、測量されたＧＣＰ（正確度２～３ｃｍ）に比べて自動入力された仮想ＧＣＰ（正確度８～１５ｃｍ）は正確度が下がるため、複数のフィルタリングが適用されてよい。ドローン映像は航空映像に比べて初期値が不正確であるため、コンピュータ装置１００は、ＧＣＰを補正するために７－ｐａｒａｍｅｔｅｒｓを処理してよい。７－ｐａｒａｍｅｔｅｒｓは、剛体変換（Ｒｉｇｉｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）という同一の２つのモデルのスケール、回転、移動を調整して同じように合わせる技法である。本実施形態では、航空地図から抽出したＧＣＰ（Ｘ、Ｙ、Ｚ）とドローン映像でマッチングされたＧＣＰを三角測量（Ｔｒｉａｎｇｕｌａｔｉｏｎ）することで３次元座標（Ｘ、Ｙ、Ｚ）を得るが、ＧＣＰと３次元座標が同一の位置でなければならない。しかし、ドローン映像は低価型ＧＰＳを使用するため、３次元座標はＧＣＰとは異なる位置を示すことがある。このとき、７－ｐａｒａｍｅｔｅｒｓ処理によって３次元座標がＧＣＰ位置に合うようにスケール、回転、移動を計算し、その媒介変数を（スケール、回転、移動）ドローン映像に適用および変換することにより、実際の地形と類似する当時撮影されたドローンの位置を推定することができる。コンピュータ装置１００は、７－ｐａｒａｍｅｔｅｒｓを処理しながら、仮想ＧＣＰの３次元座標でＸ、Ｙ、Ｚそれぞれに対する評価を加重値によって考慮してよい。一例として、コンピュータ装置１００は、加重値を補正して自己校正（ｓｅｌｆ－ｃａｌｉｂｒａｔｉｏｎ）を実行してよい。このとき、コンピュータ装置１００は、映像のサイド（ｓｉｄｅ）側により強い加重値を置き、特徴点の密集度から離れるほど強い加重値を与えてよい。

図１１および図１２は、本発明の一実施形態における、加重値を補正する例を示した図である。図１１は、映像のサイド側に位置する地点であるほど共分散（ｃｏｖａｒｉａｎｃｅ）が減少することを示している。自己校正をするときには映像の歪曲（ｄｉｓｔｏｒｔｉｏｎ）を補正することが核心となるが、通常、映像の歪曲は、映像の終端部分で起こる。したがって、映像の終端部分にあるポイントに共分散（ｃｏｖａｒｉａｎｃｅ）を少なく置いて歪曲を補正するときにより多くの影響を受けるようにすることにより、歪曲をより正確に補正することができる。

図１２は、特徴点の密集度が減少する地点であるほど加重値（ｗｅｉｇｈｔ）が増加することを示している。

以下の数式（１）は、バンドル調整の基本数式の例を示している。

ここで、ｘｇｃｐはドローン映像のピクセルの位置点を示してよく、Ｋはドローンカメラの内部焦点距離および歪曲係数を含む情報を含んでよく、Ｒはドローンカメラの回転情報を、Ｇは３次元座標（ＧＣＰ）に対応する映像座標を示してよい。ρは損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を、ｅは費用関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）を、Ｐはプロジェクション関数（ｐｒｏｊｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎ）を、Ｗｇｃｐは加重値をそれぞれ示してよい。Ｇは外部に出向いて直接測量したデータではないため、正確度で８～１５ｃｍの差が生じることがある。これにより、ＧＣＰを完全なトゥルー（ｔｒｕｅ）として置かず、多少の調整が可能な未知数として置いて方程式を解くようになる。言い換えれば、Ｇは初めに得られたＧＣＰであってよく、

は推定されたＧＣＰであってよい。推定されたＧＣＰと初めに得られたＧＣＰの差が極端に開かないようにするために加重値（Ｗｇｃｐ）を置いて推定してよい。このように、ピクセルの位置点ｘｇｃｐは事前マッチングによって既に決定されているため、コンピュータ装置１００は、ピクセルの位置点ｘｇｃｐを利用してＧＣＰに対応する映像座標との差が最小となるＲ、Ｋを決定してよい。追加的に、コンピュータ装置１００は、推定された（または、補正されたＧＣＰである）

を決定してよい。言い換えれば、コンピュータ装置１００は、マッチングされたドローン映像のピクセルの位置点に基づいて、ＧＣＰに対応する映像座標との差が最小となるドローンカメラの内部焦点距離、歪曲係数、ドローンカメラの回転情報、および補正されたＧＣＰを決定してよい。

一方、損失関数は、以下の数式（２）のように示されてよい。

ここで、ｒはエラーを、δは予め設定された閾値をそれぞれ示してよい。また、ｃ’は数式（３）のように、ｓ’は数式（４）のように表現されてよい。

数式（２）は、エラーが予め設定された閾値未満の場合に加重値を一定の値に固定するために活用されてよい。

このように、コンピュータ装置１００で仮想ＧＣＰをフィルタリングすることにより、ある程度の異常値（ｏｕｔｌｉｅｒ）があったとしても、既存の航空地図にドローン映像を適切にマッピングすることができる。

図１３は、本発明の一実施形態における、ドローン映像と航空映像の解像度の差を示した図であり、図１４は、本発明の一実施形態における、ドローン映像を利用して航空地図をアップデートした例を示した図である。

図１３では、ドローン映像（Ｄｒｏｎｅ）１３１０の解像度が航空映像（Ａｅｒｉａｌ）１３２０よりも高いことを示しており、図１４では、解像度が相対的により高いドローン映像を利用して航空地図をアップデートすることによって、ドローン映像を利用してアップデートされた航空地図の領域の解像度が増加した例を示している。

このように、本発明の実施形態によると、ドローン映像を活用して航空地図を生成および／またはアップデートするにあたり、既存の３次元航空地図をＧＣＰとして活用することにより、航空地図の生成および／またはアップデートのための時間および費用を減らすことができる。また、ＧＣＰとして活用される３次元航空地図とドローン映像の自動マッチングを支援することにより、人力と時間を節約することができる。

上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

１００：コンピュータ装置
１１０：メモリ
１２０：プロセッサ
１３０：通信インタフェース
１４０：入力／出力インタフェース
１５０：入力／出力装置
１６０：ネットワーク

Claims (16)

1. 少なくとも１つのプロセッサを含むコンピュータ装置により航空地図をアップデートするアップデート方法であって、
   前記少なくとも１つのプロセッサにより、既存の航空地図ベースのＤＥＭ、ＤＳＭ、およびトゥルーオルソフォトを利用して、予め設定された高さ以上の映像を含むルーフトゥルーオルソフォトを生成する段階であって、前記トゥルーオルソフォトから前記ＤＳＭと前記ＤＥＭの差が予め設定された高さ以上の部分を抽出して前記ルーフトゥルーオルソフォトを生成する、生成する段階、
   前記少なくとも１つのプロセッサにより、ドローン映像と前記ルーフトゥルーオルソフォトをマッチングする段階、および
   前記少なくとも１つのプロセッサにより、前記マッチングされたドローン映像を基準に、他のドローン映像にＧＣＰを入力する段階であって、前記マッチングされたドローン映像のポイントに前記ルーフトゥルーオルソフォトのマッチングされたポイントによる３次元座標を仮想ＧＣＰとして入力する段階、および前記マッチングされたドローン映像のポイントとマッチングする前記他のドローン映像のポイントに前記仮想ＧＣＰを入力する段階を含む、入力する段階
   を含むことを特徴とする、アップデート方法。
2. 前記ドローン映像と前記ルーフトゥルーオルソフォトをマッチングする段階は、
   前記ドローン映像と前記ルーフトゥルーオルソフォトの特徴点マッチングを処理する段階、
   前記ドローン映像の一部から少なくとも１つのマッチングポイントを選定する段階、および
   前記選定されたマッチングポイントに対応する前記ルーフトゥルーオルソフォトの位置に対する実際の地形の３次元座標を、前記選定されたマッチングポイントに対する仮想ＧＣＰとして選定する段階
   を含むことを特徴とする、請求項１に記載のアップデート方法。
3. 前記特徴点マッチングを処理する段階は、
   Ｒ２Ｄ２マッチングを利用して、前記ドローン映像の特徴点と前記ルーフトゥルーオルソフォトの特徴点をマッチングすることを特徴とする、請求項２に記載のアップデート方法。
4. 前記ドローン映像と前記ルーフトゥルーオルソフォトをマッチングする段階は、
   前記ルーフトゥルーオルソフォトでアップデートしようとする範囲に予め設定された長さに基づいてシードを設定する段階、
   前記設定されたシードから最も近いルーフトゥルーオルソフォトをロードする段階、
   前記ロードされたルーフトゥルーオルソフォトから特徴点を抽出した後、前記設定されたシードの位置を前記抽出された特徴点の密集度に基づいて再設定する段階、および
   前記再設定されたシードの位置から最も近いドローン映像の一部をロードする段階
   をさらに含むことを特徴とする、請求項２に記載のアップデート方法。
5. 前記シードを設定する段階は、
   一辺の長さが前記予め設定された長さである複数の正方形で構成される範囲に対し、前記複数の正方形それぞれに予め設定された数のシードをランダムに設定することを特徴とする、請求項４に記載のアップデート方法。
6. 前記再設定する段階は、
   前記シードの位置を前記抽出された特徴点の密集度が最も高い位置に再設定することを特徴とする、請求項４に記載のアップデート方法。
7. 前記仮想ＧＣＰを入力する段階は、
   デンスマッチングを利用して、前記マッチングされたドローン映像のポイントと前記他のドローン映像のポイントをマッチングすることを特徴とする、請求項１乃至６のいずれか１項に記載のアップデート方法。
8. 前記少なくとも１つのプロセッサにより、前記ＧＣＰをフィルタリングする段階
   をさらに含む、請求項１～７のうちのいずれか一項に記載のアップデート方法。
9. ドローンカメラのカメラポーズと前記ドローンカメラのカメラ内部情報として、前記マッチングされたドローン映像のピクセルの位置点に基づいて、前記ＧＣＰに対応する映像座標との差が最小となる前記ドローンカメラの内部焦点距離、歪曲係数、および前記ドローンカメラの回転情報を決定する段階
   をさらに含むことを特徴とする、請求項１に記載のアップデート方法。
10. 前記少なくとも１つのプロセッサにより、前記フィルタリングされたＧＣＰが入力されたドローン映像に基づいてアップデートされたＤＳＭを生成する段階、および
    前記少なくとも１つのプロセッサにより、前記アップデートされたＤＳＭに基づいてアップデートされたトゥルーオルソフォトを生成する段階
    をさらに含む、請求項８に記載のアップデート方法。
11. 請求項１～１０のうちのいずれか一項に記載の方法をコンピュータ装置に実行させるためのコンピュータプログラム。
12. 請求項１～１０のうちのいずれか一項に記載の方法をコンピュータ装置に実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
13. コンピュータ読み取り可能な命令を実行ように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサにより、
    既存の航空地図ベースのＤＥＭ、ＤＳＭ、およびトゥルーオルソフォトを利用して、予め設定された高さ以上の映像を含むルーフトゥルーオルソフォトを生成することであって、前記トゥルーオルソフォトから前記ＤＳＭと前記ＤＥＭの差が予め設定された高さ以上の部分を抽出して前記ルーフトゥルーオルソフォトを生成し、
    ドローン映像と前記ルーフトゥルーオルソフォトをマッチングし、
    前記マッチングされたドローン映像を基準に、他のドローン映像にＧＣＰを入力することであって、前記マッチングされたドローン映像のポイントに前記ルーフトゥルーオルソフォトのマッチングされたポイントによる３次元座標を仮想ＧＣＰとして入力し、前記マッチングされたドローン映像のポイントとマッチングする前記他のドローン映像のポイントに前記仮想ＧＣＰを入力すること
    を特徴とする、コンピュータ装置。
14. 前記ドローン映像と前記ルーフトゥルーオルソフォトをマッチングするために、前記少なくとも１つのプロセッサにより、
    前記ドローン映像と前記ルーフトゥルーオルソフォトの特徴点マッチングを処理し、
    前記ドローン映像の一部から少なくとも１つのマッチングポイントを選定し、
    前記選定されたマッチングポイントに対応する前記ルーフトゥルーオルソフォトの位置に対する実際の地形の３次元座標を、前記選定されたマッチングポイントに対する仮想ＧＣＰとして選定すること
    を特徴とする、請求項１３に記載のコンピュータ装置。
15. 前記ドローン映像と前記ルーフトゥルーオルソフォトをマッチングするために、前記少なくとも１つのプロセッサにより、
    前記ルーフトゥルーオルソフォトでアップデートしようとする範囲に予め設定された長さに基づいてシードを設定し、
    前記設定されたシードから最も近いルーフトゥルーオルソフォトをロードし、
    前記ロードされたルーフトゥルーオルソフォトから特徴点を抽出した後、前記設定されたシードの位置を前記抽出された特徴点の密集度に基づいて再設定し、
    前記再設定されたシードの位置から最も近いドローン映像の一部をロードすること
    を特徴とする、請求項１４に記載のコンピュータ装置。
16. 前記設定されたシードの位置を前記抽出された特徴点の密集度に基づいて再設定するために、前記少なくとも１つのプロセッサにより、
    前記シードの位置を、前記抽出された特徴点の密集度が最も高い位置に再設定すること
    を特徴とする、請求項１５に記載のコンピュータ装置。