JP7374433B2

JP7374433B2 - 構築物の三次元形状データの生成方法

Info

Publication number: JP7374433B2
Application number: JP2019159659A
Authority: JP
Inventors: 剣一水野; 知広溝口; 裕俊藏重
Original assignee: Nihon University; Penta Ocean Construction Co Ltd
Current assignee: Nihon University; Penta Ocean Construction Co Ltd
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2023-11-07
Anticipated expiration: 2039-09-02
Also published as: JP2021039500A

Description

本発明は、構築物の三次元形状データを生成する技術に関する。

三次元レーザスキャナ等のデプスセンサにより生成される構築物の三次元形状を表す三次元スキャン画像データから、多数のメッシュの集まりにより当該構築物の三次元形状を表す三次元メッシュモデルデータを生成することが行われている。三次元メッシュモデルデータは三次元スキャン画像データよりも小さいデータ量で物体の三次元形状を表すため、扱いやすい。

三次元スキャン画像データから三次元メッシュモデルデータを生成する方法として、例えば以下の方法がある。

まず、三次元スキャン画像データに対し局所二次多項式曲面フィッティングを反復的に行いメッシュ頂点の主曲率を算出し、算出した主曲率に基づき初期セグメンテーションを行う。

初期セグメンテーションにおいては、各メッシュ頂点の主曲率を解析し、本来の曲面間の境界ではなく曲面上に乗っていると推定される小さな数の連結頂点の集合からなるシード領域を生成する。続いて、二次多項式曲面と二次曲面を併用したリージョングローイングを用いて領域への曲面フィッティングとシード領域への近傍頂点追加を反復的に行い、メッシュ頂点上の部分領域とそれを近似する解析曲面を抽出する。

続いて、リージョンマージングを用いて、ユーザが指定した閾値内で領域数ができるだけ少なくなるように初期セグメンテーションで生成された初期領域を統合する。

三次元スキャン画像データから三次元メッシュモデルデータを生成する技術を開示している文献として、例えば特許文献１がある。

特開２００７－２４１９９６号公報

上述した方法によれば、構築物の形状がどのような形状であっても、その三次元形状を表す三次元メッシュモデルデータを生成することができる。ただし、上述した方法による場合、二次多項式曲面を全て探査する必要があり、多大な計算時間を要する。

ところで、構築物の中には、互いに直交する３軸のいずれかに直交する平面領域の集まりに近似する形状のものがある。例えば、橋梁の上部工を下から見た形状は、多くの場合、その大半が、鉛直方向をｚ軸とし、橋梁の軸方向をｘ軸とし、橋梁の幅方向をｙ軸とする座標系の空間において、実質的にｘｙ平面、ｘｚ平面、ｙｚ平面のいずれかに平行な複数の平面領域で構成されている。

上記の事情に鑑み、本発明は、大半が規則的に配置された複数の平面領域で構成される構築物の三次元形状を表す三次元形状データを従来技術と比較して短時間で生成する手段を提供する。

本発明は、コンピュータが、複数の視点から撮影して得られた構築物の複数の二次元画像データから所定の方法で生成して得られた点群データ、又は、レーザスキャナで得られた点群データを用い、互いに直交するｘ軸、ｙ軸及びｚ軸を有する座標系の空間内に配置され、ｚ軸方向に凹凸を有する前記構築物の表面上の複数の点の各々に関し当該点の座標値を示す点データの集まりであるｚ軸点群データを取得するステップと、前記コンピュータが、前記ｚ軸点群データが示す複数の点のうちｚ軸に平行な平面領域内の点を境界点として抽出するステップと、前記コンピュータが、ｘｙ平面において前記境界点に囲まれる複数の領域を特定するステップと、前記コンピュータが、前記複数の領域の各々に関し、前記ｚ軸点群データに含まれる複数の点データのうちｘ座標値及びｙ座標値が当該領域内である複数の点データのｚ座標値の代表値をｚ座標値とするｘｙ平面に平行な平面領域を特定するステップと、前記コンピュータが、特定した複数の前記ｘｙ平面に平行な平面領域のうち互いに隣接する２つの平面領域の外縁を２辺とする矩形のｚ軸に平行な平面領域を特定するステップと、前記コンピュータが、前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表すデータを、前記構築物の三次元形状を表す三次元形状データとして生成するステップとを備える構築物の三次元形状データの生成方法を第１の態様として提供する。

第１の態様に係る構築物の三次元形状データの生成方法によれば、大半が規則的に配置された複数の平面領域で構成される構築物の三次元形状を表す三次元形状データを従来技術と比較して短時間で生成することができる。

また、本発明は、第１の態様に係る構築物の三次元形状データの生成方法であって、前記座標系を第２座標系とし、前記ｚ軸点群データを第２座標系点群データとするとき、前記ｚ軸点群データを取得するステップは、前記コンピュータが、前記第２座標系とは異なる第１座標系で前記構築物の表面上の複数の点の各々に関し当該点の座標値を示す点データの集まりである第１座標系点群データを取得するステップと、前記コンピュータが、前記第１座標系点群データが表す三次元形状の支配的な３軸を前記第２座標系の３軸として特定するステップと、前記コンピュータが、前記第１座標系点群データが示す点群の座標値を前記第２座標系の座標値に変換して前記第２座標系点群データを生成するステップとを有する、という構成を第２の態様として提案する。

第２の態様に係る構築物の三次元形状データの生成方法によれば、構築物の三次元形状の支配的な３軸とは異なる３軸の座標系の座標値により当該構築物の三次元形状を表す点群データを用いて、当該構築物の三次元形状を複数の平面領域で表す三次元形状データを生成することができる。

また、本発明は、第２の態様に係る構築物の三次元形状データの生成方法であって、前記生成するステップは、前記コンピュータが、前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表す前記第２座標系の座標値を前記第１座標系の座標値に変換するステップと、前記コンピュータが、変換した前記第１座標系の座標値により前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表す三次元形状データを生成するステップとを有する、という構成を第３の態様として提案する。

第３の態様に係る構築物の三次元形状データの生成方法によれば、用いる点群データの座標系の座標値で構築物の三次元形状を表す三次元形状データを生成することができる。

また、本発明は、第１乃至第３のいずれかの態様に係る構築物の三次元形状データの生成方法であって、前記複数の領域を特定するステップは、前記コンピュータが、前記境界点を含む領域を通る線を近似する直線又は所定の特性の曲線を特定するステップと、前記コンピュータが、特定した前記直線又は所定の特性の曲線を外縁とする複数の領域を特定するステップとを有する、という構成を第４の態様として提案する。

第４の態様に係る構築物の三次元形状データの生成方法によれば、構築物の三次元形状を構成する平面領域の境界線の形状が直線又は円や楕円等の所定の特性の曲線で構成されている場合、当該構築物の三次元形状を高い精度で表す三次元形状データを生成することができる。

また、本発明は、コンピュータに、複数の視点から撮影して得られた構築物の複数の二次元画像データから所定の方法で生成して得られた点群データ、又は、レーザスキャナで得られた点群データを用い、互いに直交するｘ軸、ｙ軸及びｚ軸を有する座標系の空間内に配置され、ｚ軸方向に凹凸を有する前記構築物の表面上の複数の点の各々に関し当該点の座標値を示す点データの集まりであるｚ軸点群データを取得する処理と、前記ｚ軸点群データが示す複数の点のうちｚ軸に平行な平面領域内の点を境界点として抽出する処理と、ｘｙ平面において前記境界点に囲まれる複数の領域を特定する処理と、前記複数の領域の各々に関し、前記ｚ軸点群データに含まれる複数の点データのうちｘ座標値及びｙ座標値が当該領域内である複数の点データのｚ座標値の代表値をｚ座標値とするｘｙ平面に平行な平面領域を特定する処理と、特定した複数の前記ｘｙ平面に平行な平面領域のうち互いに隣接する２つの平面領域の外縁を２辺とする矩形のｚ軸に平行な平面領域を特定する処理と、前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表すデータを、前記構築物の三次元形状を表す三次元形状データとして生成する処理とを実行させるためのプログラムを第５の態様として提供する。

第５の態様に係るプログラムによればコンピュータにより、大半が規則的に配置された複数の平面領域で構成される構築物の三次元形状を表す三次元形状データを従来技術と比較して短時間で生成することができる。

本発明によれば、大半が規則的に配置された複数の平面領域で構成される構築物の三次元形状を表す三次元形状データを従来技術と比較して短時間で生成することができる。

一実施形態に係る方法の処理フローを示した図。一実施形態に係る方法の処理フローを示した図。一実施形態に係る方法において生成される第２座標系点群データが表す画像を例示した図。一実施形態に係る方法において特定される境界ピクセルを表す画像を例示した図。一実施形態に係る方法において特定されるエッジを表す画像を例示した図。一実施形態に係る方法において２本のエッジを接続する処理を説明するための図。一実施形態に係る方法において２本のエッジを接続する処理を説明するための図。一実施形態に係る方法において特定されるｘｙ平面に平行な平面領域を表す画像を例示した図。一実施形態に係る方法において生成される点群データと三次元簡略化モデルデータが表す三次元形状を例示した図。

［実施形態］
以下、本発明の一実施形態に係る構築物の三次元形状データの生成方法（以下、「方法Ｍ」という）を説明する。方法Ｍは、点群により構築物の三次元形状を表す三次元形状データ（以下、「点群データ」という）から、頂点、エッジ、ループ、領域を示すデータ群により構築物の三次元形状を表す三次元形状データ（以下、「三次元簡略化モデルデータ」という）を生成する方法である。

ただし、方法Ｍにより有効な三次元簡略化モデルデータが生成できる構築物は、互いに直交する支配的な３軸が存在する構築物である。なお、互いに直交する支配的な３軸が存在する構築物とは、構築物の表面の大半が互いに直交する３軸のいずれか１つを法線とする複数の平面領域で構成されている構築物を意味する。

図１Ａ及び図１Ｂ（以下、これらを「図１」と呼ぶ）は、方法Ｍの処理フローを示した図である。図１に示される処理はコンピュータが本実施形態に係るプログラムに従い行う。以下、三次元簡略化モデルデータの生成の対象を構築物Ｓとし、下から見た橋梁の上部工が構築物Ｓである場合を例に方法Ｍの処理フローを説明する。

まず、構築物Ｓを複数の視点から撮影して得られる二次元画像を表す画像データを取得する（ステップＳ０１）。続いて、ＳｆＭ（Structure from Motion）により、ステップＳ０１において取得した複数の画像データから構築物の点群データを生成する（ステップＳ０２）。本実施形態においては、ステップＳ０２において、法線ベクトルを持つメッシュ群を表す点群データを生成する。ステップＳ０２で生成される点群データが表すメッシュの各々の頂点や法線ベクトルは、或る座標系（以下、「第１座標系」という）における座標値を用いて表現されている。以下、ステップＳ０２で生成される点群データを「第１座標系点群データ」という。

続いて、第１座標系点群データが表す三次元形状の支配的な３軸を、頂点法線ベクトルのガウシアンマッピングとＲＡＮＳＡＣ法により特定する（ステップＳ０３）。

以下、ステップＳ０３において特定された３軸をｘ軸、ｙ軸、ｚ軸とする座標系を「第２座標系」と呼ぶ。第２座標系のｚ軸は鉛直方向の軸であり、ｘ軸は構築物Ｓの軸方向（車両等の走行方向）の軸であり、ｙ軸は構築物Ｓの幅方向（車両等の幅方向）の軸である。

続いて、第１座標系点群データが示す点群の座標値を第２座標系の座標値に変換した点群データ（以下、「第２座標系点群データ」という）を生成する（ステップＳ０４）（請求の範囲に記載の点群データを取得するステップの一例）。図２は、第２座標系点群データが表す画像を例示した図である。

続いて、第２座標系点群データが示す複数のメッシュの中から、法線ベクトルがｘｙ平面との間でなす角度が所定の閾値内（実質的に平行）のメッシュを抽出する（ステップＳ０５）（請求の範囲に記載の抽出するステップの一例）。なお、ステップＳ０５において抽出されるメッシュは、構築物Ｓの表面のうちｚ軸に平行な平面領域内のメッシュである。以下、ステップＳ０５において抽出されるメッシュを「境界メッシュ」と呼び、境界メッシュの頂点を「境界頂点」（請求の範囲に記載の境界点の一例）と呼ぶ。

続いて、第２座標系点群データが示すメッシュの頂点をｘｙ平面に投影する（ステップＳ０６）。なお、点をｘｙ平面に投影する、という場合、その点のｚ座標値をゼロ値に変更することを意味する。

続いて、ｘｙ平面を所定サイズの所定形状の単位領域であるピクセルに分割する（ステップＳ０７）。本実施形態においては、例として、１ピクセルは１０ｃｍ四方の正方形とする。

続いて、境界頂点を含むピクセルを抽出する（ステップＳ０８）。以下、ステップＳ０８において抽出されるピクセルを「境界ピクセル」と呼ぶ。図３は、境界ピクセルを表す画像を例示した図である。なお、図３において、境界ピクセルは白で示されている。

続いて、境界ピクセルを対象に、領域成長法により直線状に分布するピクセル群を１塊とするセグメンテーションを行う（ステップＳ０９）。続いて、セグメンテーションされたピクセル群にフィットする直線（線分）を特定する（ステップＳ１０）。なお、ステップＳ１０において特定される直線は、セグメンテーションされたピクセル群（境界頂点を含む領域）を通る線を近似する直線である。以下、ステップＳ１０において特定される線分を「エッジ」（請求の範囲に記載の外縁の一例）と呼ぶ。エッジの両端が三次元簡略化モデルにおける頂点となる。図４は、エッジを表す画像を例示した図である。

続いて、不連続なエッジ間の接続処理を行う（ステップＳ１１）。具体的には、以下の２つのパターンに関して、エッジ間の接続処理を行う。

（パターン１）図５（ａ）に示すように、隣接する２本のエッジの端点間の距離が所定の閾値以内である場合、２本のエッジの各々を延長して交点を特定し、その交点を２本のエッジに共通の新たな頂点とする（図５（ｂ））。

（パターン２）図６（ａ）に示すように、隣接する２本のエッジの一方の端点と他方のエッジとの距離が所定の閾値以内である場合、一方のエッジを延長して交点を特定し、その交点を延長したエッジの新たな頂点とするとともに、他方のエッジをその交点で２本のエッジに分割する（図６（ｂ））。

続いて、境界ピクセルでないピクセルが連続する領域をクラスタリングする（ステップＳ１２）。続いて、クラスタリングした領域の各々に関し、領域内のピクセルのｚ座標値の平均値を当該ピクセルのｚ座標値とするｘｙ平面に平行な平面領域を特定する（ステップＳ１３）（請求の範囲に記載のｘｙ平面に平行な平面領域を特定するステップの一例）。図７は、ｘｙ平面に平行な平面領域を表す画像を例示した図である。

続いて、ステップＳ１３において特定した平面領域の中から、各エッジに隣接する２つの平面領域を探索し、平面領域間の隣接関係を特定する（ステップＳ１４）。また、ステップＳ１３において特定した平面領域の各々に関し、平面領域を囲むエッジ群をループとして特定する（ステップＳ１５）。

続いて、各エッジを、そのエッジに隣接する２つの平面領域のｚ座標値間でｚ軸方向にスイープして生成される平面領域を、ｚ軸に平行な平面領域として特定する（ステップＳ１６）（請求の範囲に記載のｚ軸に平行な平面領域を特定するステップの一例）。なお、ステップＳ１６において特定される平面領域は、隣接する２つの平面領域のエッジを２辺とする矩形の平面領域である。ステップＳ１６の処理によって、新たなエッジとループが生成される。

以上の処理により、構築物Ｓの形状を表す、ｘｙ平面に平行な平面領域と、ｚ軸に平行な平面領域と、それらの平面領域を囲むループと、各ループを構成するエッジと、各エッジの両端の頂点が特定される。

続いて、上記のように特定された平面領域、ループ、エッジ及び頂点を示す座標値を、第１座標系の座標値に変換する（ステップＳ１７）。そして、ステップＳ１７における変換後の座標値により平面領域、ループ、エッジ及び頂点を示すデータを、構築物Ｓの三次元形状を表す三次元簡略化モデルデータ（請求の範囲に記載の三次元形状データの一例）として生成する（ステップＳ１８）（請求の範囲に記載の生成するステップの一例）。図８は、第１座標系点群データが表す三次元形状と、ステップＳ１８において生成される三次元簡略化モデルデータが表す三次元形状を例示した図である。図８（ａ）は第１座標系点群データが表す三次元形状の例であり、図８（ｂ）は三次元簡略化モデルデータが表す三次元形状の例であり、図８（ｃ）はそれらの三次元形状を重ね合わせた図の例である。方法Ｍにより生成される三次元簡略化モデルデータは、第１座標系点群データより大幅に要素数が削減されているが、図８より、第１座標系点群データが表す三次元形状をよく近似していることが分かる。

以上が方法Ｍの処理の説明である。上述した方法Ｍによれば、構築物Ｓを少ないデータ量で表す三次元簡略化モデルデータが従来技術による場合と比較して短時間で生成される。

［変形例］
上述の実施形態は本発明の一具体例であって、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。なお、以下に示す２以上の変形例が適宜組み合わされてもよい。

（１）ステップＳ０１及びＳ０２において第１座標系点群データを生成する手法はＳｆＭに限られない。例えば、ステレオカメラやレーザスキャナ等のデプスセンサにより第１座標系点群データが生成されてもよい。その場合、コンピュータは外部の装置により生成された第１座標系点群データを取得し、その第１座標系点群データを用いて、ステップＳ０３以降の処理を行えばよい。

（２）第１座標系点群データの形式は法線ベクトルを持つメッシュ群を表すものに限られない。例えば、ポリゴンモデルを表す第１座標系点群データが用いられてもよい。

（３）ステップＳ０３において、第１座標系点群データが表す三次元形状の支配的な３軸を特定する手法は、頂点法線ベクトルのガウシアンマッピングとＲＡＮＳＡＣ法を用いる手法に限られない。

（４）ピクセルのサイズ及び形状は上述したものに限られない。

（５）上述した実施形態においては、エッジは直線であるものとしたが、エッジが円弧や楕円弧等の所定の特性を持つ曲線であってもよい。この場合、ステップＳ１０において、セグメンテーションされたピクセル群にフィットする直線又は所定の特性を持つ曲線を特定することになる。

（６）上述した実施形態においては、ステップＳ１３において特定するｘｙ平面に平行な平面領域のｚ座標値として、ステップＳ１２においてクラスタリングした領域内のピクセルのｚ座標値の平均値を用いるものとした。ここで、平均値に代えて、中間値、最頻値等の他の統計値を用いてもよい。

（７）上述した実施形態においては、第２座標系点群データが示すメッシュのうち法線ベクトルがｘｙ平面と実質的に平行なものを抽出し、それらのメッシュの頂点（境界点）を含む領域を通る線をｘｙ平面に平行な平面領域の境界線として特定する。ｘｙ平面に平行な平面領域の境界線の特定方法はこれに限られない。例えば、第２座標系点群データが示す点をｘｙ平面に投影し、ｘｙ平面において投影された点群の分布に基づき、境界線の特定を行ってもよい。すなわち、ｘｙ平面において点群の密度が所定の閾値以上である領域を通る線を境界線として特定してもよい。

Claims

コンピュータが、複数の視点から撮影して得られた構築物の複数の二次元画像データから所定の方法で生成して得られた点群データ、又は、レーザスキャナで得られた点群データを用い、互いに直交するｘ軸、ｙ軸及びｚ軸を有する座標系の空間内に配置され、ｚ軸方向に凹凸を有する前記構築物の表面上の複数の点の各々に関し当該点の座標値を示す点データの集まりであるｚ軸点群データを取得するステップと、
前記コンピュータが、前記ｚ軸点群データが示す複数の点のうちｚ軸に平行な平面領域内の点を境界点として抽出するステップと、
前記コンピュータが、ｘｙ平面において前記境界点に囲まれる複数の領域を特定するステップと、
前記コンピュータが、前記複数の領域の各々に関し、前記ｚ軸点群データに含まれる複数の点データのうちｘ座標値及びｙ座標値が当該領域内である複数の点データのｚ座標値の代表値をｚ座標値とするｘｙ平面に平行な平面領域を特定するステップと、
前記コンピュータが、特定した複数の前記ｘｙ平面に平行な平面領域のうち互いに隣接する２つの平面領域の外縁を２辺とする矩形のｚ軸に平行な平面領域を特定するステップと、
前記コンピュータが、前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表すデータを、前記構築物の三次元形状を表す三次元形状データとして生成するステップと
を備える構築物の三次元形状データの生成方法。
前記座標系を第２座標系とし、前記ｚ軸点群データを第２座標系点群データとするとき、
前記ｚ軸点群データを取得するステップは、
前記コンピュータが、前記第２座標系とは異なる第１座標系で前記構築物の表面上の複数の点の各々に関し当該点の座標値を示す点データの集まりである第１座標系点群データを取得するステップと、
前記コンピュータが、前記第１座標系点群データが表す三次元形状の支配的な３軸を前記第２座標系の３軸として特定するステップと、
前記コンピュータが、前記第１座標系点群データが示す点群の座標値を前記第２座標系の座標値に変換して前記第２座標系点群データを生成するステップと
を有する
請求項１に記載の構築物の三次元形状データの生成方法。
前記生成するステップは、
前記コンピュータが、前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表す前記第２座標系の座標値を前記第１座標系の座標値に変換するステップと、
前記コンピュータが、変換した前記第１座標系の座標値により前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表す三次元形状データを生成するステップと
を有する
請求項２に記載の構築物の三次元形状データの生成方法。
前記複数の領域を特定するステップは、
前記コンピュータが、前記境界点を含む領域を通る線を近似する直線又は所定の特性の曲線を特定するステップと、
前記コンピュータが、特定した前記直線又は所定の特性の曲線を外縁とする複数の領域を特定するステップと
を有する
請求項１乃至３のいずれか１項に記載の構築物の三次元形状データの生成方法。
コンピュータに、
複数の視点から撮影して得られた構築物の複数の二次元画像データから所定の方法で生成して得られた点群データ、又は、レーザスキャナで得られた点群データを用い、互いに直交するｘ軸、ｙ軸及びｚ軸を有する座標系の空間内に配置され、ｚ軸方向に凹凸を有する前記構築物の表面上の複数の点の各々に関し当該点の座標値を示す点データの集まりであるｚ軸点群データを取得する処理と、
前記ｚ軸点群データが示す複数の点のうちｚ軸に平行な平面領域内の点を境界点として抽出する処理と、
ｘｙ平面において前記境界点に囲まれる複数の領域を特定する処理と、
前記複数の領域の各々に関し、前記ｚ軸点群データに含まれる複数の点データのうちｘ座標値及びｙ座標値が当該領域内である複数の点データのｚ座標値の代表値をｚ座標値とするｘｙ平面に平行な平面領域を特定する処理と、
特定した複数の前記ｘｙ平面に平行な平面領域のうち互いに隣接する２つの平面領域の外縁を２辺とする矩形のｚ軸に平行な平面領域を特定する処理と、
前記ｘｙ平面に平行な平面領域と前記ｚ軸に平行な平面領域とを表すデータを、前記構築物の三次元形状を表す三次元形状データとして生成する処理と
を実行させるためのプログラム。