JP6296444B2 - 点群画像による図化方法、及び点群画像による図化装置 - Google Patents

Description

本願発明は、同一領域を含む２つの画像を用いてステレオ図化する技術に関するものであり、より具体的には当該領域を計測した三次元の点群から２枚の画像を作成し、これらの画像をステレオペアとして図化する点群画像による図化方法、及び図化装置に関するものである。

地形図を作成する場合、通常は広範囲に渡って地形計測を行う必要がある。そのため、航空機から写真を撮影し、この航空写真を用いて地形の図化を行う航空写真測量がこれまでの主流であった。航空写真測量は、１枚の写真のみを用いて地形を計測する単写真測量と、２枚以上の写真を用いて計測する立体写真測量に大別され、広範囲の地形を図化する場合は一般的に立体写真測量が用いられる。

立体写真測量は、原則として２枚一組（いわゆるステレオペア）の写真を利用するもので、それぞれの写真を撮影した状態を再現することによって実空間である被写体の三次元座標（Ｘ，Ｙ，Ｚ）を求める。具体的には、投影中心（カメラレンズの中心）の座標、カメラの傾き、焦点距離、写真上の座標（ｘ，ｙ）などの値を２枚の写真それぞれについて求め、これらの値に基づいて実空間の座標を求める。なお、三次元座標（Ｘ，Ｙ，Ｚ）で表される投影中心座標と、三軸からの傾斜角（ω，φ，κ）で表されるやカメラの傾きは、外部標定要素と呼ばれ、航空写真測量を行うに当たっては必須の要素となる。

また航空写真測量を行ううえでは、外部標定要素のほかに内部標定要素を決定する必要もある。内部標定要素はカメラが持つ機械誤差を調整するための値で、例えば機械誤差としてはレンズの放射方向歪曲収差（ラジアルディストーション）などのレンズディストーションが挙げられる。このように、外部標定要素を求め、さらに内部標定要素も決定したうえで航空写真測量を行うことにより、精度よく実空間の座標を求めることができる。

既に述べたように、地形図の作成において航空写真測量の技術は周知慣用の技術であり、特許文献１をはじめ多くの発明で応用されている。また非特許文献１に示すように、航空写真測量は計測の基礎技術として、多くの者に学習されているところである。

特開２０１２−１６５１０２号公報 解析写真測量 改訂版，社団法人日本写真測量学会・解析写真測量委員会，１９９７年 ４月１０日

航空写真測量による図化は、地上にある種々の物（以下、「地物」という。）を実際に撮影した写真を見ながら行うもので、直観的に処理することができ、そのため図化すべき地物を見落としにくいという利点がある。しかしながら、内部標定要素や外部標定要素を求めるために複雑な演算処理を行う必要があり、しかもこれらの要素には若干の誤差が残るため図化された地物の座標にも誤差を残すこととなる。なお昨今では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位計とＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの慣性計測装置を利用した直接定位により外部標定要素を求めることもある。この手法によれば、投影中心座標やカメラの傾きを直接求めることができるものの、この場合も複雑な繰り返し計算が必要となるし、誤差が残ることにも変わりはない。

ところで、近年モバイルマッピングシステム（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ：ＭＭＳ）と呼ばれる計測手法が盛んに利用されるようになってきた。ＭＭＳは、レーザー計測機を搭載した車両で移動しながら、沿道地物の三次元座標を取得するものであり、極めて多くの計測点を取得するというと特徴を備えている。多数の計測点を利用すれば、これまで以上に容易かつ正確に地物を図化できると考えられたが、実際にはいくつかの問題が生ずることが分かった。まず、単なる点群であるため直観的に地物を把握しづらく、図化すべき地物を見落とすおそれがある点が指摘できる。また、夥しい数の計測点を処理することとなり、その結果これらを演算処理するためこれまで以上に時間を要し、かえって図化する速度が遅くなるという問題も指摘できる。

本願発明の課題は、上記問題を解決することであり、すなわち直観的に地物を把握しながら図化することが可能であり、しかも大量の三次元計測点からなる大容量のデータを直接扱うことなく速やかに演算処理できる図化手法、すなわち点群画像による図化方法、及び点群画像による図化装置を提供することにある。

本願発明は、既に得られた三次元座標を有する計測点（以下、「三次元計測点」という。）の集合である「計測点群」に基づく画像（以下、「点群画像」という。）を作成し、これにより得られる２枚の画像をステレオペアとして地物を図化する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

本願発明の点群画像による図化方法は、同一の領域を含む異なる２枚の画像を用いてステレオ図化する方法であり、画像作成工程と図化工程を備えた方法である。このうち画像作成工程では、計測して得られた複数の三次元計測点を中心投影することで点群画像を作成する。また図化工程では、異なる投影中心を基準とした２枚の点群画像に基づいてステレオ図化する。このとき、点群画像を構成する複数の画素それぞれに対して画像情報を付与することで点群画像を作成する。なお、この画像情報は投影された三次元計測点に基づいて求められる。

本願発明の点群画像による図化方法は、１の画素に対して１の三次元計測点を対応させて点群画像を作成することもできる。なお、１の画素に２以上の三次元計測点が対応する場合は、投影中心と三次元計測点との距離に基づいて１の三次元計測点を選択する。

本願発明の点群画像による図化方法は、レーザー計測により得られた三次元計測点を用いることもできる。この場合、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで点群画像を作成する。

本願発明の点群画像による図化装置は、同一の領域を含む異なる２枚の画像を用いてステレオ図化する装置であり、計測点記憶手段と、画像作成手段、図化手段を備えたものである。このうち計測点記憶手段は、計測して得られた複数の三次元計測点を記憶するもので、画像作成手段は、三次元計測点を中心投影することで点群画像を作成する。また図化手段は、異なる投影中心を基準とした２枚の点群画像に基づいてステレオ図化する。このとき、点群画像を構成する複数の画素それぞれに対して画像情報を付与することで点群画像を作成する。なお、この画像情報は投影された三次元計測点に基づいて求められる。

本願発明の点群画像による図化装置は、１の画素に対して１の三次元計測点を対応させて点群画像を作成することもできる。なお、１の画素に２以上の三次元計測点が対応する場合は、投影中心と三次元計測点との距離に基づいて１の三次元計測点を選択する。

本願発明の点群画像による図化装置は、レーザー計測により得られた三次元計測点を用いることもできる。この場合、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで点群画像を作成する。

本願発明の計測結果の点群画像による図化方法、及び点群画像による図化装置には、次のような効果がある。
（１）三次元計測点群を画像化するため、地物を直観的に把握することができる。したがって、本来図化すべき地物の見落しを防ぐことができる。
（２）内部標定要素や外部標定要素を求める必要がないため空間演算処理に係る負担が大幅に軽減され、容易かつ迅速に点群画像を作成することができる。その結果、従来に比べ図化処理にかかる労力が著しく軽減される。
（３）大量の三次元計測点群を画像化したうえで処理するため、演算処理に時間がかかることがない。その結果、比較的短時間で図化処理することができる。
（４）図化作業は、特別な機器を必要とせず、従来からの汎用機である図化機を利用することができる。
（５）計測点がないいわゆる欠損箇所も、局所的であれば周囲の状況から推察して図化することができる。
（６）三次元計測点群を計測した際に取得した写真を利用していわゆる色付き点群とすれば、点群画像が写真と同等の画像となり、さらに容易に図化処理を行うことができる。
（７）三次元計測点群が高密度で大量になるほど多くの画素が埋められることとなり、より詳細な画像を得ることができる。

航空レーザーによる計測状況を示す説明図。 本願発明の主な処理の流れを示すフロー図。 三次元計測点の中心投影を示すモデル図。 １画素に２つの三次元計測点が中心投影された状況を示すモデル図。 ステレオペア画像に基づいて対象領域の地形図を作成する手法を説明するモデル図。

本願発明の点群画像による図化方法、及び点群画像による図化装置の実施形態の一例を、図に基づいて説明する。

１．全体概要
本願発明は、ある程度広い範囲（以下、「対象領域」という。）を対象として主に実施されるものであり、そのため広範囲から取得された三次元の空間情報を利用する。そこで、まずは三次元の空間情報について説明する。

三次元の空間情報は、平面座標値と高さの情報を持つ点や線、面、あるいはこれらの組み合わせで構成される情報である。さらに平面座標値とは、緯度と経度あるいはＸ座標とＹ座標で表されるものであり、高さとは標高など所定の基準水平面からの鉛直方向の距離を意味する。この三次元の空間情報は、種々の計測手段によって取得することができる。例えば、２枚１組のステレオ航空写真（衛星写真）を基に取得したり、レーザー計測やレーダー計測によって取得したり、あるいは直接現地を測量して取得することもできる。

このうちレーザー計測は、計測対象にレーザーパルスを照射し、その反射を受けて計測する手法である。例えば、航空機にレーザースキャナーを搭載して行う航空レーザー計測は、図１示すように、計測したい地表Ｆの上空を航空機ＰＬで飛行し、地表Ｆに対して照射したレーザーパルスＬＰの反射信号を受けて計測する。航空機ＰＬには通常、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位計と、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの慣性計測装置が搭載されているので、レーザーパルスＬＰの照射位置（Ｘ，Ｙ，Ｚ）と照射姿勢（ω，φ，κ）を把握することができ、その結果、照射時刻と受信時刻の時間差から計測点（レーザーパルスＬＰが反射した地点）の三次元座標を得ることができる。

地表Ｆで反射したレーザーパルスＬＰは、航空機ＰＬに搭載されたセンサで受信される。このとき、反射してセンサまで戻ってきたレーザーパルスＬＰの強度（以下、「反射強度」という。）を取得し、受信時刻と併せて記録される。この反射強度は、いわば受信したレーザーパルスＬＰのエネルギーの大きさであり、直接的には電圧として計測され、電圧を換算することでエネルギーの大きさが得られる。図１に示すように、一回の計測（フライト）で多数のレーザーパルスＬＰが照射されるので、そのレーザーパルスＬＰの数に応じた数の照射強度が記録される。

既述したＭＭＳでレーザー計測を行う場合は、地上を移動する移動車にレーザースキャナーを搭載し、航空レーザー計測と同様の原理で移動計測を行う。通常、ＭＭＳで行うレーザー計測は、計測対象が比較的近距離にあることが多く、そのため極めて膨大な数の計測点が取得されるのが特徴である。

つぎに、図２を参照しながら本願発明の概要について説明する。図２は、本願発明の主な処理の流れを示すフロー図であり、中央の列に実施する行為（工程、処理、手段）を示し、左列にはその行為に必要な入力情報を、右列にはその行為から生まれる出力情報を示している。初めに、図化する対象である対象領域に対して計測を行い、三次元の空間情報を備える計測点（三次元計測点）を取得する（Ｓｔｅｐ１０）。この場合の計測手法としては、レーザー計測やレーダー計測、航空写真測量、現地実施測量など従来から用いられる種々の手法を採用できる。なお、対象領域において既存の三次元計測点群がある場合は、これを利用することとし、地上計測（Ｓｔｅｐ１０）は省略することができる。

三次元計測点群が得られると、撮影計画の策定を行う（Ｓｔｅｐ２０）。上空のある地点から地表を撮影したと仮定して、撮影される範囲が対象領域のうちどの範囲に相当するのか把握する。そのため架空のカメラを想定し、焦点距離や画角を設定する。そして、撮影範囲が対象領域全体を網羅するように、しかも隣接する撮影範囲が相当程度重なる（オーバーラップやサイドラップ）ように、複数の撮影地点（いわば、撮影コース）を決定する。

撮影計画に従って、航空写真に相当する点群画像を作成する。本願発明では同一領域を含む２枚の画像（以下、この一組を「ステレオペア画像」という。）を用意する必要があり、ここでは「第１の点群画像」と「第２の点群画像」として２つの点群画像の作成について説明する。第１の点群画像は、外部標定要素を設定し（Ｓｔｅｐ３１）、その外部標定要素に基づいて所定の投影平面に中心投影する（Ｓｔｅｐ３２）ことで、作成される（Ｓｔｅｐ３０）。同様に第２の点群画像も、外部標定要素の設定（Ｓｔｅｐ４１）、及び中心投影（Ｓｔｅｐ４２）によって作成される（Ｓｔｅｐ４０）。

ステレオペア画像が作成されると、これらの画像を図化機にセットし（Ｓｔｅｐ５０）、従来どおり図化機を操作することによって対象領域の地形図を作成する（Ｓｔｅｐ６０）。

以下、本願発明を構成する主要な要素について詳述する。

２．点群画像
点群画像は、既述のとおり三次元計測点群を所定平面に中心投影した結果得られる画像であり、それぞれの三次元計測点が有する属性に応じて濃淡や色を付与することで作成される。図３は、三次元計測点の中心投影を示すモデル図である。この図では、地上の三次元計測点Ｐａ（Ｘａ，Ｙａ，Ｚａ）と三次元計測点Ｐｂ（Ｘｂ，Ｙｂ，Ｚｂ）を、投影中心Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）からｆだけ離れた投影平面Ｓに投影している。三次元計測点Ｐａと三次元計測点Ｐｂは、投影中心Ｏを基準として中心投影された結果、それぞれ投影平面Ｓ上ではｐａ（ｘａ，ｙａ）、ｐｂ（ｘｂ，ｙｂ）で表されている。なおここでは便宜上、現実空間の三次元座標を大文字で表し、投影平面Ｓ上の二次元座標を小文字で表している。

図３に示すような中心投影を行うためには、投影中心Ｏ（航空写真におけるカメラレンズの中心に相当）と、投影方向（同じく撮影方向に相当）を設定する必要があり、さらには投影中心から投影平面Ｓまでの距離ｆ（同じくカメラの焦点距離に相当）と、投影平面Ｓの大きさ（同じく画角に相当）を設定する必要がある。投影中心Ｏは、既述した疑似撮影計画（図２のＳｔｅｐ２０）に従って設定され、投影方向や、投影平面Ｓまでの距離ｆ、投影平面Ｓの大きさは、状況に応じて適宜設定することができる。例えば、投影方向を鉛直下向き（つまり、ω＝φ＝０）とすれば、後続の演算処理に係る負荷が軽減されて好適となる。

地上計測点が中心投影されると、三次元計測点群が投影平面Ｓ上に平面配置される。そして、平面配置された三次元計測点群に基づいて点群画像を作成する。具体的には、投影平面Ｓを分割して複数の画素を構成し、それぞれの画素と投影平面Ｓ上の三次元計測点を対応付ける。次に、三次元計測点が持つ属性（以下、「計測点属性」という。）に応じて画像情報を設定し、それぞれの画素に対して対応する三次元計測点の画像情報を付与することで、点群画像が作成される。

ここで画像情報とは、例えば色や濃淡（輝度）である。色は、色相、彩度、明度からなる３つの属性を備え、コンピュータでも処理できるように赤（Ｒｅｄ）・緑（Ｇｒｅｅｎ）・青（Ｂｒｕｅ）の３色を基本色とするＲＧＢや、シアン（Ｃｙａｎ）・マゼンタ（Ｍａｇｅｎｔａ）・イエロー（Ｙｅｌｌｏｗ）・ブラック（Ｋｅｙ ｃｏｌｏｒ）の４色を基本色とするＣＭＹＫ、黄・赤・青・緑・黒・白の６色を基本色とするＮＣＳ、そのほかオストワルト表色系などでモデル化されることが知られている。一方の濃淡も、０〜２５５値を使用したり、百分率で示したり、その他種々の方法で数値化できることが知られている。

また、画像情報を設定するための計測点属性としては、高さ情報（標高値）や、この高さ情報によって求められる値（例えば隣接点との傾斜角）などが例示できる。また、三次元計測点がレーザー計測の結果得られたものであれば、レーザーパルスの反射強度（ｉｎｔｅｎｓｉｔｙ）を計測点属性とすることもできる。さらに対象領域を撮影した写真画像があれば、３次元計測点と写真画像を対応付けることでＲＧＢ等を付与し、これを計測点属性として持たせることもできる。

画像情報は、計測点属性の種類に応じて適宜設定することができる。例えば、計測点属性が標高値の場合、標高値に応じて事前に設定した色を付与する。あるいは計測点属性がレーザーパルスの反射強度であれば、反射強度が大きい値であるほど明るい（白い）値で設定し、逆に小さい値であるほど暗い（黒い）値で設定する。レーザーパルスは白い物ほど強く反射する性質があり、この場合、路上のレーンマークなどが白っぽく表現されるので直観的に認識できて好適となる。そのほか計測点属性がＲＧＢであれば、その値をそのまま画像情報とすることもできる。なお、濃淡だけを画像情報とし、若しくは色だけを画像情報とすることもできるし、あるいは濃淡と色の組み合わせを画像情報とすることもできる。一例として、三次元計測点の標高に応じて色を付与し、加えて反射強度に応じて濃淡を付与し、色と濃淡の組み合わせを画像情報とすることができる。

ところで、ＭＭＳによるレーザー計測を行った場合など極めて高密度に三次元計測点群が取得された結果、投影平面Ｓに中心投影すると１画素に２以上の三次元計測点が含まれることがある。図４は、１画素に２つの三次元計測点が中心投影された状況を示すモデル図である。図４のケースでは、それぞれの三次元計測点が画像情報を持つことから、１画素に対して２つの画像情報が付与されることになる。この場合は、どちらか一方の画像情報を選択することもできるし、平均値を採用するなど２つの画像情報に基づき代表値を算出することもできる。

１画素に含まれる２以上の三次元計測点の中から、いずれかの三次元計測点を選択する場合、三次元計測点と投影中心Ｏとの距離に基づいて選択することができる。例えば図４では、１画素の中に地上の三次元計測点Ｐｃと三次元計測点Ｐｄが投影されている。この場合、三次元計測点Ｐｃと投影中心Ｏとの距離をＬｃとし、三次元計測点Ｐｄと投影中心Ｏとの距離をＬｄとし、両者（ＬｃとＬｄ）を比較することで、三次元計測点Ｐｃの画像情報、又は三次元計測点Ｐｄの画像情報を選択するわけである。具体的には、長い方のＬｃを抽出し、これに基づく三次元計測点Ｐｃの画像情報を選択する。あるいは、短い方のＬｄを抽出し、これに基づく三次元計測点Ｐｄの画像情報を選択する。投影中心Ｏとの距離が最も長い三次元計測点を選択した場合、高架など上空の地物を除去した画像が得られるため状況によっては好適となる。

３．図化処理
図５は、ステレオペア画像に基づいて対象領域の地形図を作成する手法を説明するモデル図である。これまで説明したように、投影中心Ｏ１と投影方向を設定し、投影平面Ｓを構成する全ての画素について、三次元計測点を対応付け、さらに画像情報を付与すると、第１の点群画像Ｇ１を作成することができる。また、第１の点群画像Ｇ１と同一領域を含み、且つ投影中心Ｏ１とは異なる投影中心Ｏ２を基準にした第２の点群画像Ｇ２を作成する。この結果、第１の点群画像Ｇ１と第２の点群画像Ｇ２の組み合わせであるステレオペア画像が用意される。

ステレオペア画像が用意されると、図５に示すように、従来から用いられている航空写真測量の技術を用いて地形図を作成することができる。すなわち、中心投影Ｏ１と点群画像Ｇ１上のｐａの位置、及び中心投影Ｏ２と点群画像Ｇ２上のｐａの位置の関係から、空間演算を行い、地上にある三次元計測点Ｐａの三次元座標（Ｘａ，Ｙａ，Ｚａ）を求める。実際には、ステレオペア画像を図化機にセットし、従来どおり図化機を操作することによって対象領域の地形図を作成するとよい。

本願発明の点群画像による図化方法、及び点群画像による図化装置は、既存のレーザー計測点がある領域の地形図を作成する場合、好適に実施できる。もちろん、レーザー計測によるほか、航空写真や衛星画像により得られた、あるいは現地を実施測量した結果得られた計測点群がある場合も、当該領域の地形図を作成するため本願発明を好適に実施することができる。

Ｆ 地表
ＬＰ レーザーパルス
ＰＬ 航空機
Ｇ１ 第１の点群画像
Ｇ２ 第２の点群画像
Ｏ 投影中心
Ｏ１ （第１の点群画像の）投影中心
Ｏ２ （第２の点群画像の）投影中心
Ｓ 投影平面

Claims (4)

1. 同一の領域を含む異なる２枚の画像を用いて、該領域をステレオ図化する方法において、
   前記領域を計測して得られた複数の三次元計測点を、所定の投影中心を基準に平面投影することで、点群画像を作成する画像作成工程と、
   異なる投影中心を基準とした２枚の前記点群画像に基づいて、前記領域をステレオ図化する図化工程と、を備え、
   前記画像作成工程では、前記点群画像を構成する複数の画素それぞれに対して、投影された三次元計測点に基づいて求められる画像情報を付与することで、前記点群画像を作成し、
   さらに前記画像作成工程では、１の画素に対して１の三次元計測点を対応させて点群画像を作成し、１の画素に２以上の三次元計測点が対応する場合は、前記投影中心と三次元計測点との距離に基づいて１の三次元計測点を選択する、
   ことを特徴とする点群画像による図化方法。
2. 前記画像作成工程では、レーザー計測により得られた三次元計測点を用いるとともに、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで、前記点群画像を作成する、ことを特徴とする請求項１記載の点群画像による図化方法。
3. 同一の領域を含む異なる２枚の画像を用いて、該領域をステレオ図化する装置において、
   前記領域を計測して得られた複数の三次元計測点を記憶する計測点記憶手段と、
   前記複数の三次元計測点を、所定の投影中心を基準に平面投影することで、点群画像を作成する画像作成手段と、
   異なる投影中心を基準とした２枚の前記点群画像に基づいて、前記領域をステレオ図化する図化手段と、を備え、
   前記画像作成手段は、前記点群画像を構成する複数の画素それぞれに対して、投影された三次元計測点に基づいて求められる画像情報を付与することで、前記点群画像を作成し、
   さらに前記画像作成手段は、１の画素に対して１の三次元計測点を対応させて点群画像を作成し、１の画素に２以上の三次元計測点が対応する場合は、前記投影中心と三次元計測点との距離に基づいて１の三次元計測点を選択する、
   ことを特徴とする点群画像による図化装置。
4. 前記画像作成手段は、レーザー計測により得られた三次元計測点を用いるとともに、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで、前記点群画像を作成する、ことを特徴とする請求項３記載の点群画像による図化装置。

Images