JP5905746B2 - レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法 - Google Patents

レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法 Download PDF

Info

Publication number
JP5905746B2
JP5905746B2 JP2012048158A JP2012048158A JP5905746B2 JP 5905746 B2 JP5905746 B2 JP 5905746B2 JP 2012048158 A JP2012048158 A JP 2012048158A JP 2012048158 A JP2012048158 A JP 2012048158A JP 5905746 B2 JP5905746 B2 JP 5905746B2
Authority
JP
Japan
Prior art keywords
laser
mesh
point group
image
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012048158A
Other languages
English (en)
Other versions
JP2013092516A (ja
Inventor
亮平 本間
亮平 本間
昌博 井久保
昌博 井久保
秀一 菅野
秀一 菅野
辰也 池田
辰也 池田
周平 畠
周平 畠
辻 求
求 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asia Air Survey Co Ltd
Original Assignee
Asia Air Survey Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asia Air Survey Co Ltd filed Critical Asia Air Survey Co Ltd
Priority to JP2012048158A priority Critical patent/JP5905746B2/ja
Publication of JP2013092516A publication Critical patent/JP2013092516A/ja
Application granted granted Critical
Publication of JP5905746B2 publication Critical patent/JP5905746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、高密度レーザ点群を用いてオルソ画像生成するレーザオルソ画像生成装置に関する。
オルソフォト画像というのは、視覚的なアピールが高いことから近年は様々なシステムに利用されている。
例えば、道路面のオルソフォトは道路の状態を読み取ったり地図を作製するうえで有効な情報であるので、従来は道路面の地形情報と道路面を撮影した画像とを用いて一般の航空写真を用いたオルソフォトと同様の手法で作成していた。
一方、航空機に搭載して取得したレーザデータを用いて画像化するものもある。
特開2003−296706号公報
しかしながら、オルソフォトを得るには基本的に太陽光等の照明が必要であるから撮影時間が限られる。
また、道路面を撮影した画像は、例えばトンネルなど極端に露出が低くなる場所で品質が劣化する。
すなわち、これらの問題を解決するにはレーザデータを用いるのが望ましいがレーザデータはオルソフォトと比較すると解像度があらいので画像としてもちいるのに難点がある。
これに対して、近年は2cmの解像度の高密度レーザというのがある。
この高密度レーザのレーザ点群(3次元点群ともいう)を用いて画像化するのに、画像を使わずに前述の3次元点群を取得する際の反射強度(もしくは反射率)を利用することが考えられるが、高密度レーザは点群の密度が細かいので容易かつ高速に画像化できなかった。
また、高密度レーザは、密度が細かいので道路上の樹木、電柱、電線等も忠実に取得する。例えば、道路上にまたがる樹木の葉も取得する。このため、道路上のマンホール、白線等が見えにくくなる。
本発明は上記の課題を鑑みてなされたもので、高密度のレーザ点群を用いてオルソフォトと同様な画像を容易、高速に得ることができると共に、不要な高密度のレーザ点群を除去した画像を直ぐに得ることができるレーザオルソ画像生成装置を得ることを目的とする。
本発明に係るレーザオルソ画像生成装置は、移動体に搭載した高密度レーザ器から対象範囲にスキャニングしながら数センチ間隔でレーザを発射し、得られた高密度のレーザデータであるレーザ点群(Li)を用いて、設定された出力範囲(Di:対象範囲>Di)のレーザオルソ画像を作成するレーザオルソ画像生成装置であって、
像が生成される画像メモリと、
前記対象範囲の前記レーザ点群(Li)が記憶された第1の記憶手段と、
前記出力範囲(Di)の前記レーザ点群(Li´)が記憶される第2の記憶手段と、
を備え、
(A).二次元座標で前記出力範囲(Di)を定義する手段と、
(B).該出力範囲(Di)に対応する前記レーザ点群(Li)を前記第の記憶手段から全て読み込んで前記出力範囲(Di)の前記レーザ点群(Li´)として前記第2の記憶手段に記憶する手段と、
(C).設定された前記数センチ以下(同じ含む)の解像度(di)で前記画像メモリの
ピクセルを定義する手段と、
(D).前記出力範囲(Di)のレーザ点群(Li´)に前記ピクセルに対応する領域を定義し、これを順次指定する手段と、
(E).該指定毎に、この領域内の中心座標に対して最も近傍のレーザ点群(Li´)を決定する手段と、
(F).この決定したレーザ点群(Li´)の反射強度を読込み、この反射強度に応じたグレースケール値を求める手段と、
(G).前記指定された領域毎に、その縦横座標を前記画像メモリにおけるピクセルの位置とし、このピクセルに前記グレースケール値を割り付ける手段と、
(H).このグレースケール値の画像を前記レーザオルソ画像として出力する手段と
を備えたことを要旨とする。
以上のように本発明によれば、非常に細かな高密度レーザ点群であってもオルソフォト画像と同様なレーザオルソ画像を表示させることができる。
また、所望のレーザオルソ出力範囲の全体をレーザオルソ画像として表示させることができる。
また、ピクセルの中心から最も近傍のレーザ点の反射強度に応じた色値を割り当てることにより、作成されたレーザオルソ画像には不要に黒くなる箇所が少なくなるので滑らかなレーザオルソ画像を得ている。
本実施の形態のレーザオルソ画像生成装置1の概略構成図である。 レーザ計測車両に搭載された測定装置の概略構成図である。 データベース10のレーザ点群Liの説明図である。 レーザ点群のレーザ投影用メモリ(画像メモリ)への投影を説明する説明図である。 視点Ciでのレーザ点群の表示を説明する説明図ある。 道路立体Biに読み込まれたレーザ点群の表示を説明する説明図である。 本実施の形態の画面に表示されたレーザオルソ画像の説明図である。 本実施の形態のレーザオルソ画像生成装置の具体図である。 メッシュレイヤ作成・選択処理部11の概略構成図である。 各メッシュレイヤの関係を説明する説明図である。 各メッシュの分割数と1辺の長さの関係を説明する説明図である。 メッシュとレーザ点群の関係を説明する説明図である。 1mメッシュでのレーザ点群と10mメッシュでのレーザ点群の表示例の説明図である。 視点を測定装置付近に下げて視点方向を前方にして見せたレーザ点群の画像の説明図である。 メッシュレイヤ作成処理を説明するフローチャートである。 レーザ点群をメモリ29b、31bに得るまでの過程を説明するフローチャートである。 レーザ点群をメモリ29b、31bに得るまでの過程を説明するフローチャートである。 点群データ範囲を説明する説明図である。 内外判定を説明する説明図である。 メモリ33のデータを説明する説明図である。 抽出処理(内外判定)を説明するフローチャートである。 抽出処理(内外判定)を説明する説明図である。 道路部分抽出処理部の概略構成図である。 道路部分抽出処理を説明するフローチャートである。 道路部分抽出処理を説明するフローチャートである。 道路幅Wiの定義を説明する説明図である。 道路立体の生成を説明する説明図である。 道路立体に割り付けられたレーザ点群を説明する説明図である。 図28の補足図である。 道路立体Biを用いない場合のレーザ点群の表示を説明する説明図である。 本実施の形態の道路立体Biを用いた場合のレーザ点群の表示を説明する説明図である。 レーザオルソ画像作成処理部14の概略構成図である。 レーザオルソ画像作成処理部14の動作を説明するフローチャートである。 レーザオルソ画像作成処理部14の動作を説明するフローチャートである。 ピクセルの色の決定処理を説明する説明図である。 ピクセルの色の決定処理を説明する説明図である。 本実施の形態によるレーザオルソ画像と通常のオルソ画像との違いを説明する説明図である。 走行軌跡Piの位置Pn直下のレーザ点Lpiの検索を説明する説明図である。
以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構造、配置は下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。
本実施の形態のレーザオルソフォト画像作成装置(作成方法)は、航空機等によって得た高密度レーザデータを用いてもかまわないが、本実施の形態においては、車両に高密度レーザ測定機を取り付けて得た高密度レーザデータを用いるとして説明する。
(本実施の形態の概要)
本実施形態は、表示用の画像メモリにおけるメッシュ(ピクセルともいう)を、レーザ計測車両、航空機等で取得された高密度(間隔5cm以下程度)に取得されたレーザ点群(高密度のレーザデータ群)の解像度に対応するサイズでそのピクセル(メッシュ)に定義する。
そして、この高密度のレーザデータ(以下単にレーザデータLiという)の反射鏡度(又は反射率)に基づく色(グレースケール等;所定の色値でもかまわない)をピクセルに付与して道路面を鉛直からみたように正射投影したような画像(以下レーザオルソ画像という)を作成する。つまり、撮影時の天候や照明条件に左右されない道路面の画像地図を作製する。但し、航空機で用いるレーザの解像度は25cm程度が好ましい。
(1)上記道路面のレーザオルソ画像においては、道路面以外の点を除去することにより、道路上の構造物(電柱・植栽・電線・トンネル等)が上に覆いかぶさらない路面のみを画像化する。
(2)上記の(1)を高速に実現するために、レーザ計測移動体(車両)の撮影時の軌跡(移動軌跡:GPS、慣性航法装置)を利用して路面の点群をあらかじめクラス分けし、その点を利用して道路面のレーザオルソ画像を作製する。
より具体的には、所定間隔(1cm、10cm、1m、10m、100m・・・)のメッシュ(メッシュ番号付加)を形成したレイヤ(平面直角座標系が定義されたメモリ)を生成し、これらをメッシュ間隔毎にクラス分けする。
そして、これらのレイヤにレーザ点群を格納するときに、そのレイヤの種類に応じてレーザ点群(複数のレーザデータともいう)の数を間引いて格納する。つまり、メッシュ番号にレーザ点群(1個含む)が関連付けられたリストである。
なお、本実施の形態ではこの最小メッシュレイヤのリストを点群データ範囲Dp(メッシュ番号含む)と称する。
このとき、所定のレイヤ(本実施の形態では後述する最小メッシュレイヤー)の各メッシュを、メッシュID(メッシュ間隔Dm(1m×1m)で管理している。このメッシュIDは、レイヤの種類、メッシュ位置(X軸方向、Y方向)をメッシュ間隔Dmで定義している。
そして、例えば移動軌跡を表示した画像上(以下移動軌跡画像:平面直角座標系)において、設定されたレーザオルソ出力範囲Diを前述のメッシュ間隔Dmで定義する。
さらに、幅Wiと高さhiとを入力させて、移動軌跡の所定間隔の位置毎にこの幅Wiと高さhi(例えば路面高さがhiの中心)とからなる道路立体Biを生成し、この道路立体Biに最小メッシュレイヤのレーザ点群を格納し、これらの道路立体Biを連結した連結道路立体BBiを得る。
また、レーザオルソ出力範囲Diをオルソ画像(レーザオルソ画像という)として画面に表示させるための所定の解像度di(dx、dy:5cm以下(2cm))を入力させ、この解像度diのサイズのピクセル(メッシュ)を画像メモリに定義する。
そして、このピクセル内に含まれるレーザデータLiを連結道路立体BBiから検索し、このレーザデータLiの反射強度に応じた色(グレースケール値)でそのピクセルを表示する。
以下に図面を用いて具体的に説明する。
図1は本実施の形態のレーザオルソ画像生成装置1の概略構成図である。なお、本実施の形態で用いる各座標系は、横メルカトル図法に基づく、所定の位置を原点とした国家座標系である二次元座標系で定義している。本実施の形態では平面直角座標系(A)と称する。
本実施の形態においては、高密度レーザデータ(x、y、z、反射強度in、RGB値、発射時間、受信時間)を記憶したデータベース10と、メッシュレイヤ作成処理部11と、レーザデータ投影処理部12と、道路部分抽出処理部13と、レーザオルソ画像作成部14と、データエリア図表示部15等を備えている。
前述の高密度のレーザデータLiは、例えば図1に示すレーザ計測車両2によって計測する。
レーザ計測車両2は例えば図2に示すように、車両の上に高密度レーザースキャナ2a、2b、2c(単に高密度レーザ器ともいう)と、GPS受信機2d等を備えた測定装置を搭載している。また、カメラを複数備えてもよい。これらのレーザスキャナは、到達距離が80m〜100mの範囲であり、傾斜45度で周囲180度、270度又は360度の範囲を計測する。
そして、取得した高密度のレーザデータLiは、レーザを照射した対象物のスポット点の3次元座標(x,y,z)と、レーザデータLiの発射時間と、受信時間と、反射強度In、RGB等から構成されている。また、GPSデータ(移動軌跡ともいう)も取得する。これらはCDROM3に格納されている。
次に、レーザオルソ画像生成装置1(コンピュータシステム)がこれらのレーザデータLiをデータベース10に格納する。なお、GPSデータ(移動軌跡ともいう)は、レーザデータLiに対応させてもよい。また、レーザデータLiはデータ量が多いので複数ファイルに分けて保存している。
さらに、レーザ計測車両2には、取得したデータを記録する記録部(図示せず)と、ハイブリット慣性航法装置等(図示せず)を備えており、自動車の位置・姿勢を取得することができる。これらのハイブリット慣性航法装置で取得した位置、姿勢は移動軌跡の位置Pniに対応させて保存してもよい。
このハイブリット慣性航法装置の位置、姿勢と、GPS位置等を用いて前述の対象物のスポット点の3次元座標(x,y,z)を求めている。
また、前述のレーザスキャナ2a〜2cは、水平方向に45度傾けて配置され、各々ピッチ間隔は0,5cm、1cm、2cm、3cm、4cm又は5cmにされている。
すなわち、データベース10には、図3に示すように、レーザデータLi(L1、L2、・・)がその三次元座標(x、y、z)と、反射強度と、発射時間等が対応させられて記憶されている。
なお、前述の三次元座標系は、横メルカトル図法に基づく、所定の位置を原点とした座標系(A)で定義している。
データエリア図表示部15は、地図データベース21から日本地図(横メルトカル図法に基づく平面直角座標系)を画面23に表示し、この日本地図において指定されたエリアに対応するレーザ取得図(横メルトカル図法に基づく平面直角座標系)をエリア図データベース22から抽出して画面23に表示する。
メッシュレイヤ作成処理部11は、入力された最小メッシュサイズ(1cm×1cm、10cm×10cm又は1m×1m)を読み込み(本実施の形態では1m×1m)、この最小メッシュサイズ(1m×1m)の最小メッシュレイヤをメモリ17aに生成する。
そして、データベース10に記憶されている高密度のレーザデータLi((x、y、z)、反射強度in、RGB値)を最小メッシュレイヤ(平面直角座標系:座標系(A)と同じ)に記憶する。
次に、最小メッシュサイズを基準にして、メッシュ(格子)が10倍、100倍・・の上位メッシュレイヤを作成し、この上位メッシュに最小メッシュレイヤの高密度のレーザデータLiを間引いて格納する。
すなわち、メモリ17b、17c、・・のメッシュには、レーザデータLi(L1、L2、・・)の三次元座標(x、y、z)と反射強度In等が割り付けられている。なお、これらのメッシュには、メッシュ番号((1)、(2)・・・)が割り付けられている。つまり、メッシュ番号にレーザデータLiが対応させれたリストである。
図1においてはメモリ17b、17c、・・のメッシュは平面直角座標系で定義されているが、三次元的にx,y、zと載している。このzはx,yのメッシュに割り付けられている標高値を示すものであり、この標高値が割り付けられているレイヤーであることを強調するためにx、y、zと記載した。
レーザデータ投影部12は、入力した視点Ci(位置)、方向Hciを読み込みこの視点Ci(位置)に対応するメッシュレイヤ(17a、17b、・・)を選択して引き当て、方向Hciで投影したレーザデータLi(元データともいう)を投影用メモリ18i(18a、18b又は18c)に読み込む。
この投影用メモリ18a、18b、18cは画像メモリであり、上面用(X−Y)を18a、側面用(Z−Y)を18b、正面用(Z−X)を18c(図示せず)としている。この投影用メモリ18a、18b、18cは前述と同じ座標系(A)で定義されている。
つまり、レーザ投影部12は、表示させたい面に応じて、いずれかの投影メモリ18a、18b又は18cを選んで読み込む。
すなわち、上面の投影の場合には、図4に示すようにX−Y面の投影用メモリ18a(X−Y面)を視点Ciに応じて移動させて選択されたメッシュレイヤのレーザ点群Liをその投影用メモリ18aのメッシュ(ピクセル)に内挿している。
画像出力部16はレーザ点群投影用メモリ18iのレーザ点群(複数のレーザデータ)を読み出して画像として画面23に表示する(図5参照)。
また、画像出力部16、レーザ点群用投影用メモリ18i、レーザデータ投影部12をグラフィックアクセラレータと称してもよい。
道路部分抽出処理部13は、レーザオルソ出力範囲Di(切出部分ともいう)における移動軌跡Pi上の所定位置間の道路立体Biを、入力された道路幅Wiと高さhi等に基づいてメモリ19i(19a、19b・・・)に生成し、これらの道路立体Biに対応する範囲の最小メッシュレイヤのレーザ点群を格納して前述の最小メッシュレイヤのメッシュ間隔で定義する。
なお、道路立体Biの生成には、メモリ26aに記憶されている走行軌跡Piの各位置Pni(X、Y、Z)のX、Yを使用する。但し、この移動軌跡Piの位置Pni(X、Y、Z)のZは、車両の高密度レーザ器の高さHiを引いた値である。つまり、Zは路面高さZHi(ZHi=Z―Hi)にされている。より具体的には、図示しないZ値補正部によって移動軌跡Piの位置Pni毎に、そのZ値から車両上の高密度レーザ器までの高さHiが間引かれた値を路面高ZHiとする。
また、メモリ26bに記憶されている任意の道路幅Wi(切出幅ともいう)と任意の高さhiとを用いる。
そして、街路樹等の上部・下部構造物は取り除くため、入力された道路面の高さhi(切出高さともいう)を取得し、その高さから一定の高さを持たせた道路立体Bi(6面体)を決定する(図6参照)。図6は道路立体Biに読み込まれたレーザ点群を表示させた図である。
そして、以上の処理を走行軌跡における位置Pniと次の位置Pni+1毎について実施して、n個の道路立体Biを得て、これらを統合(連結)する(連結道路立体BBi)。
レーザオルソ画像作成処理部14は、入力された解像度(5cm以下)で後述する画像メモリのピクセルを定義し、このピクセルを含む連結道路立体BBi内の道路立体Biのメッシュを検索して、このピクセル内に存在する所定のレーザデータの反射強度に応じた色値(グレースケール値)をそのピクセルに付与して表示させる(図7参照)。
(図1の詳細具体例)
本実施の形態のレーザオルソ画像生成装置1は、より具体的には図8に示す構成にしている。
図8は本実施の形態のレーザオルソ画像生成装置1のより具体的な構成図である。図8において図1と同様場部分については説明を省略する。また、レーザデータ投影部12、メモリ18は省略する。
図8に示すように、範囲IDコード変換部27と、レーザ点群抽出部30等を備えている。
なお、データエリア図表示部15は、移動軌跡(平面直角座標系で定義:Zは路面高さ)を記憶しているメモリ26aの移動軌跡を画面23に表示させ(移動軌跡画像)、この選択された範囲をレーザオルソ出力範囲Diとして範囲IDコード変換部27に出力する。
また、レーザオルソ出力範囲Diは、移動軌跡を表示させないでオペレータが直接、キーボードを用いて入力してもよい。
範囲IDコード変換部27は、入力されたレーザオルソ出力範囲Di((xmin,ymin)、(xmax、ymax):平面直角座標)の各々の座標(xmin,ymin)、(xmax、ymax)を、最小メッシュレイヤの最小メッシュ間隔Dmで割る。
つまり、メッシュ階層レベル、X方向の範囲、Y方向の範囲]という文字列(メッシュIDという)で、点群データ範囲Dp(最小メッシュレイヤのレーザデータ)におけるレーザオルソ出力範囲Diを定義する。
そして、このレーザオルソ出力範囲DiのメッシュIDと点群データ範囲Dp(最小メッシュレイヤ)のメッシュの番号((1)、(2)・・)とを関連付けてメモリ29に記憶する(DiメッシュIDリストと称する)。
なお、DiメッシュIDリストとDiのレーザデータとを関連付けて一つのメモリに記憶してもよいが、本実施の形態では、メッシュIDとメッシュ番号とを関連付けたデータはDiメッシュIDリストとしてメモリ29aに記憶し、Diのレーザデータはメモリ29b(平面直角座標系)に記憶している。
また、範囲IDコード変換部27は、レーザオルソ出力範囲Di(平面直角座標)がメッシュIDで定義されると、この出力範囲Diを含む大きさの検索範囲Dr(平面直角座標)を求め、この検索範囲Drを最小メッシュ間隔Dmで定義する。
そして、この検索範囲Drに対応する点群データ範囲Dp(メモリ17a:最小メッシュレイヤ)におけるメッシュの番号((1)、(2)・・)とそのメッシュIDとを関連付けてメモリ31に記憶する(DrメッシュIDリストと称する)。
なお、DrメッシュIDリストとDrのレーザデータとを関連付けて一つのメモリに記憶してもよいが、本実施の形態では、メッシュIDとメッシュ番号とを関連付けたデータはDrメッシュIDリストとしてメモリ31aに記憶し、Drのレーザデータはメモリ31b(平面直角座標系)に記憶している。
レーザ点群抽出部30は、ワーキング用のメモリ32にレーザオルソ出力範囲Di、出力範囲Dr、点群データ範囲Dpを定義して内外判定を行って、メモリ29aに記憶されているDiメッシュIDリスト(レーザオルソ出力範囲Di)のメッシュ番号を有する点群データ範囲Dp(最小メッシュレイヤ;メモリ17a)のレーザデータLiをメモリ33に全て取り込む(メッシュ、メッシュ番号、レーザ点群含む)。
なお、メモリ17a、メモリ29、メモリ31、メモリ33とを1つのメモリにして、各々のデータを関係づけて記憶してもよい。
なお、内外判定についてはフローを用いて詳細に後述する。
<各部の詳細説明>
(メッシュレイヤ作成処理部11)
図9はメッシュレイヤ作成処理部11の概略構成図である。図9において図1と同様なものは説明を省略する。
メッシュレイヤ作成処理部11は、最小メッシュ作成部111と、上位メッシュ作成部112と、レーザデータ読込部113と、メッシュレイヤ選択部116等を備えている。
最小メッシュ作成部111は、最小メッシュサイズ(1cm、10cm、1m)の入力に伴ってその格子サイズのメッシュ(平面直角座標系)をメモリ17aに生成し(最小メッシュと称する)、レーザデータLiをデータベース10から読み出してこの最小メッシュに割り付ける。また、メモリ17abには、最小メッシュサイズに基づいたメッシュIDを求め、これをDpメッシュIDリストとして記憶する。
上位メッシュ作成部112は、最小メッシュが生成されに伴ってこの最小メッシュの格子サイズの10倍単位の格子を有するメッシュを作成し(上位メッシュという)、それぞれの大きさに応じてメモリ17b、17c、・・に記憶する。上位メッシュにおいてもDpメッシュIDリストを作成しているが、本実施の形態では説明を省略する。
すなわち、図10(a)に示すように例えば1m×1mの格子の最小メッシュを作成し、この最小メッシュの格子を横10、縦10個を集めた領域を1個の格子(10m×10m)の上位メッシュを(図10(b))、さらにこの上位メッシュの格子を横10、縦10個を集めた領域を1個の格子とする、さらに上位のメッシュを作成する。このような上位メッシュの作成を順次作成する(例えば100km×100kmまで:図11、図12参照)。
つまり、各メッシュは階層(レイヤ)になっている。但し、これらの上位メッシュの原点は最小メッシュの平面直角座標系と同じである。図12はメッシュとレーザ点群との関係を示している。
上位用代表レーザデータ抽出部115は、上位メッシュ作成部112によって上位メッシュがメモリ17bに作成されると、最小メッシュのレーザ点群を所定のルールで間引いてその上位メッシュの各格子に割り付ける。また、メモリ17cに上位メッシュが作成されると、そのメモリ17bのレーザ点群をさらに間引いてメモリ17cの次に上位の上位メッシュの格子に割り付ける。このような処理を100kmメッシュまで繰り返す。
なお、1m×1mの最小メッシュには、2cm間隔のレーザデータの間隔の場合は、数千個のレーザデータが存在することになるが、本実施の形態では最小メッシュにレーザ点群を格納するときに、レーザデータを間引いている。例えば1/10程度間引く。
すなわち、上記の最小メッシュ(以下最小メッシュレイヤ)、上位メッシュ(以下上位メッシュレイヤという)には、レーザ点群(L1、L2、・・)がその三次元座標(x、y、z)と、反射強度と、発射時間等が割り付けられている。
なお、各メッシュレイヤは、その格子のサイズに応じて視点Ciが対応づけられている。例えば、1cm×1cmの格子のメッシュレイヤは、5m〜10mの高さ、10cm×10cmは10m〜30mの高さ、1m×1mは30m〜300m高さ、100m×10mは300m〜3kmの高さとなっている。
さらに、各レイヤの各メッシュにはメッシュ番号が割り付けられている。
メッシュレイヤ選択部116は、メモリ17aの最小メッシュレイヤを選択詳細メッシュとしてメモリ117に記憶すると共に、メモリ118a、メモリ118b・・に概要メッシュレイヤを記憶する。この概要メッシュレイヤというのは、例えば選択詳細メッシュレイヤが1m×1mの場合において、移動軌跡の垂直方向の視点Ciを基準として距離が80m〜200mの場合は、10m×10mのメッシュレイヤをメモリ118bに、200m〜400mの距離には100m×100mのメッシュレイヤをメモリ118cに記憶する。
すなわち、視点に近いメッシュは詳細レベルのレーザ点群を、遠い場合は視点から遠い概要レベルのメッシュの点群を読み込んでいる。
なお、これらのメモリ17a、17bは一つのメモリに生成してもかまわない。
レーザデータ投影処理部12は、メッシュレイヤが選択されると、このメッシュレイヤの格子の大きさのメッシュをレーザ用投影メモリ18iに生成する。そして、視点Ci、方向Hciを読み込み、方向Hciが上方向の場合は、レーザ点群投影用メモリ18aを視点Ci、方向Hciに位置させてこのメモリのメッシュ(ピクセル)にメモリ117の選択詳細メッシュレイヤのレーザ点群を内挿する。また、他のレーザ投影用メモリ18b、18cには、概要メッシュレイヤのレーザ点群を内挿する。但し、他のレーザ投影用メモリ18b、18cには異なる18aのメッシュより大きなメッシュが作成されている。
つまり、概要メッシュレイヤのメッシュの大きさのメッシュが定義されている。
画像出力部16は、レーザ点群投影用メモリ18iのピクセルに内挿された画像を画面23に表示する(図12参照)。
なお、視点Ciを例えば10m程度にした場合で1mメッシュでのレーザ点群の表示を図13(a)に示し、視点Ciを例えば10m程度にした場合で10mメッシュでのレーザ点群の表示を図13(b)に示す。1mメッシュに対して10mメッシュはレーザ点群が間引かれているので粗くなっている。
また、視点Ciを道路面付近に位置させて、視点方向Hciを変えた場合の図を図14に示す。図14には10cmメッシュ、1mメッシュの枠を表示している。なお、図14の奥は10mメッシュの枠である。また、図5は10mメッシュに割り付けられているレーザ点群Liを視点に応じた距離で表示した例を示している。図5において最小の枠は10mメッシュを示し、その次の枠は100mメッシュの枠を示している。
次に、図15のフローチャートを用いてメッシュレイヤ作成を説明する。
最小メッシュ作成部111は、最小メッシュサイズ(例えば1m)の入力に伴ってその最小メッシュサイズ等をメモリ(図示せず)に読み込む(S141)。このメモリには最小メッシュレイヤの格子サイズ、該格子サイズより順次n倍大きくなる格子を有する上位メッシュレイヤの各々の格子サイズ(最小メッシュの格子が1mの場合は、10m、100m・・)、各々の上位メッシュレイヤの高密度レーザ点群の間引き数(1mメッシュ内に例えば4000点の場合は、10mメッシュではその10分の1)が記憶されている。
次に、最小メッシュ作成部111は、格子サイズが例えば縦1m×横1mの最小メッシュをメモリ17aに作成する(S142)。これらの最小メッシュにはメッシュ番号が割り付けられる。
次に、データベース10の元データであるレーザ点群(例えば1cm間隔の点群)を読み込みメモリ17aの最小メッシュに格納(割り付ける)する(S143)。
次に、最小メッシュ作成部111は、最小メッシュの縦10個、横10個を1つの格子とする10mメッシュの上位メッシュを作成する(S144)。
次に、最小メッシュレイヤの各格子(メッシュ)のレーザ点群の間隔が一定になるように間引いて(例えば1/10)、これを10mメッシュの上位メッシュに格納(割付)する(S145)。そして、メッシュサイズが100km×100kmまで作成したかどうかを判断し、作成していない場合は処理をS144に戻して次の大きさのメッシュを作成する(S146)。
(レーザ点群をメモリ29b、31bに得るまでの過程)
次に、道路部分抽出処理部13について説明するが、その前提としてレーザオルソ出力範囲Diのレーザ点群をメモリ29b、メモリ31bに得るまでの過程を図16、図17のフローチャートを用いて補充説明する。
データエリア図表示部15は、メモリ26aから移動軌跡(平面直角座標系)を読み込
んでこれを画像出力部16によって画面に表示(移動軌跡画像:平面直角座標系)させる
(S161)。
次に、オペレータは、この移動軌跡画像上においてレーザオルソ出力範囲Di[(xmin,ymin)、(xmax,ymax):例えば、交差点の範囲]]をマウス等を用いて入力する(S162a)。
次に、範囲IDコード変換部27は、入力されたレーザオルソ出力範囲Diをメモリ17aの点群データ範囲Dp上に定義する(S162b:図18(a)参照)。
具体的には、ワーキングメモリ32にレーザ点群データ範囲Dpを定義して、レーザオルソ出力範囲Diを定義する。
次に、オペレータは最小メッシュサイズをマウス、キーボードを用いて入力する(S164)。本実施の形態では最小メッシュサイズは1m×1mである。なお、最小メッシュサイズは予めメモリ(図示せず)に記憶しておいてもよい。
次に、範囲IDコード変換部27は、この最小メッシュサイズDmを読み込み(S165)、この最小メッシュサイズの最小メッシュレイヤ(点群データ範囲Dp:メモリ17a)を引き当てる(S166)。
図18(a)においては、メモリ17aの点群データ範囲Dpが、平面直角座標系においてその最小値は(−60,401.9)、(−41,278.2)で、最大値は、(−59,756.9)、(−40,619.1)の場合を示し、レーザオルソ出力範囲Diの最小値は(−60,131.6)、(−40,994.6)で、最大値は、(−60,0141.9)、(−40,837.5)の場合を示している。但し、この座標系の単位はmである。
次に、範囲IDコード変換部27は、定義されたレーザオルソ出力範囲DiをメッシュIDで定義する(S167)。そして、これを前述のDiメッシュIDリストとしてメモリ29aに記憶する(S168)。
前述のレーザオルソ出力範囲DiのメッシュIDでの定義は、
移動軌跡の画像の座標をXi(Dixi)、Yi(Diyi)とし、最小メッシュの間隔をDmとすると、
点(Xi, Yi)の含まれるメッシュIDは(INT(Xi/Dm), INT(Yi/Dm))として計算する。
但し、INT(x))はxを超えない最大の整数(負の値の場合は最小の整数)である。従って、メッシュIDは[メッシュ階層レベル][X方向の範囲][Y方向の範囲]という文字列となる。
このため、メッシュ階層レベルはメッシュ間隔が1cmの場合は1、10cm間隔の場合は2、1m間隔の場合は3・・・と定義される。
図18(a)においては、
レーザオルソ出力範囲Diの最小値は(-60,131.6, -40,994.6)、最小メッシュ間隔は1mであるので、X方向のIDは(INT(-60,131.6/1)となるから、M60132である。また、Y方向のIDは(INT(-40,994.6/1)となるから、M40995となる。よって、レーザオルソ出力範囲Diの最小メッシュIDは3M60132M40995となる。
すなわち、移動軌跡画像上において指定されたレーザオルソ出力範囲Diに対応する最小メッシュレイヤにおける範囲を、そのレイヤの各メッシュIDで定義している。
一方、レーザオルソ出力範囲Diの最大値は (-60,014.1, -40,837.5)で 、最小メッシュ間隔は1mであるので、X方向のIDはM60015、Y方向のIDはM40838となる。よって、最小メッシュIDは3M60015M40838となる。
そして、図16に示すように、範囲IDコード変換部27は、レーザオルソ出力範囲Diを含む大きなエリアを検索範囲Drとして生成する(S169a:図18(b)参照)。
つまり、点群データ範囲Dpにおいて、レーザオルソ出力範囲Di[(Xmin, Ymin)、(Xmax
, Ymax)]を含む大きさの範囲を検索範囲Drを決定する。最小単位(1cmまたは10cmまた
は1m)のものを使用する。
この検索範囲Drを生成するのは、移動軌跡の画像というのは解像度が細かいので、レーザオルソ出力範囲Diの縁が点群データ範囲Dpのメッシュ内のどこかにまたがっている場合があるためである。
次に、検索範囲Drに対応する点群データ範囲DpのメッシュIDをメモリ31aにメモリ17abからロードする(S169b)。これは、ステップS167で用いた式、メッシュIDは(INT(Xi/Dm), INT(Yi/Dm))として計算する。
次に、点群データ範囲Dp、検索範囲Dr、レーザオルソ出力範囲Diの枠をメモリ32に定義する(S171a)。
次に、このレーザオルソ出力範囲Diと検索範囲Drとを比較していずれかの範囲が大きいかどうかを判断する(S171b)。
図16のステップS171bにおいて、レーザオルソ出力範囲Diが検索範囲Drに対して大きな範囲と判定した場合は、レーザオルソ出力範囲Diを検索範囲Drとし、かつ検索範囲Drをレーザオルソ出力範囲Diとして処理を図16に示すステップS167に移す(S173)。
また、ステップS171bにおいて、レーザオルソ出力範囲Diが検索範囲Drより小さいと判定した場合は、図17のステップ181に処理を移す。
そして、図17に示すように、レーザ点群抽出部30は、メモリ31aのDrメッシュIDリスト(Dr)を読み込み、このメッシュIDのメッシュ番号に関連づけれている点群データ範囲Dp(メモリ17a、最小メッシュレイヤ)のレーザデータをメモリ17aから全て抽出してメモリ31bに記憶する(S181)。つまり、メモリ31bにDrメッシュIDリストに対応するレーザ点群を、メッシュIDをキーとして得ることになる。
次に、レーザ点群抽出部30は、メモリ29aのDiメッシュIDリスト(Di)を読み込み、このメッシュIDのメッシュ番号に関連づけられている点群データ範囲Dp(メモリ17a、最小メッシュレイヤ)のレーザ点群をメモリ17aから全て抽出してメモリ29bに記憶する(S182)。
つまり、メモリ29bにはDiメッシュIDリストに対応するレーザ点群を、メッシュIDをキーとして得ることになる。
図18(a)のレーザオルソ出力範囲Diを一例とすると、3M60132M40995から3M60015M40838までのメッシュIDをDiメッシュIDリストから全て取得してメモリ29bに記憶する。
前述のDiメッシュIDリストから抽出されるメッシュIDは以下のとおりである。
「3M60132M40995、3M60132M40994、3M60132M40993、3M60132M40992、3M60132M40991、3M60132M40990、3M60132M40989、3M60132M40988、3M60132M40987、・・・、3M60132M40839、3M60132M40838、M60131M40995、3M60131M40994、3M60131M40993、3M60131M40992、・・・、3M60015M40838」
なお、これのメッシュIDには、メッシュ番号(例えば1、2、3・・・)を割り付けている(図示せず)。
そして、レーザ点群抽出部30は、メモリ31a(Dr)のメッシュ番号(初めは先頭のメッシュ番号)と、メモリ29a(Di)のメッシュ番号(初めは先頭のメッシュ番号)とを指定する(S183a)。
次に指定されたメッシュ番号のメッシュIDを比較し(S183b)、これらのメッシュ番号に対応するメッシュID同士が一致しているかどうかを判定する(S184:図19参照)。
ステップS184において一致していると判定した場合は、包含関係にあるメッシュIDとして図示しないメモリにそれぞれを抽出する(S185)。
この抽出処理についてはフローチャートを用いて後述する。
次に、DrメッシュIDリスト(Dr)のメッシュ番号が他にあるかどうかを判定する(S186)。ステップS186において他にあると判定した場合は、メッシュ番号を更新して処理をステップS183に戻して包含関係にあるメッシュIDを取得する(S187)。
ステップS186において、メッシュ番号が他にないと判定した場合は、処理を終了する。
図21は抽出処理(内外判定)を説明するフローチャートである。
図21に示すように、レーザ点群抽出部30は、メモリ31a(Dr)の先頭のメッシュ番号(DDrMBi)を指定する(S211)。
次に、メモリ29a(Di)の先頭のメッシュ番号(DDiMBi)を指定する(S212)。
そして、指定されたメッシュ番号(DrMBi)に対応するメモリ31b(検索範囲Drのデータ)のメッシュに対して予め設定されている内外判定用ウインドDrW(1m×1m)を定義する(S213)。
次に、指定されたメッシュ番号(DiBi)に対応するメモリ29b(レーザオルソ出力範囲Diのデータ)のメッシュに対して予め設定されている内外判定用ウインドDiW(1m×1m)を定義する(S214)。
次に、内外判定用ウインドDrW(1m×1m)と内外判定用ウインドDiWとにはレーザ点群が存在するかどうかを判定(包含判定)する(S215)。
両方のウインドウに点群データが存在する場合(図22参照)は、各々のレーザデータの座標が同じかどうかを判定し、相違する場合は内外判定用ウインドDiW内に存在するレーザ点群Liのみを有効(メモリ29bの該当のレーザ点群に有効フラグを付加)とする(S216)。
そして、メモリ29bのレーザ点群において、有効フラグがあるレーザ点群のみをメモリ33に記憶(レーザオルソ画像用のデータと称する)する(S217)。
次に、メッシュ番号DrBiは他にあるかどうかを判断する(S218)。
ステップS218において、他にメッシュ番号DrBiが存在する場合は、メッシュ番号DrBiを更新して処理をステップS211に戻す(S219)。
また、ステップS218においてメッシュ番号DrBiが他にないと判定したときは、処理を終了する。
レーザオルソ画像用のデータは図20に示すように、レーザオルソ出力範囲Di(DDi:平面直角座標で示される)
すなわち、図18(b)に示すように、レーザオルソ出力範囲Diが検索範囲Dr内となって、レーザオルソ出力範囲Diの縁がメッシュにまたがっていた場合には、前述の処理によってレーザオルソ出力範囲Diのみのレーザデータをレーザオルソ画像用のデータとしてメモリ33に取り出している。
すなわち、メモリ33には図20に示すようにレーザオルソ出力範囲Di[(Xmin,ymin)、(Xmax,ymax)に、抽出したDiのメッシュIDと、各々のメッシュID内のレーザ点群(複数のレーザデータLi:1個でもよい)とが対応させられて記憶される。図20において、レーザ点群Liは図3と同様であり、図20においては単にLiで示している。
(道路部分抽出処理部)
図23は道路部分抽出処理部13の概略構成図である。図13において図9と同様なものは説明を省略する。
道路部分抽出処理部13は、図23に示すように、レーザ点群読込部131と、道路部分定義部132等を備えている。
道路部定義部132は、幅Wiで高さhiの道路立体Biを、移動軌跡の位置Pni―1、Pni、Pni+1、・・・の間毎にメモリ19a(19aa、19ab、19ac・・・)に生成する。これをレーザオルソ出力範囲Diまで繰り返す。
また、道路立体Bi(B1、B2、・・)が作成される毎にメモリ19ab、19ab・・の順に記憶するのが好ましい。なお。幅Wi、高さhiはメモリ26bに記憶している。
レーザ点群読込部131は、メモリ33、29a(レーザオルソ画像用データ)に記憶されているレーザオルソ画像用データ(最小メッシュレイヤのレーザ点群)を読み込み、これをメモリ19aaの道路立体Biに格納(割り付け)する。
次に図24、図25のフローチャートを用いて道路部分抽出処理の説明を補充する。
道路部分定義部132は、入力されたレーザオルソ出力範囲Diを図示しないメモリに読み込む(S191)。次に、このレーザオルソ出力範囲Di内に存在する走行軌跡Piをメモリ26aから読み込んで図示しないメモリに記憶する(S192)。
そして、道路部分定義部132は、入力された道路幅Wiを図示しないメモリに読み込む(S193)。次に図24に示すように走行軌跡Piの位置Pni毎(一定間隔:数メートル単位が好ましい)をメモリ(平面直角座標系)に定義し、これらの位置Pni(P0、Pn1、Pn2・・・)毎に直線pnniを結ぶ。
次に、道路幅Wiを走行軌跡Piに対しての位置pni毎(一定間隔:数メートル単位が好ましい)に直角方向に定義する(S194a:図26参照)。
具体的には、メモリ26aの各々の走行軌跡Piの位置pni(X,Y、Z(路面標高値))を直線PPn(n:1、2、・・)で繋げた移動軌跡(Pni)を図26に示すようにメモリ19aaに定義(Diと同じ平面直角座標系)する。位置Pniは番号を付加して定義するのがよい。
前述の道路幅Wiは、PniからPni+1までの直線Pnni+1に対して直角に引いて定義する。
但し、Pn0はレーザオルソ出力範囲Diの端とし、Pn1の道路幅Wiをpnn1上を平行移動させて定義する。
次に、道路部分定義部132は、位置(Pni)の番号(ni)を設定する(S194b)。そして、入力された高さhi(任意)を読み込む(S195)。この高さhiの線(垂線)の所定位置(例えば中心:任意)を位置(Pni):Zは道路面高さ)に定義する((S196:図27(a)参照)。
次に、道路幅Wi及び高さhiを位置(Pni)から直線上を次の位置(Pn+1)まで平行移動させた道路立体Biをメモリ19aaに作成する(S198a:図27(a)参照)。
次に、点群データ範囲Dpのメッシュサイズのメッシュ(1m×1m)を例えば道路面に定義(メッシュ番号付)する(S198b:図27(b)参照)。つまり、このメッシュ番号には、レーザデータLiが関連つけられている。
前述の道路立体Biの各頂点Qi(Q1、Q2、・・・Q8)は、Q1、Q2、Q3、Q4は、hiの中心を道路面に定義した場合は、道路面の高さZHi+hi/2、Q5、Q6、Q7、Q8は、道路面の高さZHi−hi/2として求める。
この高さhiの所定位置を道路面とするのは、道路は中央が盛り上がっている。このため、道路面以下の範囲を取得できるようにするためである。例えば、高さhiが1mとされている場合は下方を20cm、上方を80cmとして定義する。また、50cmにしてもよい。
次に、図25に示すように、道路立体Biの各頂点(Q1、Q2・・・)を上記の式(A)よって点群データ範囲DpのメッシュID(1m×1m:標高値割付)に変換する(S201)。つまり、道路立体Biを点群データ範囲Dpのメッシュサイズ(1m×1m)で定義する。
そして、道路部分定義部132は、この道路立体Biの各メッシュIDを道路メッシュIDリストCCi(メッシュ番号とメッシュID)としてメモリ134に記憶する(S202)。
次に、レーザ点群読込部131(道路部分レーザ点群読込部131ともいう)は道路メッシュIDリストCCiのメッシュIDに関連付けられているメッシュ番号を有するメッシュIDをメモリ33(レーザオルソ画像用のデータ)から読み込む(S203)。
次に、レーザ点群読込部131は、メモリ35からこのメッシュIDのレーザ点群を全て読み込み、これをメモリ19iの道路立体Biに格納する(S204)。
次に、移動軌跡の位置Pniは他にあるかどうかを判定する(S206)。他にある場合は、位置pniを更新して処理を図24のステップS194b移して(S207)、次の位置における道路立体を生成させる。
これによって、図28に示すように道路立体内の座標値を有するレーザ点群のみが道路立体Biに読み込まれている。
前述の道路部分のレーザ点群のみを道路立体Biに読み込むまでの過程を図29を用いて説明を補充する。
つまり、図29に示すように、メモリ19aaに道路立体Bi(点群データ範囲Dpの1m×1mメッシュが定義されている)が生成されると、メッシュID変換部132aが上記のメッシュID変換式で変換し、これらのメッシュIDをメモリ134に道路立体メッシュIDリストCCiとして記憶する。
道路立体メッシュIDリストCCiは、道路立体の各メッシュ番号(GBi)に、求めたメッシュID(M・・・)とが対応させられて記憶されている。
そして、検索部132bがこの道路立体メッシュIDリストCCiの各メッシュIDを有するメッシュIDをメモリ33(レーザオルソ画像用データ)から検索し、この検索したメッシュIDに関連付けられているメッシュ番号をレーザ点群読込部131に知(出力)らせる。
レーザ点群読込部131は、メッシュ番号が知らせられるとメモリ33からこのメッシュ番号のメッシュ内のレーザ点群を全て読み込んで道路立体Biに格納する。
この格納という意味は、メッシュ番号((1)、(2)・・・)にレーザデータを対応させて記憶することである。この道路用点群リストFiは道路立体IDリストに関連させて一体化したリストにしてもよい。
図29に示すように、メモリ33におけるレーザ点群は、Zが無限大の1m×1mのメッシュに格納されている。このため、道路立体Biが点群データ範囲Dp(最小メッシュレイヤ)のメッシュIDで定義され、このメッシュID範囲内のレーザ点群を取り出すということは、メモリ33の抽出されたレーザ点群において、Pniを基準として上下h/2のレーザ点群のみを取り出していることになる。
すなわち、道路、線路は中央が盛り上がっているが、道路面下の一定距離まで道路立体としているので、路面の形状に応じたレーザ点群を取得できる。このため、オルソ画像と同様に路面を上から見た画像を得させることが可能となる。つまり、例えば道路面のオルソフォトは道路の状態を読み取ったり、地図を作製するうえで有効な情報を得たことになる。
さらに、任意の切出幅を有する切出立体としているので、道路の側溝、歩道を含めて取得できる。
すなわち、地図においては、道路面以外の点を除去することにより、道路上の構造物(電柱・植栽・電線・トンネル等)が上に覆いかぶさらない路面のみを画像化させることができる。
上記の幅Wi、高さhiを任意な値にしてメモリ19に記憶することによって、例えば図30に示すように電柱や電線、看板があっても図31に示すようにこれらが除去される。
図32はレーザオルソ画像作成処理部14の概略構成図である。
上記と同様なものについては説明を省略する。
レーザオルソ画像作成処理部14は、レーザオルソ用の画像メモリ141と、画像解像度定義部142と、格子色付部145と、点群―ピクセル座標変換部143と、連結部150と、道路立体連結用メモリ151等を備えている。
前述のレーザオルソ用の画像メモリ141は、X−Y座標系(平面著各座標系)で定義されている。
画像解像度定義部142は、入力されたレーザオルソ解像度di及びレーザオルソ出力範囲Diを読み込み、画像メモリ141の書込範囲をレーザオルソ出力範囲Diにする。
そして、このレーザオルソ画像解像度diの大きさのピクセルサイズを画像メモリ141iに定義する。
連結部150は、メモリメモリ19aa、19ab・・の道路立体Biを連結してメモリ155に記憶する(連結道路立体BBi)。
点群―ピクセル座標変換部143は、メモリ155の連結道路立体BBに含まれているレーザ点群が含まれる画像メモリ141のピクセルGBi(x,y)を求めてメモリ144に記憶する。
前述の画像メモリ141のピクセル座標GBi(x,y)は、レーザオルソ画像解像度di、最小メッシュレイヤの間隔Dmを用いて求める。
例えば、求めたピクセル座標GBi(x,y)と、このピクセル座標GBiに含まれるレーザ点群と対応させて記憶する(ピクセルー点群リストGFi(GF1、GF2・・)。
図32においては、ピクセル座標GBiを(1)´、(2)´で示している。
ピクセル座標GBi(imgx,imgy)は、レーザオルソ出力範囲Di[(minx,miny)、(minx,miny)]とし、解像度di(dx、dy)とし、レーザ点群(x,y,z)とすると、

imgx=(x−minx)/dx
imgy=(x−minx)/dx
で計算する。
格子色付部145は、メモリ144の連結ピクセルー点群リストGFiのピクセル座標GBiに関連付けられているレーザ点群を読み込み、ピクセルの中心座標に最も近傍(直下含む)のレーザデータLkiを検出し、このレーザデータLkiの反射強度に応じたグレースケールの値をその連結ピクセルー点群リストGFiが示すピクセル座標GBiに対応する画像メモリ141のピクセルに割り付ける。なお、反射強度に基づくグレースケールの値(0〜255)は任意である。また、レーザ点群が存在しない場合は、0を割り付けるのが好ましい。
画像出力部16は、画像メモリ141のピクセルに色付けされると、これをレーザオルソ画像として画面23に出力して表示させる。
図33、図34はレーザオルソ画像作成処理部14の動作を説明するフローチャートである。
図33に示すように画像解像度定義部142は、入力されたレーザオルソ画像の解像度di(5cm以下)並びに、入力されたレーザオルソ出力範囲Di(レーザオルソを表示させる範囲)を読み込む(S251)。
次に、画像解像度定義部142はレーザオルソ用画像メモリ141(単に画像メモリと
もいう)の書込領域をレーザオルソ出力範囲Diに定義して、そのピクセルサイズを解像
度di(5cm以下(5cm含む)に相当)の大きさで定義する。つまり、解像度diに
対応するメッシュの画像メモリ141を作成する(S252)。
次に、連結部150は、メモリ19aa、19ab・・の道路立体Biを連結してメモリ155に記憶(連結道路立体BBi)する(S253a)。
次に、点群―ピクセル座標変換部143は、連結道路立体BBiのレーザデータLiを指定する(S253b)。
次に、点群―ピクセル座標変換部143は、このレーザデータLiを上記のメッシュID変換式で変換し、このレーザデータLiが含まれる画像メモリ141のピクセルGBiを、メッシュ間隔Dm、解像度diを用いて求める(S254)。
次に、このピクセルGBiに読み込んだレーザデータLiを割り付けた連結ピクセルー点群リストGFiをメモリ144に生成する(S255;図12参照)。図12に示すように、5cmのメッシュにレーザ点群が対応づけられたことになる。
次に、レーザデータが他に存在するかどうかを判定する(S256)。レーザデータが他に存在する場合は、レーザデータを次のレーザデータに更新して処理をステップS253aに戻す(S257)。
ステップS256でレーザデータが他にないと判定した場合は、メモリ144の連結ピクセルー点群リストGFiのピクセル座標GBiを指定する(S258)。
そして、このピクセル座標GBiに対応させられているレーザデータがあるかどうかを判定する(S259)。
ステップS259において、レーザデータがあると判定した場合は、格子色付け部145がこのGBiのピクセルの中心に対して最も近傍(中心線)のレーザデータLkiを検出する(S260a)。
次に、格子色付部145はこのレーザデータ(Lki)の反射強度Inを読み込む(S260b)。
また、ステップS259において、GBi内にレーザデータが存在しないと判定した場合は、GBiを中心にして周囲1ピクセル内を検索し、GBiの格子の中心から最も距離
が近傍のレーザデータをLkiとして検出し、処理をステップS260bに戻す(S26
0c)。
次に、図34に示すように、格子色付部145は反射強度Inに応じたグレースケール25の値を読み込み(S261)、画像メモリ141の格子(ピクセル)をそのグレースケールの値を割り付ける(S262)。なお、グレースケールに変えてRGB値を割り付けてもよい。
次に、GBiは最後かどうかを判断する(S263)。ステップS263において最後
の番号と判断でないと判断した場合は、GBiを次に更新して処理を図33のステップS
259に戻す(S264)。
さらに、ステップS263において、GBiが最後と判定した場合は、画像出力部が画像メモリの画像を画面に表示する(S264:図7参照)。この画像を本実施の形態ではレーザオルソ画像と称している。)。
上記の色付けの処理について図35、図36を用いて説明を補充する。図35(a)はメモリ19に記憶されている道路立体Biのレーザ点群を示し(元データ)、参考として5cmのメッシュを重ねている。
図35(b)は、道路立体Biに格納されたレーザ点群の抽出を示す図である。
図35(c)は、レーザ点群の反射強度に応じた色を画像メモリのピクセル(格子又はメッシュ)に割り付けることを示す図である。
なお、図35(b)の番号はレーザ点群の番号を示す。○印は検出するレーザデータLkiを示す。
例えば、図35(b)に示すように画像メモリ141の各ピクセルに対応するメッシュに、道路直方立体Biのレーザ点群が割り付けられた場合は、図35(b)に示すように○印の点群をLkiとして検出する。○印のレーザデータは、格子の中心に最も近傍のものである。
そして、図35(c)に示すように、メッシュ番号に対応する画像メモリ141の格子(ピクセル)に反射強度Inの色を割り付ける。
しかし、図35(b)に示すようにメッシュ番号GBi「14」のピクセル内にはレーザデータは存在しない。このような場合は、図35(b)に示すようにメッシュ番号「14」のメッシュの中心距離からはメッシュ番号「13」内に最も近いレーザデータLkiが存在するので(リストFを用いる)、図35(c)に示すようにメッシュ番号GBi「14」には、メッシュ番号「13」のレーザデータLkiの反射強度の色値を割り付ける(図36参照)。
すなわち、上記処理によって図37(a)、(b)に示すように通常のレーザオルソでは電柱、取水口が分かり難いが、本実施の形態の道路部分定義部132によって、入力された幅Wi、高さhiの範囲の道路立体内のレーザ点群のみを抽出して、これを画像化しているので、図37(c)、(d)に示すように電柱等が取り除かれたレーザオルソ画像を得ることができている。
なお、上記実施の形態では道路として説明したが、線路であってもかまわない。
また、上記平面直角座標系は、UTM座標系であってもかまわない。
さらに、上記実施の形態では移動軌跡の位置PniのZ値は、レーザ計測器の高さを引いた路面の標高値として説明したが、移動軌跡を道路立体Bi上に定義して、この位置Pniの直下のレーザデータを検出してそのz値からレーザ計測値の高さを引いた値を道路面の標高値としてもよい(図38参照)。
また、ビデオメモリを備えて、画像メモリ141にレーザオルソ画像が生成される毎に、このビデオメモリに記憶して、後日、希望のレーザオルソ出力範囲Diを表示又は印刷してもよい。
10 データベース
11 メッシュレイヤ作成処理部
12 レーザデータ投影処理部
13 道路部分抽出処理部
14 レーザオルソ画像作成部
15 データエリア図表示部
30 レーザ点群抽出部
111 最小メッシュ作成部
112 上位メッシュ作成部
113 レーザデータ読込部
116 メッシュレイヤ選択部
131 レーザ点群読込部
132 道路部分定義部
141 レーザオルソ用の画像メモリ
142 解像度定義部
145 格子色付部

Claims (7)

  1. 移動体に搭載した高密度レーザ器から対象範囲にスキャニングしながら数センチ間隔でレーザを発射し、得られた高密度のレーザデータであるレーザ点群(Li)を用いて、設定された出力範囲(Di:対象範囲>Di)のレーザオルソ画像を作成するレーザオルソ画像生成装置であって、
    像が生成される画像メモリと、
    前記対象範囲の前記レーザ点群(Li)が記憶された第1の記憶手段と、
    前記出力範囲(Di)の前記レーザ点群(Li´)が記憶される第2の記憶手段と、
    を備え、
    (A).二次元座標で前記出力範囲(Di)を定義する手段と、
    (B).該出力範囲(Di)に対応する前記レーザ点群(Li)を前記第の記憶手段から全て読み込んで前記出力範囲(Di)の前記レーザ点群(Li´)として前記第2の記憶手段に記憶する手段と、
    (C).設定された前記数センチ以下(同じ含む)の解像度(di)で前記画像メモリのピクセルを定義する手段と、
    (D).前記出力範囲(Di)のレーザ点群(Li´)に前記ピクセルに対応する領域を定義し、これを順次指定する手段と、
    (E).該指定毎に、この領域内の中心座標に対して最も近傍のレーザ点群(Li´)を決定する手段と、
    (F).この決定したレーザ点群(Li´)の反射強度を読込み、この反射強度に応じたグレースケール値を求める手段と、
    (G).前記指定された領域毎に、その縦横座標を前記画像メモリにおけるピクセルの位置とし、このピクセルに前記グレースケール値を割り付ける手段と、
    (H).このグレースケール値の画像を前記レーザオルソ画像として出力する手段と
    を有することを特徴とするレーザオルソ画像生成装置。
  2. 前記レーザオルソ画像を表示部の画面又は登録用メモリ若しくは外部機器に出力する手段と
    を有することを特徴とする請求項1記載のレーザオルソ画像生成装置。
  3. 前記移動体の移動軌跡を記憶した第3の記憶手段と、
    前記移動体が走行した道路の道路立体(Bi)が記憶される第4の記憶手段と、
    を備え、
    (I).前記移動軌跡の一定位置(Pni)毎に、前記高密度レーザ器までの高さ(Hi)を、前記位置(Pni)に割り付けられているz値から引いた値を前記移動体の道路面の高さ座標(ZHi)として求め、この道路面の高さ(ZHi)に前記移動軌跡のz値を変更する手段と、
    (J).前記移動軌跡の一定位置(Pni)と次の一定位置(Pni+1)毎に、この一定位置(Pni)と次の一定位置(Pni+1)とを前記第4の記憶手段に記憶し、設定された幅(Wi)を前記道路面の高さ(ZHi)で前記移動軌跡の移動方向に対して直角に定義する手段と、
    (K).前記第4の記憶手段に前記幅(Wi)が定義される毎に、設定された高さ(hi)を前記一定位置(Pni)と次の一定位置(Pni+1)に割付けて、前記幅(Wi)及び前記高さ(hi)の立体形状を求め、これを前記道路立体(Bi)とする手段と、
    (L).前記道路立体(Bi)に含まれる座標を有する前記出力範囲(Di)の前記レーザ点群(Li´)を前記第2の記憶手段から全て読み込んで前記第4の記憶手段の道路立体(Bi)に格納する手段と、
    を有することを特徴とする請求項1又は2記載のレーザオルソ画像生成装置。
  4. 移動体に搭載した高密度レーザ器から対象範囲にスキャニングしながら数センチ間隔でレーザを発射し、得られた高密度のレーザデータであるレーザ点群(Li)を用いて、設定された出力範囲(Di:対象範囲>Di)のレーザオルソ画像を作成するレーザオルソ画像生成のプログラムであって、
    画像が生成される画像メモリと、
    前記対象範囲の前記レーザ点群(Li)が記憶された第1の記憶手段と、
    前記出力範囲(Di)の前記レーザ点群(Li´)が記憶される第2の記憶手
    段と、
    を用いて、
    コンピュータを、
    (A).二次元座標で前記出力範囲(Di)を定義する手段、
    (B).該出力範囲(Di)に対応する前記レーザ点群(Li)を前記第の記憶手段から全て読み込んで前記出力範囲(Di)の前記レーザ点群(Li´)として前記第2の記憶手段に記憶する手段、
    (C).設定された前記数センチ以下(同じ含む)の解像度(di)で前記画像メモリの
    ピクセルを定義する手段、
    (D).前記出力範囲(Di)のレーザ点群(Li´)に前記ピクセルに対応する領域を定義し、これを順次指定する手段、
    (E).該指定毎に、この領域内の中心座標に対して最も近傍のレーザ点群を決定する
    手段、
    (F).この決定したレーザ点群(Li´)の反射強度を読込み、この反射強度に応じたグレースケール値を求める手段、
    (G).前記指定された領域毎に、その縦横座標を前記画像メモリにおけるピクセルの位置とし、このピクセルに前記グレースケール値を割り付ける手段、
    (H).このグレースケール値の画像を前記レーザオルソ画像として出力する手段
    としての機能を実行させるためのレーザオルソ画像生成のプログラム。
  5. 前記移動体の移動軌跡を記憶した第3の記憶手段と、
    前記移動体が走行した道路の道路立体(Bi)が記憶される第4の記憶手段とを用いて、
    前記コンピュータを、
    (I).前記移動軌跡の一定位置(Pni)毎に、前記高密度レーザ器までの高さ(Hi)を、前記位置(Pni)に割り付けられているz値から引いた値を前記移動体の道路面の高さ座標(ZHi)として求め、この道路面の高さ(ZHi)に前記移動軌跡のz値を変更する手段、
    (J).前記移動軌跡の一定位置(Pni)と次の一定位置(Pni+1)毎に、この一定位置(Pni)と次の一定位置(Pni+1)とを前記第4の記憶手段に記憶し、設定された幅(Wi)を前記道路面の高さ(ZHi)で前記移動軌跡の移動方向に対して直角に定義する手段、
    (K).前記第4の記憶手段に前記幅(Wi)が定義される毎に、設定された高さ(hi)を前記一定位置(Pni)と次の一定位置(Pni+1)に割付けて、前記幅(Wi)及び前記高さ(hi)の立体形状を求め、これを前記道路立体(Bi)とする手段、
    (L).前記道路立体(Bi)に含まれる座標を有する前記出力範囲(Di)の前記レーザ点群(Li´)を前記第2の記憶手段から全て読み込んで前記第4の記憶手段の道路立体(Bi)に格納する手段、
    としての機能を実行させるための請求項4記載のレーザオルソ画像生成のプログラム。
  6. 移動体に搭載した高密度レーザ器から対象範囲にスキャニングしながら数センチ間隔でレーザを発射し、得られた高密度のレーザデータであるレーザ点群(Li)を用いて、設定された出力範囲(Di:対象範囲>Di)のレーザオルソ画像を作成するレーザオルソ画像生成方法であって、
    画像が生成される画像メモリと、
    前記対象範囲の前記レーザ点群(Li)が記憶された第1の記憶手段と、
    前記出力範囲(Di)の前記レーザ点群(Li´)が記憶される第2の記憶手段と、
    用意し
    (A).二次元座標で前記出力範囲(Di)を定義する工程と、
    (B).該出力範囲(Di)に対応する前記レーザ点群(Li)を前記第2の記憶手段から全て読み込んで前記出力範囲(Di)の前記レーザ点群(Li´)として前記第2の記憶手段に記憶する工程と、
    (C).設定された前記数センチ以下(同じ含む)の解像度(di)で前記画像メモリのピクセルを定義する工程と、
    (D).前記出力範囲(Di)のレーザ点群(Li´)に前記ピクセルに対応する領域を定義し、これを順次指定する工程と、
    (E).該指定毎に、この領域内の中心座標に対して最も近傍のレーザ点群(Li)を決定する工程と、
    (F).この決定したレーザデータの反射強度を読込み、この反射強度に応じたグレースケール値を求める工程と、
    (G).前記指定された領域毎に、その縦横座標を前記画像メモリにおけるピクセルの
    位置とし、このピクセルに前記グレースケール値を割り付ける工程と、
    を行うことを特徴とするレーザオルソ画像生成方法。
  7. 前記レーザオルソ画像を表示部の画面又は登録用メモリ若しくは外部機器に出力する工程とを行うことを特徴とする請求項6記載のレーザオルソ画像生成方法。
JP2012048158A 2011-10-06 2012-03-05 レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法 Active JP5905746B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012048158A JP5905746B2 (ja) 2011-10-06 2012-03-05 レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011222295 2011-10-06
JP2011222295 2011-10-06
JP2012048158A JP5905746B2 (ja) 2011-10-06 2012-03-05 レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012009296A Division JP4948689B1 (ja) 2011-10-06 2012-01-19 レーザオルソ画像生成装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2013092516A JP2013092516A (ja) 2013-05-16
JP5905746B2 true JP5905746B2 (ja) 2016-04-20

Family

ID=46498737

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012009296A Active JP4948689B1 (ja) 2011-10-06 2012-01-19 レーザオルソ画像生成装置及びそのプログラム
JP2012048158A Active JP5905746B2 (ja) 2011-10-06 2012-03-05 レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012009296A Active JP4948689B1 (ja) 2011-10-06 2012-01-19 レーザオルソ画像生成装置及びそのプログラム

Country Status (1)

Country Link
JP (2) JP4948689B1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014032444A (ja) * 2012-08-01 2014-02-20 Asia Air Survey Co Ltd 低解像度画像生成方法及び低解像度画像生成装置及びそのプログラム
JP5947666B2 (ja) * 2012-08-21 2016-07-06 アジア航測株式会社 走行路上地物画像生成方法及び走行路上地物画像生成プログラム並びに走行路上地物画像生成装置
JP6197393B2 (ja) * 2013-06-20 2017-09-20 株式会社豊田中央研究所 レーン地図生成装置及びプログラム
JP6301678B2 (ja) * 2014-02-24 2018-03-28 アジア航測株式会社 スタンドアロン型点群データ表示システム、サーバ/クライアント型の点群データ表示システム及び点群データ表示プログラム
JP6552944B2 (ja) * 2015-11-18 2019-07-31 三菱電機株式会社 情報処理装置及び車両
KR102441100B1 (ko) * 2015-11-30 2022-09-06 현대오토에버 주식회사 Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
JP2017073171A (ja) * 2017-01-10 2017-04-13 アジア航測株式会社 低解像度画像生成方法及び低解像度画像生成装置及びそのプログラム
JP2018151872A (ja) * 2017-03-13 2018-09-27 富士通株式会社 描画プログラム、描画方法および描画装置
CN108986024B (zh) * 2017-06-03 2024-01-23 西南大学 一种基于网格的激光点云规则排列处理方法
JP6805970B2 (ja) * 2017-06-09 2020-12-23 トヨタ自動車株式会社 物標情報取得装置
CN109190573B (zh) * 2018-09-12 2021-11-12 阿波罗智能技术(北京)有限公司 应用于无人驾驶车辆的地面检测方法、电子设备、车辆
JP7189029B2 (ja) * 2019-01-08 2022-12-13 朝日航洋株式会社 立面図作成方法
JP7374432B2 (ja) * 2019-08-30 2023-11-07 株式会社日野 道路状況計測装置、方法及びプログラム
US11657572B2 (en) * 2020-10-21 2023-05-23 Argo AI, LLC Systems and methods for map generation based on ray-casting and semantic class images
CN112633092B (zh) * 2020-12-09 2022-06-14 西南交通大学 基于车载激光扫描点云的道路信息提取方法
JP7543228B2 (ja) 2021-08-31 2024-09-02 株式会社トヨタマップマスター 道路平面点群データの補正方法及びその装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296706A (ja) * 2002-04-05 2003-10-17 Asahi Koyo Kk 建物抽出方法及び装置並びにサンプルデータのベクトル化方法及び装置
US8665263B2 (en) * 2008-08-29 2014-03-04 Mitsubishi Electric Corporation Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
JP5322789B2 (ja) * 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム

Also Published As

Publication number Publication date
JP2013092516A (ja) 2013-05-16
JP2013093008A (ja) 2013-05-16
JP4948689B1 (ja) 2012-06-06

Similar Documents

Publication Publication Date Title
JP5905746B2 (ja) レーザオルソ画像生成装置及びレーザオルソ画像生成のプログラム並びにレーザオルソ画像生成方法
JP5808369B2 (ja) 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
CN113034689B (zh) 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质
JP6590653B2 (ja) 点群データ利用システム
JP5389964B2 (ja) 地図情報生成装置
US20170277951A1 (en) Creation of a 3d city model from oblique imaging and lidar data
JP5546151B2 (ja) 道路地物計測装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法および計測サーバ装置
JP6534296B2 (ja) 3次元モデル生成装置、3次元モデル生成方法、及びプログラム
CN112132108A (zh) 地面点云数据的提取方法、装置、设备及存储介质
JP6178704B2 (ja) 計測点高付与システム、計測点高付与方法および計測点高付与プログラム
KR101011814B1 (ko) 라이다를 이용한 표고모델 생성장치 및 표고모델 생성방법
JP2010249709A (ja) 断面計測装置、断面計測方法および断面計測プログラム
CN115423958A (zh) 一种基于视觉三维重建的矿区可行驶区域边界更新方法
JP2014032444A (ja) 低解像度画像生成方法及び低解像度画像生成装置及びそのプログラム
CN118229524A (zh) 基于点云映射隧道图像拼接方法、装置、设备及存储介质
JP2015158772A (ja) スタンドアロン型点群データ表示システム、サーバ/クライアント型の点群データ表示システム及び点群データ表示プログラム
JP2011048507A (ja) 3次元データ生成装置、3次元データ生成方法およびプログラム
Armenakis et al. iCampus: 3D modeling of York University campus
Habib et al. Integration of lidar and airborne imagery for realistic visualization of 3d urban environments
Ramadhani An Analysis of the Three-Dimensional Modelling Using LiDAR Data and Unmanned Aerial Vehicle (UAV)(Case Study: Institut Teknologi Sepuluh Nopember, Sukolilo Campus)
WO2023281797A1 (ja) 設備認識システム及び設備認識方法
JP2023059429A (ja) 点群画像操作システム
JP2017073171A (ja) 低解像度画像生成方法及び低解像度画像生成装置及びそのプログラム
Hyyppä et al. 3D City Modeling and Visualization for Smart Phone Applications
Park et al. Data fusion of laser scanned data and aerial ortho-imagery for digital surface modeling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160317

R150 Certificate of patent or registration of utility model

Ref document number: 5905746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250