JP4719753B2 - 異種センサ統合モデリングによるデジタル写真測量方法及びその装置 - Google Patents

異種センサ統合モデリングによるデジタル写真測量方法及びその装置 Download PDF

Info

Publication number
JP4719753B2
JP4719753B2 JP2008023237A JP2008023237A JP4719753B2 JP 4719753 B2 JP4719753 B2 JP 4719753B2 JP 2008023237 A JP2008023237 A JP 2008023237A JP 2008023237 A JP2008023237 A JP 2008023237A JP 4719753 B2 JP4719753 B2 JP 4719753B2
Authority
JP
Japan
Prior art keywords
ground
image
line
ground reference
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008023237A
Other languages
English (en)
Other versions
JP2009145314A (ja
Inventor
スンウン シン
エフ.ハビブ アイマン
ガンマ マファグ
チャンジェ キム
ウイミョン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009145314A publication Critical patent/JP2009145314A/ja
Application granted granted Critical
Publication of JP4719753B2 publication Critical patent/JP4719753B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Processing (AREA)

Description

本発明は、異種センサ統合モデリングによるデジタル写真測量方法及びその装置に関し、より詳細には、互いに異なる映像取得センサによって撮影された映像を統合して地上オブジェクトの3次元位置を決められる異種センサ統合モデリングによるデジタル写真測量方法及びその装置に関するものである。
本発明は、大韓民国情報通信部及び情報通信研究振興院のIT中核技術開発事業の一環として行った研究から導き出されたものである(課題管理番号:2007−F−042−01、課題名:3次元GIS基盤電波分析高度化技術の開発)。
デジタル写真測量法(Digital Photogrammetry)とは、カメラによって取得したイメージデータから地上オブジェクトの3次元位置情報を抽出し、抽出した3次元位置情報に3次元地形モデルを適用して最終的にオルソフォト(orthophoto)を生成する技術である。
特に、効率的な3次元地図の作成などのため、GPS(Global Positioning System)やINS(Inertial Navigation System)を搭載した航空機や衛星に取り付けられたカメラによって獲得した航空映像や衛星映像から地上オブジェクトの3次元位置情報を抽出する空中写真測量技術が最近注目を浴びている。
一般的に、地上オブジェクトの3次元位置情報は、地上基準点(Ground Control Point、GCP)の特定、特定した地上基準点を用いた標定(orientation)処理、及び標定処理によって計算した外部標定パラメータに対する幾何学的な計算によって得られる。
地上基準点としては、道路表示板、街灯、建物の曲がり角のように地図上で1つの点で表し得る地上オブジェクトを用いることができる。地上基準点の3次元座標はGPS測量または地上測量によって得られる。
標定処理は内部標定及び外部標定(相対標定、絶対標定)の順に進行されるか、内部標定及び空中三角測量(Aerotriangulation)の順に進行される。内部標定によってカメラの焦点距離、主点(principal point)、及びレンズの歪みを含む内部標定パラメータが得られる。内部標定の目的がカメラ内部の光学的環境を再現するものであるならば、外部標定の目的はカメラと対象物体間の位置関係を規定するものである。外部標定はその目的に応じて相対標定と絶対標定に分けることができる。
相対標定とは重畳領域を有する2つの航空映像の相対的な位置と姿勢の関係を明らかにする過程である。この時2つの映像の重畳領域を「モデル」といい、このように再構成した3次元空間を「モデル空間」という。相対標定は内部標定が行われた後に可能であり、モデル空間においてカメラの位置と姿勢を取得すると同時に共役点に対する縦視差(vertical parallax)を取り除く。
相対標定によって縦視差が取り除かれた1対の写真は完全な実体モデルを形成するが、このモデルは一方の写真を固定させた状態で2つの写真の相対的な関係を規定したものであるため、縮尺と水平がろくに合わず、実際の地形とは正確な相似関係を成していない。よって、このモデルを実際の地形と合わせるためには3次元仮想座標であるモデル座標を対象空間座標(object space coordinate system)に変換する過程が必要であり、このような過程を絶対標定という。つまり、絶対標定は3次元座標を有する最小3つの地上基準点を用いてモデル空間を地上空間に変換する過程である。
外部標定によって航空写真のカメラ(センサ)モデルに必要な6個の外部標定パラメータが決定される。6個のパラメータはカメラの投影中心(perspective center)の位置X、Y、Zと3次元軸に対する回転要素(姿勢)ω、φ、κである。よって、2つの映像の共役点を観測すれば、外部標定によって決められた6個の外部標定パラメータを用いて、例えば前方交会法(Space Intersection)によって地上座標を得ることができる。
一方、絶対標定によって1対の重複した写真から各点の3次元絶対座標を測定するためには少なくとも2つの平面基準点と3つの標高基準点が要る。よって、絶対標定によって精密な3次元位置測定を行うためには、求められる基準点全部に対する測量、すなわち、全面地上基準点の測量が必要である。しかし、大規模の航空写真を用いて3次元位置測定を行う場合、このような全面地上基準点測量作業では過大な時間と費用が必要となる。
したがって、少数の地上基準点だけに対して測量を施し、測量した地上基準点の地上座標と、図化機などの精密座標測定機によって得られた写真座標、モデル座標、またはストリップ座標を用いて数学的計算によって残りの点に対する絶対座標を決めることができるが、これを空中三角測量という。空中三角測量では、バンドル調整を通じて外部標定パラメータと対象空間座標に対して最小自乗法によって同時解を求める。
一方、上述したような過程によって算出した3次元座標は、地表面が所定の基準高度に位置するという前提条件下で算出されるため、該当3次元座標に地形標高モデル(Elevation Model)を適用してオルソフォトを生成する。地形標高モデルは、特定領域に対する地形の高度情報を表わすデータの形態として、対象地域を一定大きさの格子に分け、空間上に現れる連続的な起伏変化の値を該当格子に数値的に表わしたものである。
従来のデジタル写真測量方法は、同一映像取得センサ(カメラ)によって撮影された航空映像または衛星映像に対して地上オブジェクトの3次元位置情報を算出した。
ところが、最近では光学技術の発達によって様々な映像取得センサから様々な時期にかけて映像が作られている。例えば、航空映像はフレームカメラによって撮影され、衛星映像はプッシュブルーム(Pushbroom)センサやウィスクブルーム(Whiskbroom)センサのようなラインカメラによって撮影される。よって、互いに異なる映像取得センサによって撮影された映像を統合するための新たな方式のセンサモデリング技術を開発する必要がある。特に新しいセンサモデリング技術では3次元オブジェクトの位置を決めるのに必要な基準点の数を最小化することによって全般的な処理速度を改善する必要もある。
また、3次元地上座標の決定において、地上基準フィーチャー(ground control feature)として用いられる地上基準点データは、オブジェクト認識のような高精度作業ではその正確度が落ちる。また、地上の点に対応する映像上の点を抽出するためには多くの場合手作業が必須であるが、線や面のような2次元以上のオブジェクトデータの抽出はわりと自動化の可能性が非常に高い。特に、高い空間正確度により最近その活用性が増大しているLiDAR(Light Detection And Ranging)データを加工処理すれば、地上基準線(control line)または地上基準面(control surface)を容易に得ることができる。したがって、LiDARデータから3次元オブジェクトを自動抽出できる技術の開発が必要である。
また、デジタル写真測量システムの最終結果物であるオルソフォトを生成するために用いられる従来の地形標高モデルは地表面を単純化して表している。しかし、地上基準点が有する空間位置エラーによって地形標高モデルも空間位置エラーを有する。よって、最終生成されるオルソフォトもこのような地形標高モデルの影響で建物や地上オブジェクトに対する正射補正がろくに行われないため、様々な空間エラーを有する。
しかし、LiDARデータは、正確度と点密度が高いため、複雑な地上構造を精密に表現できるDEM(Digital Elevation Model)、DSM(Digital Surface Model)、及びDBM(Digital Building Model)などを生成することができる。よって、LiDARデータから生成されたDEM、DSM、DBMを活用してより精密でかつ正確なオルソフォトを作り出す技術を開発する必要がある。
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、互いに異なる映像取得センサから取得した映像、特に航空映像と衛星映像を統合して地上オブジェクトの3次元位置を決定することができ、地上オブジェクトの3次元位置決定に必要な地上基準点の個数を減らすか無くすことのできる異種センサ統合モデリングによるデジタル写真測量方法及びその装置を提供ことにある。
また、本発明は、点データのみならず線データと面データを活用して、地上オブジェクトの3次元位置を自動的でかつ精密に決定できる異種センサ統合モデリングによるデジタル写真測量方法及びその装置を提供することを他の目的とする。
さらに、本発明は、求められる精密度に応じて様々な種類の地形標高モデルを正射補正に活用して、様々な精密度のオルソフォトを得ることができる異種センサ統合モデリングによるデジタル写真測量方法及びその装置を提供することをまた他の目的とする。
上記のような目的を達成するための本発明のデジタル写真測量方法は、(a)地上オブジェクトに対する空間位置情報を含む地形情報データから、前記地上オブジェクトの空間位置を決めるのに用いられる地上オブジェクトを表す地上基準フィーチャーを抽出するステップと、(b)カメラパラメータの一部または全部が互いに異なるカメラによって獲得した空間映像において、該空間映像が、フレームカメラによって獲得した航空映像及びラインカメラによって獲得した衛星映像からなり、前記抽出した地上基準フィーチャーに対応する映像基準フィーチャーを特定するステップと、(c)前記空間映像の重畳領域に対し、前記地上基準フィーチャー及び前記映像基準フィーチャー間の幾何学的関係から制限条件式を確立するステップと、(d)前記制限条件式から前記空間映像の各々に対する外部標定パラメータを計算し、前記外部標定パラメータを前記空間映像に適用して前記地上オブジェクトに対する空間位置を決めるステップとを含む。
また、上記のような目的を達成するための本発明のデジタル写真測量装置は、地上オブジェクトに対する空間位置情報を含む地形情報データから、前記地上オブジェクトの空間位置を決めるのに用いられる線形状の地上オブジェクトまたは面形状の地上オブジェクトを各々表す地上基準線または地上基準面を抽出し、フレームカメラによって獲得した映像とラインカメラによって獲得した映像を含む空間映像において、前記抽出した地上基準線または地上基準面に各々対応する映像基準線または映像基準面を特定する基準フィーチャー設定部と、前記空間映像の重畳領域に対して、前記地上基準線及び前記映像基準線間の幾何学的関係または前記地上基準面及び前記映像基準面間の幾何学的関係から制限条件式を確立し、前記制限条件式から前記空間映像の各々に対する外部標定パラメータを計算し、前記外部標定パラメータを前記空間映像に適用して前記地上オブジェクトに対する空間位置を決める空間位置測量部とを含む。
よって、後述する実験結果から明らかなように、本発明によれば、地上オブジェクトの3次元位置を決めるのに必要な地上基準点の個数を減らすか無くすことができる。特に、LiDARデータから地上基準線または地上基準面を抽出する場合には3次元位置決定の正確性がより一層向上する。
また、地上基準フィーチャーとして点形状の地上オブジェクトを表す地上基準点をさらに抽出することが好ましい。特に後述する実験結果から明らかなように、地上基準面と共にいくつかの地上基準点をさらに活用すれば、3次元位置決定の正確度がより一層向上する。
さらに、前記空間映像をブロックで構成し、前記ブロック内の空間映像に対するバンドル調整により、前記外部標定パラメータと前記地上オブジェクトの空間位置を同時に決めることが好ましい。よって、本発明によれば、後述する実験結果から明らかなように、必要な地上基準点の個数を顕著に減らすことができる。
一方、互いに異なる地上オブジェクトに対する複数の地形標高モデルのうちの1つ以上の地形標高モデルによる正射補正を通じて、前記空間映像に対するオルソフォトを生成することが好ましい。この時、前記地形標高モデルはLiDARシステムによって作成したDEM、DSM、及びDBMを含み、前記DEMは地表面の高度を表す地形標高モデルであり、前記DSMは建物を除いて地表面上に存在する構造物の高さを表す地形標高モデルであり、前記DBMは地表面上に存在する建物の高さを表す地形標高モデルである。よって、本発明によれば、求められる精密度に符合する様々な精密度のオルソフォトを得ることができる。
本発明によれば、互いに異なる映像取得センサから取得した映像、特に航空映像と衛星映像を統合して地上オブジェクトの3次元位置を決定することができ、地上オブジェクトの3次元位置決定に必要な地上基準点の個数を減らすか無くす効果がある。
また、本発明によれば、点データだけでなく線データと面データを活用して、地上オブジェクトの3次元位置を自動的でかつ精密に決定できる効果がある。
さらに、本発明によれば、求められる精密度に応じて様々な種類の地形標高モデルを正射補正に活用して、様々な精密度のオルソフォトを得ることができる効果がある。
本発明は、航空映像と衛星映像を統合して空中三角測量を行う。航空映像は主にフレームカメラによって撮影され、衛星映像は主にラインカメラによって撮影される。よって、フレームカメラとラインカメラは、カメラの内的特性(内部標定パラメータ)及び外的特性(外部標定パラメータ)を含むカメラパラメータのうちの少なくとも一部のカメラパラメータが互いに異なる。本発明は、フレームカメラとラインカメラを単一の空中三角測量メカニズムに統合できる技法を提供する。本明細書では、航空映像と衛星映像を「空間映像」と称する。
以下、図面を参照して本発明の実施形態について説明する。
まず、本発明の実施形態について説明し、次に、本発明の実施形態を具体的に実現するための数学的原理などについて説明し、最後に、本発明の実施形態による実験結果について説明する。
1.実施形態
図1は、本発明の実施形態に係る異種センサ統合モデリングによるデジタル写真測量装置の構成図である。本明細書において、「異種センサ統合モデリング」とは、フレームカメラとラインカメラのように互いに異なるセンサによって獲得した映像において重畳領域に対する統一した三角測量技法であると定義することができる。
デジタル写真測量装置100は、本実施形態で活用されるデータを入力できるマウス、キーボードなどの入力部110と、前記入力部110を介して入力されるデータに基づいて本発明の全般的な機能を行う中央処理装置120と、前記中央処理装置120の演算に必要なデータを臨時保管するための内部メモリ130と、大容量の入力データを格納するか出力データを格納するハードディスクなどの外部格納装置140と、中央処理装置120の処理結果を出力するモニターなどの出力部150とから構成されている。
図2は、図1に示したデジタル写真測量装置の機能ブロック図である。再構成したデジタル写真測量装置100は、基準フィーチャー設定部200及び空間位置測量部300を含んでおり、オルソフォト生成部400を選択的にさらに含むことができる。
一方、本実施形態に係る異種センサ統合モデリングでは、地上基準フィーチャーとなる地上オブジェクトに対する3次元位置情報を獲得するために様々なデータを活用する。よって、地形情報データ格納部500には、実測データ500a、数値地図データ500b、及びLiDARデータ500cを含む地形情報データが格納されている。実測データ500aはGPS測量などによって実測した地上基準点の位置情報データである。数値地図データ500bは地形及び地物に関する様々な空間位置情報を数値化した電子地図データである。LiDARデータ500cはLiDARシステムによって測量した地形空間情報である。LiDARシステムは、レーザパルスの移動特性と地上オブジェクトの材質特性に基づき、地上オブジェクトまでの距離を計算する技法によって高精度の正確な地形モデルを生成することができる。
基準フィーチャー設定部200は、地形情報データ格納部500に格納されている地形情報データから地上基準点200a、地上基準線200b、及び地上基準面200cなどの様々な地上基準フィーチャーを抽出し、抽出した地上基準フィーチャーに対応する空間映像(300a,300b)内の映像基準フィーチャーを特定する。
地上基準点200aは、建物のコーナー、噴水などのように地表面上で1つの点で表わし得るオブジェクトとして、実測データ500aまたは数値地図データ500bから抽出され得る。地上基準線200bは、道路中央線、河川などのように地表面上で線で表わし得るオブジェクトとして、数値地図データ500bまたはLiDARデータ500cから抽出され得る。地上基準面200cは、建物、運動場敷地などのように地表面上で面で表わし得るオブジェクトとして、LiDARデータ500cから抽出され得る。映像基準フィーチャーの特定は、公知のパターンマッチング技法によって自動で行われ得る。
例えば、LiDARデータ500cによって表されるLiDARイメージが画面に示され、ユーザは画面上のLiDARイメージで地上基準線を指定する。基準フィーチャー設定部200はユーザが指定した地上基準線をLiDARデータ500cから抽出し、それに対応する映像基準線を公知のパターンマッチング技法によって自動で特定する。よって、地上基準線及び映像基準線を構成する点の座標が決定される。入力されるすべての空間映像に対して上記のような過程を繰り返して基準フィーチャーを特定する。
また、映像基準フィーチャーの自動特定が誤差範囲を超えるエラーを生じさせた場合、基準フィーチャー設定部200は、エラーが生じた映像基準フィーチャーに対するユーザの再指定により、該当映像基準フィーチャーを再び特定することができる。しかし、前述したように、線フィーチャーや面フィーチャーに対する自動化の成功可能性が点フィーチャーよりは遥かに高いため、線フィーチャーや面フィーチャーを活用した映像基準フィーチャーの自動特定はそのような誤差発生をほぼ回避することができる。
空間位置測量部300は、空間映像(300a,300b)の重畳領域に対する空中三角測量によって外部標定パラメータを求め、空間映像内の映像オブジェクトに対応する地上オブジェクトの3次元位置を決める。本明細書の後部でさらに詳しく説明するが、映像基準フィーチャーの映像座標と地上基準フィーチャーの地上座標などのデータに共線条件式(Collinearity Equations)及び共面条件式(Coplanarity Equations)のような制限条件を適用して空中三角測量を行う。
空中三角測量では、複数の空間映像をブロックで括って、ブロック単位のバンドル調整によって外部標定パラメータと対象空間座標(すなわち、地上空間の3次元座標)に対して最小自乗法によって同時解を求める。後述する実験では、6個の航空映像を1つの航空映像ブロックに構成した3個の航空映像ブロックとステレオ対の衛星映像に対して三角測量を行った。後述する実験結果は、航空映像ブロックとステレオ対の衛星映像を統合して三角測量を行うものが、ステレオ対の衛星映像だけを用いて三角測量を行うものより地上基準点の個数を顕著に減らすことができることを示す。
オルソフォト生成部400は、空間位置測量部300において求めた対象空間座標に所定の地形標高モデルを適用して必要に応じてオルソフォトを生成する。特に、LiDARデータから得られたDEM、DSM、及びDBMを必要に応じて活用することができる。本実施形態において、DEM400aは地表面の高度だけを表わす地形標高モデルである。また、本実施形態において、DSM400bは建物を除いて地表面上に存在する樹木及びその他構造物のような全オブジェクトの高さを表わす地形標高モデルである。また、本実施形態において、DBM400cは地表面上に存在する全建物の高さ情報を含む地形標高モデルである。したがって、互いに異なる正確度と精密度を有する様々なオルソフォトを生成することができる。
例えば、レベル1のオルソフォトは、DEM400aだけを用いて地形変位に応じた正射補正を行って得たオルソフォトである。レベル2のオルソフォトは、DEM400aとDSM400bを皆用いて、地形変位のみならず、建物を除いた地表面上の地上オブジェクトの高さに応じた正射補正を行って得たオルソフォトである。レベル3のオルソフォトは、DEM400a、DSM400b、及びDBM400cを皆活用して、地形変位及び建物を含む地表面上の全オブジェクトの高さを考慮した正射補正を行って得たオルソフォトである。よって、レベル1、レベル2、レベル3の順にオルソフォトの正確度と精密度が高くなる。
一方、本発明の実施形態に係るデジタル写真測量方法は、図1及び図2のデジタル写真測量装置の機能を段階別に実行することによって実現される。つまり、本発明の実施形態に係るデジタル写真測量方法は、地上基準フィーチャーの抽出ステップ、抽出した地上基準フィーチャーに対応する映像基準フィーチャーの特定ステップ、空間映像の重畳領域に対する空中三角測量ステップを含み、選択的にオルソフォト生成ステップを含む。
また、本発明は、上記方法を実行するためのプログラムを記録したコンピュータで読み取りできる記録媒体によって実現され得る。尚、上記実施形態は具体的な構成及び図面によって特定されているが、このような具体的な実施形態が本発明の範囲を制限するものではないことは明らかである。よって、本発明は、本発明の本質から逸脱しない様々な変形例及びその均等物を含むものであると理解しなければならない。
2.写真測量学的な原理
図3(a),(b)は、フレームカメラのイメージセンサの構造図とラインカメラのイメージセンサの構造図で、図3(a)が、フレームカメラのイメージセンサの構造図で、図3(b)がラインカメラのイメージセンサの構造図である。
図示したように、フレームカメラは2次元のセンサアレイを有する一方、ラインカメラは焦点面(focal plane)において単一のリニアセンサアレイを有する。リニアセンサアレイの1回の露出では対象空間の狭いストリップだけを撮影することができる。よって、ラインカメラで地上の連続した領域を撮影するためには、シャッターを開放した状態でイメージセンサを移動させなければならない。ここで、「映像またはイメージ(image)」と「場面(scene)」の区分が必要となる。
「イメージ(image)」は光センサの焦点面における1回露出によって得られる。「場面(scene)」は対象空間の2次元領域をカバーし、カメラの属性に応じて1つまたは複数の「イメージ」で構成され得る。このような区分によれば、フレームカメラによって獲得した場面は1つのイメージで構成される一方、ラインカメラによって獲得した場面は複数のイメージで構成される。
一方、フレームカメラと同様にラインカメラにおいても、投影中心と、イメージ上の点と、対応する地上オブジェクトの点が直線上に整列するという共線条件式を満足しなければならない。ラインカメラに対して共線条件式は下記の一般式1によって表わすことができる。一般式1の共線条件式は、フレームカメラによって獲得した場面を取り扱うといった時の場面座標(xs,ys)と同等のイメージ座標(xi,yi)を含む。しかし、ラインカメラの場合、場面座標(xs,ys)はイメージ座標に変換する必要がある。この場合、xs値は対応するイメージの露出瞬間を示すのに用いられ、ys値はyiイメージ座標に直接関連する(図4)。一般式1においてxiイメージ座標は焦点面のリニアセンサアレイの整列状態に依存する常数である。
Figure 0004719753
但し、(XG,YG,ZG)は対象点の地上座標であり、(Xt O,Yt O,Zt O)は露出時刻tにおける投影中心の地上座標であり、r11’〜r33’は露出瞬間の回転マトリックスの要素であり、(xi,yi)は考慮される点のイメージ座標であり、(xp,yp,c)はイメージセンサの内部標定パラメータ(IOPs)である。つまり、xp及びypは主点のイメージ座標であり、cは焦点距離である。
フレームカメラとラインカメラの共線条件式間の他の違いは、フレームカメラは単一露出によってイメージを獲得し、ラインカメラは複数の露出によって場面を獲得するという点である。よって、ラインカメラの場面と関連する外部標定パラメータ(EOPs)は時間依存的であり、場面内で考慮されるイメージに依存して変わる。これは、それぞれのイメージごとに未知の外部標定パラメータを有することを意味し、場面全体的に未知の外部標定パラメータが過度に多くなることを意味する。したがって、現実的な理由で、ラインカメラによって獲得される場面のバンドル調整は関連するすべての外部標定パラメータを考慮しない。関連するすべての外部標定パラメータに対する考慮には相当な時間と努力が要るためである。
ラインカメラと関連する外部標定パラメータの個数を減らすため、多項式(polynomial)によってシステム軌跡(trajectory)をモデリングする方法または標定映像(orientation image)方法が用いられる。
多項式によってシステム軌跡をモデリングする方法は、時間の流れに伴うEOPの変化を決定する。多項式の次数は軌跡の平坦度(smoothness)によって決定される。しかし、この方法は、多項式によって表わすには飛行軌跡が過度に概略的である点、及びGPS/INS観測値を結合しにくい点などの短所を持つ。よって、EOPを減らすより良い方法は標定映像方法といえる。
通常、標定映像はシステムの軌跡に沿って等間隔で指定される。特定時刻において獲得されたイメージのEOPは隣接するイメージ、いわゆる標定映像のEOPの加重平均でモデリングされる。
一方、ラインカメラのイメージ幾何(geometry)は、関連するEOPの減少方法を含み、フレームカメラのイメージ幾何よりはより一般的である。言い換えれば、フレームカメラのイメージ幾何はラインカメラのイメージ幾何の特別な場合であると考えることができる。例えば、フレームカメラによって獲得したイメージは、軌跡と飛行姿勢(attitude)が0次元多項式で表されるラインカメラによって獲得される場面の特殊な場合であると考えることができる。または、標定映像によって作業する場合、フレームイメージは1つの標定映像を有するラインカメラの場面として考えることができる。ラインカメラのイメージ幾何に対するこのような一般化は、フレームカメラとラインカメラを統合できる異種センサの三角測量に直接寄与する。
3.三角測量プリミティブ
三角測量の正確性は、関連するデータセットを制御情報によって規定される基準フレームに関連付ける共通プリミティブ(primitives)をいかに正確に識別するかによる。ここで、共通プリミティブとは、2つの映像の重畳領域の地上基準フィーチャーとそれに対応する映像基準フィーチャーのことをいう。従来の写真測量学的な三角測量は地上基準点、すなわち点(point)プリミティブに基づく。しかし、写真測量データが対象空間の連続的で規則的なスキャニングから得られる一方、LiDARデータは非連続的で不規則なフットプリント(footprint)で構成されている。よって、このような写真測量データとLiDARデータの特性を考慮すれば、LiDARフットプリントをイメージの対応点に関連付けるのはほぼ不可能である。したがって、点プリミティブはLiDARデータに適しておらず、前述したように、線(line)プリミティブと面(surface)プリミティブが各々基準線と基準面としてLiDARデータと写真測量データを関連付けるのに適切である。
線フィーチャーはイメージにおいて直接識別(特定)できる一方、その共役LiDAR線は平面パッチ分割及び交差法(planar patch segmentation and intersection)によって抽出することができる。または、LiDAR線は現在の大半のLiDARシステムが提供するレーザ強度イメージ(intensity image)においても直接識別され得る。しかし、レーザ強度イメージから抽出した基準線よりは平面パッチ分割及び交差法によって抽出した基準線がより精巧である。線フィーチャー以外に、写真測量データセットの空間的プリミティブは、イメージにおいて識別され得る境界を用いて規定することができる。このような空間的プリミティブは、例えば、屋根、湖、及び他の均質(homogeneous)領域を含む。LiDARデータセットにおいて、空間的領域は平面パッチ分割(planar patch segmentation)技法によって得られる。
プリミティブ選択と関連する他の論点は写真測量データとLiDARデータの両方における表現方式である。それにつき、イメージ空間ラインは該当線フィーチャーに沿って存在する一連のイメージ点(G31C)によって表される(図5(a))。このような表現方式は、イメージ空間の直線に歪みがある場合のイメージ空間線フィーチャーを取り扱うときに良い。その上、このような表現方式は、飛行軌跡の揺動が対象空間の直線に対応するイメージ空間線フィーチャーの直線に屈曲を作り出すため、ラインカメラによって獲得した場面においても線フィーチャーを抽出することができる。一方、重なる場面において対応するラインセグメントに沿って選択された中間点は共役である必要はない。LiDARデータの場合、対象ラインは両端点(G31A,G31B)によって表し得る(図5(b))。LiDAR線を規定する点はイメージにおいて示す必要はない。
一方、空間的プリミティブの場合、写真測量データセットにおける平面パッチは3個の点、すなわち、3個の隅点(A,B,C)によって表すことができる(図6(a))。この点はすべての重なるイメージにおいて識別されなければならない。線フィーチャーと同様に、このような表現方式はフレームカメラとラインカメラによって獲得した場面に対して有効である。一方、LiDARパッチはそのパッチを規定するフットプリントFPによって表すことができる(図6(b))。この点は平面パッチ分割技法を用いて直接得られる。
4.制限条件式
4.1.線形プリミティブの活用
対象空間の両端点で表されるLiDAR線と、イメージ空間の一連の中間点で表される写真測量学的ラインを互いに関連付ける数学的な制限条件について説明する。
写真測量データセットは、LiDAR線の制御ソースとしての直接併合を通じてLiDAR基準フレームに整列する。対応するラインに沿って存在する写真測量学的な測定値とLiDAR測定値は下記の一般式2の共面条件式によって互いに関連している。この共面条件式は、イメージラインに沿って存在する任意の中間イメージ点(xk'',yk'',0)に対する投影中心(XO’’,YO’’,ZO’’)からのベクトルが、LiDAR線を規定する2個の点(X1,Y1,Z1)及び(X2,Y2,Z2)とイメージの投影中心によって規定される平面内に含まれることを示す。言い換えれば、与えられた中間点k’’に対し、点{(X1,Y1,Z1)、(X2,Y2,Z2)、(XO’’,YO’’,ZO’’)、及び(xk'',yk'',0)}が共通の面に存在する(図7)。
Figure 0004719753
但し、V1は投影中心をLiDAR線の第1端点に連結するベクトルであり、V2は投影中心をLiDAR線の第2端点に連結するベクトルであり、V3は投影中心を該当イメージ線に沿って存在する中間点に連結するベクトルである。中間イメージ点に対し、一般式2の共面条件式は一般式1の共線条件式と結合されてバンドル調整に用いられる。
前記制限条件はイメージ空間の線フィーチャーに沿って存在するすべての中間点に対して適用される。ラインカメラによって獲得した場面に対し、関連するEOPは考慮される中間点に関連したイメージに対応しなければならない。知られたIOPを有するフレームカメラに対しては、与えられたイメージに対して最大2個の独立的な制限条件が定義され得る。しかし、自己較正(self−calibration)手続きにおいて、歪みパターンがイメージ空間の線フィーチャーに沿って存在するいずれか1つの中間点から次の中間点まで変わるため、追加的な制限条件はIOPを復旧するのに役に立つ。一方、共面条件式はラインカメラに関連するEOPのより良好な復旧に役に立つ。そのような寄与は、システムの軌跡がイメージ空間における線フィーチャーの模様に影響を与えるという事実に起因する。
イメージブロックに対しては、少なくとも2個の非共面(non−coplanar)ラインセグメントが、再構成される対象空間のデータ、すなわちスケール、回転、及びシフト成分などのデータ確立に必要である。そのような要件は、イメージブロックからモデルを誘導することができると仮定し、1つのラインが2個の回転角度だけでなくラインを横切る2個のシフト成分を規定するという事実によって説明される。他の非共面ラインは、スケールファクターだけでなく残りのシフト成分及び回転成分の確立に役に立つ。
4.2.平面パッチの活用
対象空間で一群の点で表されるLiDARパッチと、イメージ空間で3個の点で表れる写真測量パッチを関連付ける数学的制限条件について説明する。例えば、2個の点セット、すなわち写真測量セットSPH={A,B,C}及びLiDARセットSL={(XP,YP,ZP)、P=1〜n}(図8)で表される面パッチ(surface patch)を考慮する。
LiDAR点はランダムに分布しているため、データセット間で点−対−点対応を保障できない。写真測量点の場合、イメージ空間と対象空間の座標が共線条件式によって互いに関連している。一方、特定平面(planar−surface)に属するLiDAR点は、同一の対象空間面を示す写真測量パッチと一致しなければならない(図8)。LiDAR点と写真測量点の共面性(coplanarity)は数学的に次の一般式3で表すことができる。
Figure 0004719753
前記制限条件はLiDAR点を写真測量学的な三角測量に併合するための制限条件式として用いられる。物理的な観点から見ると、この制限条件は、任意のLiDAR点とそれに対応する写真測量面間の法線距離(normal distance)は0であるべきこと、すなわち4個の点からなる4面体の体積が0であるべきことを意味する。この制限条件は面パッチを構成するすべてのLiDAR点に適用される。また、前記制限条件はフレームカメラとラインカメラ皆に有効である。写真測量点に対し、一般式3の制限条件式は一般式1の共線条件式と結合されてバンドル調整に用いられる。
唯一の制御ソースで充分になるため、LiDARパッチはすべてのデータパラメータ、3個の平行移動要素(translations)(XT,YT,ZT)、3個の回転要素(ω、φ、κ)、及び1つのスケールファクターSを提供しなければならない。図9は、ある1つの軸に直角であるパッチがその軸方向にシフトを提供すると同時に他軸を横切る回転角度を提供することを示す。したがって、3個の非平行パッチは1個のデータの姿勢と標定要素を決めるのに充分である。スケールの決定のためには、3個の平面パッチが1つの点で交差(例えば、ピラミッド)してはいけない。または、スケールは、図9に示すように、第4の平面を併合することによって決定され得る。しかし、空中LiDARデータにおいて垂直パッチを有する可能性は高くない。よって、垂直パッチの代わりに、様々な(varying)傾きと外観を有する傾斜したパッチを用いることができる。
5.実験結果
本実験では、GPS受信機が取り付けられたデジタルフレームカメラ、衛星基盤ラインカメラ、そしてLiDARシステムを利用した。本実験は次のことを研究した。
*フレームカメラとラインカメラによって獲得した場面に対するライン基盤ジオレファレンシング(geo−referencing)手続きの有用性。
*フレームカメラとラインカメラによって獲得した場面に対するパッチ基盤ジオレファレンシング(geo−referencing)手続きの有用性。
*衛星場面、航空場面、LiDARデータ、及びGPS位置を、統一したバンドル調整手続きに統合することの影響。
第1番目データセットは、2005年4月、Applanix Digital Sensor System(DSS)によって1500mの高度で大韓民国大田市を撮影した6枚のフレームデジタルイメージで各々構成された3個のブロックを含む。DSSカメラは16メガピクセル(9μmピクセルサイズ)と55mmの焦点距離を有する。DSSカメラの位置は搭載されたGPS受信機を用いて追跡した。第2番目データセットは、2001年11月に同一地域に対して撮影されたIKONOSステレオ対で構成された。この場面はいかなる幾何学的補正も行わないロウイメージ(raw imagery)であり、研究目的で提供された。最後に、DSSカバレッジに対応するマルチストリップLiDARカバレッジが、平均点密度2.67point/m2であるOPTECH ALTM 3070を用いて975mの高度で収集された。DSSイメージブロックのうちの1つのブロック及び対応するLiDARカバレッジの立体的な模様が図10に示されている。図11は、IKONOSカバレッジとDSSイメージブロック(四角で表示された部分)の位置を示す図である。
LiDAR基準フィーチャー(control feature)を抽出するため、互いに異なる傾きと外観(aspects)を有した総139個の平面パッチと138個の線フィーチャーが平面パッチ分割及び交差法によって識別(特定)された。図10は、IKONOS場面内の中間LiDAR点群(図10(b))から抽出したフィーチャーの位置(図10(a)、小さい円で示された部分)を示す図である。対応する線及び空間フィーチャーはDSS及びIKONOS場面においてデジタル処理された。互いに異なるジオレファレンシング技法の性能を評価するため、70個の地上基準点セットもまた獲得した。この点の分布は図11に示されている(三角形模様の小さい点)。点基盤、線基盤、パッチ基盤、及びGPS補助ジオレファレンシング技法の性能は、2乗平均誤差(Root Mean Square Error、RMSE)分析によって評価した。互いに異なる実験において、一部地上基準点はバンドル調整で基準フィーチャーとして用いられ、残りの地上基準点は確認点(check points)として用いられた。
様々なジオレファレンシング方法の性能を研究するため、本発明の発明者らは次の実験を行った。実験の結果は下記の表1に整理する。
*用いられる地上基準点の個数を変化させながら行ったIKONOS場面の写真測量学的三角測量(表1の第二番目コラム)。
*用いられる地上基準点の個数を変化させながら行ったIKONOS及びDSS場面の写真測量学的三角測量(表1の第三番目コラム)。
*用いられる地上基準点の個数を変化させながら、かつDSS露出と関連するGPS観測値を考慮しながら行ったIKONOS及びDSS場面の写真測量学的三角測量(表1の第四番目コラム)。
*地上基準点の個数を変更しながら、かつLiDAR線の個数(45個及び138個)を変化させながら行ったIKONOS及びDSS場面の写真測量学的三角測量(表1の第五番目と第六番目コラム)。
*地上基準点の個数を変更しながら、かつLiDARパッチの個数(45個及び139個)を変化させながら行ったIKONOS及びDSS場面の写真測量学的三角測量(表1の第七番目と第八番目のコラム)。
Figure 0004719753
表1において、「N/A」とは解を得ることができない、すなわち提供される基準フィーチャーが三角測量手続きに必要なデータを確立するのに充分ではなかったことを意味する。表1は次の結果を示す。
*三角測量のための唯一の基準フィーチャーとして地上基準点だけを用いた場合、ステレオIKONOS場面は最小6個の地上基準点を必要とした(表1の第二番目コラム)。
*三角測量においてIKONOS場面と共にDSSイメージを含めると収斂に必要な(すなわち、3次元位置測定が可能な)基準フィーチャーの要件を3個の地上基準点に減少させた(表1の第三番目コラム)。さらに、DSS露出ステーションにおけるGPS観測値の併合は地上基準点がなくても収斂を可能にした(表1の第四番目コラム)。よって、衛星場面に何枚かのフレームイメージを併合するのは、地上基準点の個数を減少させながらも写真測量学的な再構成を可能にするということが明らかである。
*LiDAR線フィーチャーは、追加の基準フィーチャーがなくてもIKONOS及びDSS場面をジオレファレンシングするのに充分である。表1の第五番目と第六番目コラムは、三角測量手続きに追加の基準点を併合するのは再構成結果を大きく向上させないことを示す。さらに、線フィーチャーの個数を45個から138個に増加させるのも三角測量の結果を大きく向上させないことが分かる。
一方、LiDARパッチは、追加の基準フィーチャーがなくてもIKONOS及びDSS場面をジオレファレンシングするのに充分である(表1の第七番目と第八番目コラム)。しかし、いくつかの基準点を併合すると結果が相当向上した。例えば、3個の地上基準点と139個の基準パッチを用いた場合のRMSEは5.4mから2.9mに減少した。追加基準点(4個以上の地上基準点)を併合するのは結果に大きな影響がなかった。いくつかの地上基準点を用いて得た再構成結果は、大多数の用いられたパッチが建物の屋根のように緩やかな傾きを有する事実に起因する。よって、XとY方向へのモデルシフトの評価は比較的に正確ではなかった。垂直や急激な傾斜のパッチがこの問題を解決することができる。しかし、そのようなパッチは提供されたデータセットにはなかった。さらに、表1の第七番目と第八番目コラムは、基準パッチを45個から139個に増やしても三角測量の結果を大きくは向上させないことを示す。
上記のような互いに異なるジオレファレンシング技法の比較は、パッチ基盤、線基盤、及びGPS補助ジオレファレンシング技法が、点基盤ジオレファレンシング技法より良い結果を示すことがわかる。このような改善はマルチセンサ及びマルチプリミティブ三角測量手続きを採用する利点を示す。
追加実験において、本発明の発明者らは、LiDAR面と共にフレームカメラの場面とラインカメラの場面のマルチセンサ三角測量から誘導されたEOPを活用してオルソフォトを生成した。図12(a),(b)は、IKONOSオルソフォトとDSSオルソフォトが並んで置かれているサンプルパッチを示す図である。図12(a)に示すように、生成されたオルソフォトは、DSSオルソフォトとIKONOSオルソフォト間の観測されたフィーチャーの緩やかな連続性から見るように相当な互換性がある。図12(b)は、IKONOSイメージとDSSイメージの撮影瞬間の間の対象空間の変化を示す。よって、フレームカメラとラインカメラからのイメージに対するマルチセンサ三角測量が、時間的な(temporal)イメージの精巧なジオレファレンシングのための環境を提供し、誘導された対象空間のオブジェクトに対する位置決定の正確度を向上させることは明らかである。
本発明の実施形態に係るデジタル写真測量装置の構成図である。 図1に示したデジタル写真測量装置の機能的ブロック図である。 フレームカメラ及びラインカメラのセンサ構造説明図で、(a)はフレームカメラ、(b)はラインカメラを示している。 ラインカメラの場面座標系とイメージ座標系の説明図で、(a)はラインカメラの場面座標系、(b)はイメージ座標系を示している。 イメージ空間とLiDARにおけるラインの定義に関する説明図で、(a)はイメージ空間、(b)はLiDARを示している。 イメージ空間とLiDARにおける面(パッチ)の定義に関する説明図で、(a)はイメージ空間、(b)はLiDARを示している。 共面条件式を説明する概念図である。 イメージパッチとLiDARパッチの共面性を説明する概念図である。 制御ソースとして平面パッチを用いたデータ最適確立構造の説明図である。 DSS中間イメージブロックと対応LiDAR点群の描写図で、(a)はDSS中間イメージブロック、(b)は対応LiDAR点群を示している。 LiDARデータとDSSイメージによってカバーされる3個のパッチを有したIKONOS場面カバレッジの描写図である。 本発明の実施形態に係るIKONOSイメージとDSSイメージのオルソフォトと撮影当時の映像を示す図で、(a)はIKONOSイメージとDSSイメージのオルソフォト、(b)は撮影当時の映像を示している。
符号の説明
100 デジタル写真測量装置
110 入力部
120 中央処理装置
130 内部メモリ
140 外部格納装置
150 出力部
200 フィーチャー設定部
200a 地上基準点
200b 地上基準線
200c 地上基準面
300 空間位置測量部
300a 航空映像
300b 衛星映像
400 オルソフォト生成部
400a DEM
400b DSM
400c DBM
500 地形情報データ格納部
500a 実測データ
500b 数値地図データ
500c LiDARデータ

Claims (14)

  1. (a)地上オブジェクトに対する空間位置情報を含む地形情報データから、前記地上オブジェクトの空間位置を決めるのに用いられる地上オブジェクトを表す地上基準フィーチャーを抽出するステップと、
    (b)カメラパラメータの一部または全部が互いに異なるカメラによって獲得した空間映像において、該空間映像が、フレームカメラによって獲得した航空映像及びラインカメラによって獲得した衛星映像からなり、前記抽出した地上基準フィーチャーに対応する映像基準フィーチャーを特定するステップと、
    (c)前記空間映像の重畳領域に対し、前記地上基準フィーチャー及び前記映像基準フィーチャー間の幾何学的関係から制限条件式を確立するステップと、
    (d)前記制限条件式から前記空間映像の各々に対する外部標定パラメータを計算し、前記外部標定パラメータを前記空間映像に適用して前記地上オブジェクトに対する空間位置を決めるステップと
    を含むことを特徴とする異種センサ統合モデリングによるデジタル写真測量方法。
  2. 前記地上基準フィーチャーは線形状の地上オブジェクトを表す地上基準線または面形状の地上オブジェクトを表す地上基準面であり、前記映像基準フィーチャーは前記地上基準線または地上基準面に各々対応する映像基準線または映像基準面であることを特徴とする請求項1に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  3. 前記地上基準フィーチャーが前記地上基準線である場合に前記ステップ(c)は、前記地上基準線の両端点、前記空間映像の投影中心、及び前記映像基準線に沿って存在する中間点が共通の面に存在するという幾何学的関係から前記制限条件式を確立することを特徴とする請求項2に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  4. 前記地上基準フィーチャーが前記地上基準面である場合に前記ステップ(c)は、前記地上基準面に含まれている点と前記映像基準面との間の法線距離が0であるという幾何学的関係から前記制限条件式を確立することを特徴とする請求項2に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  5. 前記地上基準フィーチャー及び前記映像基準フィーチャーは、点形状の地上オブジェクトを表す地上基準点及び前記地上基準点に対応する映像基準点を各々さらに含み、前記ステップ(c)は、前記空間映像の投影中心、前記映像基準点、及び前記地上基準点が同一線上に存在するという幾何学的関係から誘導した共線条件式を前記制限条件式としてさらに確立することを特徴とする請求項2に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  6. 前記地形情報データはLiDARデータを含み、前記ステップ(a)は前記LiDARデータから前記地上基準フィーチャーを抽出することを特徴とする請求項2に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  7. 前記ステップ(d)は、前記空間映像をブロックで構成するステップと、前記ブロック内の空間映像に対するバンドル調整により、前記外部標定パラメータと前記地上オブジェクトの空間位置を同時に決めるステップとを含むことを特徴とする請求項1に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  8. (e)複数の地形標高モデルのうちの1つ以上の地形標高モデルによる正射補正を通じて前記空間映像に対するオルソフォトを生成するステップをさらに含むことを特徴とする請求項1に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  9. 前記地形標高モデルはLiDARシステムによって作成したDEM、DSM、及びDBMを含み、前記DEMは地表面の高度を表す地形標高モデルであり、前記DSMは建物を除いて地表面上に存在する構造物の高さを表す地形標高モデルであり、前記DBMは地表面上に存在する建物の高さを表す地形標高モデルであることを特徴とする請求項8に記載の異種センサ統合モデリングによるデジタル写真測量方法。
  10. 地上オブジェクトに対する空間位置情報を含む地形情報データから、前記地上オブジェクトの空間位置を決めるのに用いられる線形状の地上オブジェクトまたは面形状の地上オブジェクトを各々表す地上基準線または地上基準面を抽出し、フレームカメラによって獲得した航空映像とラインカメラによって獲得した衛星映像を含む空間映像において、前記抽出した地上基準線または地上基準面に各々対応する映像基準線または映像基準面を特定する基準フィーチャー設定部と、
    前記空間映像をブロックで構成し、前記空間映像に対して、前記地上基準線及び前記映像基準線間の幾何学的関係または前記地上基準面及び前記映像基準面間の幾何学的関係から制限条件式を確立し、前記制限条件式に対するバンドル調整により、前記空間映像の各々に対する外部標定パラメータ及び前記地上オブジェクトの空間位置を決める空間位置測量部と
    を含むことを特徴とする異種センサ統合モデリングによるデジタル写真測量装置。
  11. 前記基準フィーチャー設定部は、前記地上基準面を抽出して前記映像基準面を特定し、点形状の地上オブジェクトを表す地上基準点をさらに抽出して前記地上基準点に対応する映像基準点をさらに特定し、
    前記空間位置測量部は、前記地上基準面に含まれている点と前記映像基準面との間の法線距離が0であるという幾何学的関係から前記地上基準面に対する前記制限条件式を確立し、前記空間映像の投影中心、前記映像基準点、及び前記地上基準点が同一線上に存在するという幾何学的関係から誘導した共線条件式を前記制限条件式としてさらに確立することを特徴とする請求項10に記載の異種センサ統合モデリングによるデジタル写真測量装置。
  12. 前記地形情報データはLiDARデータを含み、前記基準フィーチャー設定部は前記LiDARデータから前記地上基準線または前記地上基準面を抽出することを特徴とする請求項10に記載の異種センサ統合モデリングによるデジタル写真測量装置。
  13. 互いに異なる地上オブジェクトに対する複数の地形標高モデルのうちの1つ以上の地形標高モデルによる正射補正を通じて、前記空間映像に対するオルソフォトを生成するオルソフォト生成部をさらに含むことを特徴とする請求項10に記載の異種センサ統合モデリングによるデジタル写真測量装置。
  14. LiDARシステムによって作成した地形標高モデルであるDEM、DSM、及びDBMのうちの1つ以上の地形標高モデルによる正射補正を通じて、前記空間映像に対するオルソフォトを生成するオルソフォト生成部をさらに含み、前記DEMは地表面の高度を表す地形標高モデルであり、前記DSMは建物を除いて地表面上に存在する構造物の高さを表す地形標高モデルであり、前記DBMは地表面上に存在する建物の高さを表す地形標高モデルであることを特徴とする請求項10に記載の異種センサ統合モデリングによるデジタル写真測量装置。
JP2008023237A 2007-12-17 2008-02-01 異種センサ統合モデリングによるデジタル写真測量方法及びその装置 Expired - Fee Related JP4719753B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070131963A KR100912715B1 (ko) 2007-12-17 2007-12-17 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
KR10-2007-0131963 2007-12-17

Publications (2)

Publication Number Publication Date
JP2009145314A JP2009145314A (ja) 2009-07-02
JP4719753B2 true JP4719753B2 (ja) 2011-07-06

Family

ID=40753354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008023237A Expired - Fee Related JP4719753B2 (ja) 2007-12-17 2008-02-01 異種センサ統合モデリングによるデジタル写真測量方法及びその装置

Country Status (3)

Country Link
US (1) US20090154793A1 (ja)
JP (1) JP4719753B2 (ja)
KR (1) KR100912715B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636649B2 (en) 2021-01-06 2023-04-25 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods
US11816793B2 (en) 2021-01-06 2023-11-14 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270770B1 (en) * 2008-08-15 2012-09-18 Adobe Systems Incorporated Region-based dense feature correspondence
US8427505B2 (en) * 2008-11-11 2013-04-23 Harris Corporation Geospatial modeling system for images and related methods
US8958980B2 (en) * 2008-12-09 2015-02-17 Tomtom Polska Sp. Z O.O. Method of generating a geodetic reference database product
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
TWI389558B (zh) * 2009-05-14 2013-03-11 Univ Nat Central Method of determining the orientation and azimuth parameters of the remote control camera
US8442305B2 (en) * 2009-06-30 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for determining 3D poses using points and lines
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
US8665316B2 (en) 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
FR2953940B1 (fr) * 2009-12-16 2012-02-03 Thales Sa Procede de geo-referencement d'une zone imagee
US8655513B2 (en) * 2010-03-12 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data
KR101005829B1 (ko) 2010-09-07 2011-01-05 한진정보통신(주) 지상 기준점 선점을 위한 최적 지역 추출 시스템 및 방법
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
KR101258560B1 (ko) * 2010-11-19 2013-04-26 새한항업(주) 항공삼각측량을 위한 지상기준점 설정방법
US9879993B2 (en) 2010-12-23 2018-01-30 Trimble Inc. Enhanced bundle adjustment techniques
US9182229B2 (en) 2010-12-23 2015-11-10 Trimble Navigation Limited Enhanced position measurement systems and methods
US10168153B2 (en) 2010-12-23 2019-01-01 Trimble Inc. Enhanced position measurement systems and methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
CN102175227B (zh) * 2011-01-27 2013-05-01 中国科学院遥感应用研究所 一种探测车在卫星图像上的快速定位方法
US8994821B2 (en) * 2011-02-24 2015-03-31 Lockheed Martin Corporation Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
CN102759358B (zh) * 2012-03-14 2015-01-14 南京航空航天大学 基于失效卫星表面参考点的相对位姿动力学建模方法
CN102721957B (zh) * 2012-06-21 2014-04-02 中国科学院对地观测与数字地球科学中心 一种水环境遥感监测校正检验方法及装置
JP6122591B2 (ja) 2012-08-24 2017-04-26 株式会社トプコン 写真測量用カメラ及び航空写真装置
US9235763B2 (en) 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
KR101879855B1 (ko) * 2012-12-22 2018-07-19 (주)지오투정보기술 영상의 왜곡보정을 통해 공간모델링을 수행하는 수치지도제작 시스템
CN103075971B (zh) * 2012-12-31 2015-07-22 华中科技大学 一种空间目标主体长度测量方法
KR101387589B1 (ko) * 2013-02-04 2014-04-23 (주)다인조형공사 레이저 스캐닝 기술을 활용한 저장 설비의 변형 검사 시스템
US9251419B2 (en) * 2013-02-07 2016-02-02 Digitalglobe, Inc. Automated metric information network
IL226752A (en) * 2013-06-04 2017-02-28 Padowicz Ronen Independent navigation system and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9247239B2 (en) 2013-06-20 2016-01-26 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
CN103363958A (zh) * 2013-07-05 2013-10-23 武汉华宇世纪科技发展有限公司 基于数字近景摄影测量的街道房屋立面图绘制方法
CN103679711B (zh) * 2013-11-29 2016-06-01 航天恒星科技有限公司 一种遥感卫星线阵推扫光学相机在轨外方位参数标定方法
US20150346915A1 (en) * 2014-05-30 2015-12-03 Rolta India Ltd Method and system for automating data processing in satellite photogrammetry systems
US20160178754A1 (en) * 2014-12-18 2016-06-23 Javad Gnss, Inc. Portable gnss survey system
CN104880178B (zh) * 2015-06-01 2017-04-26 中国科学院光电技术研究所 一种基于四面体边长和体积加权约束的单目视觉位姿测量方法
CN105808930B (zh) * 2016-03-02 2017-04-05 中国地质大学(武汉) 基于服务器集群网络的预条件共轭梯度区域网平差方法
CN105783881B (zh) * 2016-04-13 2019-06-18 西安航天天绘数据技术有限公司 空中三角测量的方法和装置
WO2017183001A1 (en) 2016-04-22 2017-10-26 Turflynx, Lda. Automated topographic mapping system"
US10489972B2 (en) * 2016-06-28 2019-11-26 Cognata Ltd. Realistic 3D virtual world creation and simulation for training automated driving systems
US10521694B2 (en) * 2016-09-09 2019-12-31 The Chinese University Of Hong Kong 3D building extraction apparatus, method and system
KR101750390B1 (ko) * 2016-10-05 2017-06-23 주식회사 알에프코리아 탐지대상물 실시간 추적감시장치 및 그 방법
CN107063193B (zh) * 2017-03-17 2019-03-29 东南大学 基于全球卫星导航系统动态后处理技术航空摄影测量方法
CN107192375B (zh) * 2017-04-28 2019-05-24 北京航空航天大学 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
CN107274481A (zh) * 2017-06-07 2017-10-20 苏州大学 一种基于多站站点点云拼接的三维模型重建方法
US10586349B2 (en) 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
EP3460518B1 (en) 2017-09-22 2024-03-13 Leica Geosystems AG Hybrid lidar-imaging device for aerial surveying
KR101863188B1 (ko) * 2017-10-26 2018-06-01 (주)아세아항측 3차원 문화재 모델 구축 방법
US20200279395A1 (en) * 2017-11-14 2020-09-03 Ception Technologies Ltd. Method and system for enhanced sensing capabilities for vehicles
KR102008772B1 (ko) 2018-01-15 2019-08-09 주식회사 스트리스 특징 기하 기반의 멀티센서 캘리브레이션 및 융합을 위한 장치 및 방법
KR102167847B1 (ko) 2018-01-15 2020-10-20 주식회사 스트리스 레이저 관측 장비를 이용한 mms의 캘리브레이션을 위한 장치 및 방법
US10733470B2 (en) * 2018-01-25 2020-08-04 Geomni, Inc. Systems and methods for rapid alignment of digital imagery datasets to models of structures
KR20190090567A (ko) 2018-01-25 2019-08-02 주식회사 스트리스 특징 기하 기반의 멀티센서 데이터 처리 장치 및 방법
CN109029379B (zh) * 2018-06-08 2020-10-20 北京空间机电研究所 一种高精度小基高比立体测绘方法
KR102275572B1 (ko) 2018-12-21 2021-07-09 한국전자통신연구원 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
US11610337B2 (en) * 2019-02-17 2023-03-21 Purdue Research Foundation Calibration of cameras and scanners on UAV and mobile platforms
CN109827548A (zh) * 2019-02-28 2019-05-31 华南机械制造有限公司 无人机航测数据的处理方法
CN110006405A (zh) * 2019-04-18 2019-07-12 成都纵横融合科技有限公司 航空摄影相片硬件免相控定向处理方法
EP3990860A2 (en) * 2019-06-26 2022-05-04 Google LLC Worldwide coordinate frame defined by data set correspondences
US10984552B2 (en) * 2019-07-26 2021-04-20 Here Global B.V. Method, apparatus, and system for recommending ground control points for image correction
CN110440761B (zh) * 2019-09-18 2022-05-03 中国电建集团贵州电力设计研究院有限公司 一种无人机航空摄影测量数据的处理方法
CN110487251B (zh) * 2019-09-18 2022-05-03 中国电建集团贵州电力设计研究院有限公司 一种用非量测相机的无人机进行大比例尺测图的作业方法
US10943360B1 (en) 2019-10-24 2021-03-09 Trimble Inc. Photogrammetric machine measure up
CN111192366B (zh) * 2019-12-30 2023-04-07 重庆市勘测院 用于建筑高度三维控制的方法及装置、服务器
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter
CN111458720B (zh) * 2020-03-10 2023-06-30 中铁第一勘察设计院集团有限公司 复杂山区基于机载激光雷达数据的倾斜摄影建模方法
CN111447426B (zh) * 2020-05-13 2021-12-31 中测新图(北京)遥感技术有限责任公司 一种影像色彩校正方法以及装置
CN111754458B (zh) * 2020-05-18 2023-09-15 北京吉威空间信息股份有限公司 面向几何精处理的卫星影像立体空间基准框架构建方法
KR102584070B1 (ko) 2020-11-23 2023-10-10 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
CN112595335B (zh) * 2021-01-15 2023-05-19 智道网联科技(北京)有限公司 一种智慧交通行车停止线的生成方法及相关装置
KR102520189B1 (ko) * 2021-03-02 2023-04-10 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
CN112857328B (zh) * 2021-03-30 2022-06-14 宁波市特种设备检验研究院 一种无标定摄影测量方法
KR102488553B1 (ko) * 2021-05-03 2023-01-12 이재영 드론을 이용한 3차원 지도 제작 방법
KR102525519B1 (ko) * 2021-05-24 2023-04-24 이재영 드론을 이용한 3차원 지도 제작 방법
KR102567800B1 (ko) * 2021-06-10 2023-08-16 이재영 드론을 이용한 3차원 지도 제작 방법
KR102567799B1 (ko) * 2021-06-18 2023-08-16 이재영 드론을 이용한 3차원 지도 제작 방법
KR102587445B1 (ko) * 2021-08-18 2023-10-10 이재영 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법
CN113899387B (zh) * 2021-09-27 2023-09-22 武汉大学 一种基于验后补偿的光学卫星遥感影像区域网平差方法及系统
CN114463494B (zh) * 2022-01-24 2024-04-26 湖南省第一测绘院 一种地形特征线自动提取方法
CN114543841B (zh) * 2022-02-25 2023-06-02 四川大学 环境因素对空三点云影响实验装置以及评估方法
KR20230138105A (ko) 2022-03-23 2023-10-05 주식회사 코매퍼 LiDAR 데이터를 활용한 드론 사진 이미지 단위 변환 방법
CN116448080B (zh) * 2023-06-16 2023-09-05 西安玖安科技有限公司 一种基于无人机倾斜摄影辅助土方开挖施工的方法
CN116625354B (zh) * 2023-07-21 2023-09-29 山东省国土测绘院 一种基于多源测绘数据的高精度地形图生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063580A (ja) * 2000-08-22 2002-02-28 Asia Air Survey Co Ltd 不定形窓を用いた画像間拡張イメージマッチング方法
JP2003185433A (ja) * 2001-12-14 2003-07-03 Asia Air Survey Co Ltd 新旧写真画像を用いた標定方法及び修正図化方法
JP2003219252A (ja) * 2002-01-17 2003-07-31 Starlabo Corp 移動体搭載用撮影装置を用いた撮影システム及び撮影方法
JP2003323640A (ja) * 2002-04-26 2003-11-14 Asia Air Survey Co Ltd レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2940871C2 (de) * 1979-10-09 1983-11-10 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Photogrammetrisches Verfahren für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung
EP1248940A1 (en) * 1999-11-12 2002-10-16 Go Sensors, L.L.C. Methods and apparatus for measuring orientation and distance
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
KR100417638B1 (ko) * 2001-02-20 2004-02-05 공간정보기술 주식회사 개인용 컴퓨터를 이용한 수치사진 측량 시스템
US6735348B2 (en) * 2001-05-01 2004-05-11 Space Imaging, Llc Apparatuses and methods for mapping image coordinates to ground coordinates
US7725258B2 (en) * 2002-09-20 2010-05-25 M7 Visual Intelligence, L.P. Vehicle based data collection and processing system and imaging sensor system and methods thereof
JP4191449B2 (ja) * 2002-09-19 2008-12-03 株式会社トプコン 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末
KR20040055510A (ko) * 2002-12-21 2004-06-26 한국전자통신연구원 소수의 지상 기준점을 이용한 이코노스 알피씨 데이터갱신방법
KR100571429B1 (ko) 2003-12-26 2006-04-17 한국전자통신연구원 지상기준점 영상 칩을 이용한 온라인 기하 보정 서비스제공 방법
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP5362189B2 (ja) * 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
US7944547B2 (en) * 2006-05-20 2011-05-17 Zheng Wang Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063580A (ja) * 2000-08-22 2002-02-28 Asia Air Survey Co Ltd 不定形窓を用いた画像間拡張イメージマッチング方法
JP2003185433A (ja) * 2001-12-14 2003-07-03 Asia Air Survey Co Ltd 新旧写真画像を用いた標定方法及び修正図化方法
JP2003219252A (ja) * 2002-01-17 2003-07-31 Starlabo Corp 移動体搭載用撮影装置を用いた撮影システム及び撮影方法
JP2003323640A (ja) * 2002-04-26 2003-11-14 Asia Air Survey Co Ltd レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636649B2 (en) 2021-01-06 2023-04-25 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods
US11816793B2 (en) 2021-01-06 2023-11-14 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods

Also Published As

Publication number Publication date
KR20090064679A (ko) 2009-06-22
KR100912715B1 (ko) 2009-08-19
JP2009145314A (ja) 2009-07-02
US20090154793A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
JP4719753B2 (ja) 異種センサ統合モデリングによるデジタル写真測量方法及びその装置
EP3228984B1 (en) Surveying system
EP1242966B1 (en) Spherical rectification of image pairs
CN109813335B (zh) 数据采集系统的标定方法、装置、系统及存储介质
JP5389964B2 (ja) 地図情報生成装置
US10970924B2 (en) Reconstruction of a scene from a moving camera
Pepe et al. Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
Lingua et al. 3D model generation using oblique images acquired by UAV
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
Maurer et al. Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
Vacca et al. The use of the UAV images for the building 3D model generation
Wang et al. Pictometry’s proprietary airborne digital imaging system and its application in 3D city modelling
CN112862966B (zh) 地表三维模型构建方法、装置、设备及存储介质
CN110986888A (zh) 一种航空摄影一体化方法
Altuntas et al. Image based methods for surveying heritage of masonry arch bridge with the example of Dokuzunhan in Konya, Turkey
Sadeq Accuracy assessment using different UAV image overlaps
CN116758234A (zh) 一种基于多点云数据融合的山地地形建模方法
Jiang et al. Determination of construction site elevations using drone technology
Wu Photogrammetry: 3-D from imagery
Che Ku Abdullah et al. Integration of point clouds dataset from different sensors
Shin et al. Algorithms for multi‐sensor and multi‐primitive photogrammetric triangulation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees