JP3834296B2 - 少数の地上基準点を用いたｉｋｏｎｏｓｒｐｃデータ更新方法 - Google Patents
少数の地上基準点を用いたｉｋｏｎｏｓｒｐｃデータ更新方法 Download PDFInfo
- Publication number
- JP3834296B2 JP3834296B2 JP2003125970A JP2003125970A JP3834296B2 JP 3834296 B2 JP3834296 B2 JP 3834296B2 JP 2003125970 A JP2003125970 A JP 2003125970A JP 2003125970 A JP2003125970 A JP 2003125970A JP 3834296 B2 JP3834296 B2 JP 3834296B2
- Authority
- JP
- Japan
- Prior art keywords
- rpc
- small number
- ground
- ikonos
- rpc data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
- B64G1/1021—Earth observation satellites
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Processing (AREA)
- Instructional Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、衛星映像を用いて地形情報を抽出する方法に関し、特に、１ｍの空間解像度を有するＩＫＯＮＯＳ衛星映像を用いて地形情報を抽出する場合、映像を提供する事業者で衛星映像と共に提供する媒介変数の正確度を少数の地上基準点を導入して向上させる、少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法に関する。
【０００２】
【従来の技術】
一般に、ＩＫＯＮＯＳ衛星映像は１ｍの空間解像度を提供する高解像度光学衛星映像であり、ＳＰＯＴ及びＫＯＭＰＳＡＴのような衛星映像で提供する衛星の航法資料またはセンサの撮影姿勢（Attitude：衛星が映像センサ（CCD）を用いて地球を撮影する時の３次元軸を基準にどのぐらい傾いているかを表す姿勢、角で表現される）を提供しない代わりに、ＲＦＭ（Rational Function Model）という数学的なセンサモデルを用いることができるようにＲＰＣ（Rational Polynomial Coefficient）という媒介変数を提供している。映像の最終ユーザは、ＲＰＣを用いて映像に表れた対象の位置情報を取得することができるようになる。
【０００３】
しかし、ユーザが提供されるＲＰＣの正確度より高い位置正確度を求める場合、映像に表れた地域で多数の地上基準点を取得し、より厳密なセンサモデルを直接構築しなければならないという問題があった。また、地上基準点の取得は、映像購買以上の費用的な支出及び時間が必要であり、新しいセンサモデルの適用もユーザにとって大きい負担になるという問題点があった。
【０００４】
【発明が解決しようとする課題】
従来のシステムには上述したような種々の問題があり、さらなる改善が望まれている。
【０００５】
従って、本発明の目的は、ユーザの位置正確度に対するニーズを満たすために、多数の地上基準点を用いて提供されたＲＰＣを少数の基準点により正確に更新できるようにする少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法を提供することにある。
【０００６】
【課題を解決するための手段】
上述した目的を達成するための本発明は、少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法において、（ａ）ＲＰＣデータと少数の地上基準点座標値を入力するステップと、（ｂ）前記入力されたＲＰＣデータの誤差を計算するステップと、（ｃ）前記ＲＰＣデータから生成される仮想の基準点に対して正規化された３次元基準点の加重値を計算するステップと、（ｄ）前記少数の地上基準点に対する加重値を計算するステップと、（ｅ）正規化された３次元空間を生成し、前記基準点に対する３次元基準点正規座標を抽出するステップと、（ｆ）前記基準点を用いてＲＦＭ観測方程式を構成して最小二乗法でＲＰＣパラメータ値を更新させるステップとを備えたことを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付の図面を参照しながら、本発明による好適な実施形態の動作を詳細に説明する。
【０００８】
まず、ＩＫＯＮＯＳ衛星映像は、センサモデルに必要な補助データを提供しない代わりに、ＲＰＣというＲＦＭに必要な媒介変数をユーザに提供する。ＲＰＣにはＲＦＭセンサモデルのために必要な媒介変数が全て含まれており、正規化された座標を用いるので、座標に対するオフセット（Offset）及びスケール（Scale）も含まれている。
【０００９】
上記正規化された座標とは、２次元映像座標及び３次元地上座標を「−１．０」から「＋１．０」の間の値に変換したことを意味する。従って、元の座標値を一定量だけ移動させても、座標値の縮尺を調整して一定範囲内の全ての座標値が定義されるようにする。
【００１０】
ＩＫＯＮＯＳ衛星映像のユーザは、このようなＲＰＣを用いてＲＦＭセンサモデルに必要な媒介変数を入力し、映像に表れた対象の位置情報を得るか、３次元地上座標を入力して映像での位置を見付かることができる。以下の式（１）〜（３）は上記ＲＦＭの一般的な形態を示すものであり、式（４）〜（８）は座標を一定量移動し、縮尺を適用して正規化させる方法を数式で示すものである。
【００１１】
【数１】
【００１２】
【数２】
【００１３】
ここで、上記提供されたＲＰＣがユーザが要求する正確度を提供していない場合、ユーザは必要な正確度を得るために上記ＲＰＣを更新して使用しなければならない。映像から正確な位置情報を得るための最も一般的な方法は、該当地域で地上基準点を最小１０個余りの点から最大数十個の点を用いてユーザーが選定したセンサモデルの媒介変数を計算し、これを用いて２次元映像と３次元実際空間との関係を明らかにしなければならない。しかし、本発明では、最小１つの地上基準点のみが使用可能な場合にも、ＲＦＭセンサモデル媒介変数であるＲＰＣを更新することにより、提供されたＲＰＣを用いる場合より高い正確度の必要な位置情報を得ることができる。
【００１４】
図１は、本発明の実施形態による少数の地上基準点を用いてＩＫＯＮＯＳ ＲＰＣデータ更新を行うソフトウェアモジュールブロック構成を示す。ＲＰＣデータ更新ソフトウェアモジュール１１０はＲＰＣを少数の地上基準点のみで最小二乗法を用いて更新することができる。
【００１５】
図１を参照すると、本発明のＲＰＣデータ更新ソフトウェアモジュール１１０は、ＩＫＯＮＯＳ衛星で撮影した映像に対して地上座標への変換のためのパラメータ値ＲＰＣを入力して上記ＲＰＣデータの誤差を計算するＲＰＣ誤差計算部１００と、上記ＲＰＣデータから生成される仮想の基準点に対して正規化された３次元基準点加重値を計算する正規化された３次元基準点の加重値計算部１０２と、上記少数の地上基準点に対する加重値を計算する地上基準点加重値計算部１０４と、上記基準点の適用のための正規化された３次元空間を生成する正規化された３次元空間生成部１０６と、上記基準点に対する３次元空間上の座標を抽出する３次元正規座標抽出部１０８などを含む。
【００１６】
図２は、本発明の実施形態による少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新処理の流れを示す。
【００１７】
ＲＰＣデータ更新モジュール１１０は、ステップＳ２００でＩＫＯＮＯＳ ＲＰＣデータを入力し、ステップＳ２０２で実際測量により観測された少数の地上基準点を入力する。上記地上基準点は、同じ地域の地理座標が入力された異なる映像を用いて決定することもでき、地理院のデジタル地図を用いて地図にある座標を持って地上基準点を入力することもできる。
【００１８】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ２０４で上記少数の地上基準点を用いて上記ＩＫＯＮＯＳパラメータ値の誤差を計算する。上記地上基準点はＲＰＣの誤差の改善に用いられるデータであり、本発明では極小数の地上基準点を用いてＲＰＣの誤差を推定することができる。この時、上記ＲＰＣ誤差の推定は、ＲＰＣの信頼度の計算において重要であり、上記計算された信頼度は以後の最小二乗法を用いたＲＰＣ更新時に加重値として適用される。即ち、従来のＲＰＣの信頼度が落ちれば大きく改良し、信頼度が高ければ少し改良するなどの更新程度を決める役割をする。
【００１９】
すると、ＲＰＣデータ更新モジュール１１０は、ステップＳ２０６で最小二乗法を用いてＲＰＣ値を更新した後、ステップＳ２０８で上記更新されたＲＰＣを用いて該当地形情報を抽出する。
【００２０】
図３は、本発明の実施形態による少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新処理の流れを示す。図３を参照すると、本発明のＲＰＣデータ更新モジュール１１０は、ステップＳ３００でＩＫＯＮＯＳ ＲＰＣデータを入力し、ステップＳ３０２で予め観測された少数の地上基準点を入力する。
【００２１】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ３０４で上記少数の地上基準点を用いて上記ＩＫＯＮＯＳパラメータ値の誤差を計算する。そして、ＲＰＣデータ更新モジュール１１０は、ステップＳ３０６でＲＰＣを用いて仮想で生成した地上基準点に対する正規化された３次元基準点の加重値を計算する。
【００２２】
即ち、本発明では、足りない地上基準点の代わりに提供されたＲＰＣを用いて仮想の基準点を作り出す。上記ＲＰＣを用いれば、映像座標を地上座標に変えることができるが、その地上座標を基準点として用いる。
【００２３】
このようにして、実際にほぼ真の値に近い少数の地上基準点と誤差を含めているＲＰＣにより取得した仮想の基準点とを用いて、最小二乗法計算のために必要な基準点個数を決定する。しかし、上記仮想の基準点を実際に測定した少数の地上基準点と同じ加重値を設定する場合、上記仮想の基準点はＲＰＣデータが有する誤差を同様に有するようになり、数学的には最小二乗法を使用可能な条件になるが、ＲＰＣの更新にはあまり影響を及ばないようになる。従って、本発明では、上記ステップＳ３０４で計算されたＲＰＣの誤差値により上記仮想基準点の信頼度を上記実際に測定された少数の地上基準点の信頼度よりかなり低く設定することで、少数の基準点によりＲＰＣが改善されるようにする。
【００２４】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ３０８で上記少数の地上基準点に対する加重値を計算した後、ステップＳ３０１〜Ｓ３１２で正規化された３次元空間を生成し、３次元基準点正規座標を抽出する。
【００２５】
上記において、ＩＫＯＮＯＳのＲＰＣはＲＦＭセンサモデルの媒介変数であり、−１．０から１．０までの間の値で各軸の範囲が制限される空間上に撮影対象が存在すると設定されている。また、映像座標も−１.０から１．０までの間の値で表現される。従って、映像に表れた対象のＷＧＳ８４座標と映像の行または列の値を得るためには、提供されるオフセット値及びスケール値を用いて正規化された座標を変換しなければならない。オフセット、スケール値は行（row）、列（column）及びＷＧＳ８４座標系の緯度（Latitude）、経度（Longitude）、高さ（height）に対して各々存在する。上記式（２）は、オフセット／スケール値に対する正義を示している。ｕ，ｖ，ｗ，ｙは、正規化された緯度、経度、高さ、縦行、横列の値である。このように正規化された座標を用いるＲＰＣ特性により提供されたＲＰＣを用いて正規化された３次元空間上に基準点を仮想に設けることができ、地上基準点と正規化された３次元空間上の基準点を用いてＲＰＣを更新する。
【００２６】
即ち、ＲＰＣデータ更新モジュールは、ステップＳ３１４でＲＦＭ観測方程式を構成し、ステップＳ３１６で上記少数の地上基準点と仮想基準点を用いて最小二乗法計算を行ってＲＰＣを更新した後、ステップＳ３１８で上記更新されたＲＰＣを用いて地形情報を抽出する。
【００２７】
図４は、正規化された空間に設けられた基準点を示し、各軸は−１．０から１．０までの間に範囲が制限され、正六面体形状を有するこの空間内に基準点が設けられる。
【００２８】
少数の地上基準点を提供されたＲＰＣで抽出した基準点と共に用いて、ＲＰＣを更新するので、地上基準点の影響力が十分反映されるように、加重値を適切に調節することが望ましい。各々の観測値に与えられた加重値により加重値行列が構成され、この行列の値により最終的な結果に対する影響力が決められる。従って、地上基準点の加重値は正規化された３次元空間の基準点より相対的に大きい値を与える。地上基準点を取得する当時の測量誤差を分析し、映像と共に最初提供されたＲＰＣの誤差を地上基準点を用いて分析し、上記２つの誤差値を比較分析して加重値を決めることができる。
【００２９】
このような方法により更新された新しいＲＰＣを用いて、より正確な位置情報がＩＫＯＮＯＳ映像から抽出できるようになる。
【００３０】
図５は、本発明の他の実施形態による少数の地上基準点を用いたＩＫＯＮＯＳＲＰＣデータ更新処理の流れを示す。
【００３１】
図５のＲＰＣデータ更新処理では、ＲＰＣを更新するための方程式を少数の地上基準点と正規化された３次元空間内に設けられた基準点を用いて構成した上記図３の方法とは異なり、提供されるＲＰＣを直接媒介変数観測方程式に導入して用いる。媒介変数観測方程式とは、求める媒介変数、即ち未知の値を観測の一部として設定し、これを観測方程式で構成することを意味する。ＲＰＣ媒介変数観測方程式で観測値が必要であり、これは映像と共に提供された初期のＲＰＣ値から決めることができる。ＲＰＣ媒介変数観測方程式の数は、ＲＰＣに含まれた媒介変数（求めようとする未知数）の数と同じであり、従って最小二乗法を行う時必要なだけの方程式が確保される。即ち、図３の方法において、仮想の地上基準点を導入して解決した方程式数の不足の問題を、ＲＰＣ媒介変数方程式の導入で解決するようになる。
【００３２】
まず、ＲＰＣデータ更新モジュール１１０は、ステップＳ５００でＩＫＯＮＯＳ ＲＰＣデータを入力し、ステップＳ５０２で予め観測された少数の地上基準点を入力する。次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ５０４で上記少数の地上基準点を用いて上記ＩＫＯＮＯＳパラメータ値の誤差を計算する。
【００３３】
ＲＰＣデータ更新モジュール１１０は、ステップＳ５０６で提供されたＲＰＣの加重値計算をし、ステップＳ５０８で地上基準点加重値計算をする。
【００３４】
そして、ＲＰＣデータ更新モジュール１１０は、ステップＳ５１０でＲＰＣを用いた媒介変数観測方程式を構成する。これにより、媒介変数の数だけ方程式の数が増加するので、少数の地上基準点を用いてＲＰＣを更新することができる。以下の式（９）は、媒介変数観測方程式の一般的な形態を示すものである。
【００３５】
【数３】
【００３６】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ５１２で地上基準点を用いたＲＦＭ観測方程式を構成し、ステップＳ５１４で上記ＲＦＭ媒介変数観測方程式と地上基準点ＲＦＭ観測方程式を結合してＲＰＣ更新に必要な数以上の方程式を構成して最小二乗法を適用する。以下の式（１０）は、媒介変数観測方程式と地上基準点のＲＦＭ観測方程式が結合された形態の最小二乗法行列式を示している。
【００３７】
【数４】
【００３８】
媒介変数観測方程式の加重値は、提供されたＲＰＣの誤差を用いて決める。また、地上基準点を用いたＲＦＭ観測方程式の加重値は地上基準点取得誤差により決めるか、または媒介変数観測方程式の加重値より大きくして追加された少数の地上基準点によりＲＰＣが更新されるようにする。
【００３９】
ＲＰＣデータ更新モジュール１１０は、ステップＳ５１６で上記更新されたＲＰＣを用いて地形情報を抽出する。
【００４０】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００４１】
【発明の効果】
以上で説明したように、本発明はＲＰＣデータから仮想の地上基準点座標を生成するか、ＲＰＣデータを用いて媒介変数観測方程式を構成することにより、ＲＰＣデータを用いた地形情報抽出時に必要な地上基準点の数をかなり減らすことができ、地上基準点測量に必要な費用及び時間が節約できるメリットがあり、またＲＰＣファイルを用いるＲＦＭセンサモデルを用いるので、新しいセンサモデルを適用しなくてもいいというメリットがある。
【図面の簡単な説明】
【図１】本発明の実施形態によるＲＰＣデータ更新モジュール構成図である。
【図２】本発明の実施形態によるＲＰＣデータ更新処理の流れ図である。
【図３】本発明の実施形態による仮想基準点生成によるＲＰＣデータ更新処理の流れ図である。
【図４】上記図３の仮想基準点が分布される正規化された３次元空間例示図である。
【図５】本発明の実施形態によるＲＰＣデータを用いた媒介変数方程式によるＲＰＣデータ更新処理の流れ図である。
【符号の説明】
１００ ＲＰＣ誤差計算部
１１０ ＲＰＣデータ更新モジュール
１０２ 正規化された３次元基準点の加重値計算部
１０４ 地上基準点加重値計算部
１０６ 正規化された３次元空間生成部
１０８ ３次元正規座標抽出部
【発明の属する技術分野】
本発明は、衛星映像を用いて地形情報を抽出する方法に関し、特に、１ｍの空間解像度を有するＩＫＯＮＯＳ衛星映像を用いて地形情報を抽出する場合、映像を提供する事業者で衛星映像と共に提供する媒介変数の正確度を少数の地上基準点を導入して向上させる、少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法に関する。
【０００２】
【従来の技術】
一般に、ＩＫＯＮＯＳ衛星映像は１ｍの空間解像度を提供する高解像度光学衛星映像であり、ＳＰＯＴ及びＫＯＭＰＳＡＴのような衛星映像で提供する衛星の航法資料またはセンサの撮影姿勢（Attitude：衛星が映像センサ（CCD）を用いて地球を撮影する時の３次元軸を基準にどのぐらい傾いているかを表す姿勢、角で表現される）を提供しない代わりに、ＲＦＭ（Rational Function Model）という数学的なセンサモデルを用いることができるようにＲＰＣ（Rational Polynomial Coefficient）という媒介変数を提供している。映像の最終ユーザは、ＲＰＣを用いて映像に表れた対象の位置情報を取得することができるようになる。
【０００３】
しかし、ユーザが提供されるＲＰＣの正確度より高い位置正確度を求める場合、映像に表れた地域で多数の地上基準点を取得し、より厳密なセンサモデルを直接構築しなければならないという問題があった。また、地上基準点の取得は、映像購買以上の費用的な支出及び時間が必要であり、新しいセンサモデルの適用もユーザにとって大きい負担になるという問題点があった。
【０００４】
【発明が解決しようとする課題】
従来のシステムには上述したような種々の問題があり、さらなる改善が望まれている。
【０００５】
従って、本発明の目的は、ユーザの位置正確度に対するニーズを満たすために、多数の地上基準点を用いて提供されたＲＰＣを少数の基準点により正確に更新できるようにする少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法を提供することにある。
【０００６】
【課題を解決するための手段】
上述した目的を達成するための本発明は、少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法において、（ａ）ＲＰＣデータと少数の地上基準点座標値を入力するステップと、（ｂ）前記入力されたＲＰＣデータの誤差を計算するステップと、（ｃ）前記ＲＰＣデータから生成される仮想の基準点に対して正規化された３次元基準点の加重値を計算するステップと、（ｄ）前記少数の地上基準点に対する加重値を計算するステップと、（ｅ）正規化された３次元空間を生成し、前記基準点に対する３次元基準点正規座標を抽出するステップと、（ｆ）前記基準点を用いてＲＦＭ観測方程式を構成して最小二乗法でＲＰＣパラメータ値を更新させるステップとを備えたことを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付の図面を参照しながら、本発明による好適な実施形態の動作を詳細に説明する。
【０００８】
まず、ＩＫＯＮＯＳ衛星映像は、センサモデルに必要な補助データを提供しない代わりに、ＲＰＣというＲＦＭに必要な媒介変数をユーザに提供する。ＲＰＣにはＲＦＭセンサモデルのために必要な媒介変数が全て含まれており、正規化された座標を用いるので、座標に対するオフセット（Offset）及びスケール（Scale）も含まれている。
【０００９】
上記正規化された座標とは、２次元映像座標及び３次元地上座標を「−１．０」から「＋１．０」の間の値に変換したことを意味する。従って、元の座標値を一定量だけ移動させても、座標値の縮尺を調整して一定範囲内の全ての座標値が定義されるようにする。
【００１０】
ＩＫＯＮＯＳ衛星映像のユーザは、このようなＲＰＣを用いてＲＦＭセンサモデルに必要な媒介変数を入力し、映像に表れた対象の位置情報を得るか、３次元地上座標を入力して映像での位置を見付かることができる。以下の式（１）〜（３）は上記ＲＦＭの一般的な形態を示すものであり、式（４）〜（８）は座標を一定量移動し、縮尺を適用して正規化させる方法を数式で示すものである。
【００１１】
【数１】
【数２】
ここで、上記提供されたＲＰＣがユーザが要求する正確度を提供していない場合、ユーザは必要な正確度を得るために上記ＲＰＣを更新して使用しなければならない。映像から正確な位置情報を得るための最も一般的な方法は、該当地域で地上基準点を最小１０個余りの点から最大数十個の点を用いてユーザーが選定したセンサモデルの媒介変数を計算し、これを用いて２次元映像と３次元実際空間との関係を明らかにしなければならない。しかし、本発明では、最小１つの地上基準点のみが使用可能な場合にも、ＲＦＭセンサモデル媒介変数であるＲＰＣを更新することにより、提供されたＲＰＣを用いる場合より高い正確度の必要な位置情報を得ることができる。
【００１４】
図１は、本発明の実施形態による少数の地上基準点を用いてＩＫＯＮＯＳ ＲＰＣデータ更新を行うソフトウェアモジュールブロック構成を示す。ＲＰＣデータ更新ソフトウェアモジュール１１０はＲＰＣを少数の地上基準点のみで最小二乗法を用いて更新することができる。
【００１５】
図１を参照すると、本発明のＲＰＣデータ更新ソフトウェアモジュール１１０は、ＩＫＯＮＯＳ衛星で撮影した映像に対して地上座標への変換のためのパラメータ値ＲＰＣを入力して上記ＲＰＣデータの誤差を計算するＲＰＣ誤差計算部１００と、上記ＲＰＣデータから生成される仮想の基準点に対して正規化された３次元基準点加重値を計算する正規化された３次元基準点の加重値計算部１０２と、上記少数の地上基準点に対する加重値を計算する地上基準点加重値計算部１０４と、上記基準点の適用のための正規化された３次元空間を生成する正規化された３次元空間生成部１０６と、上記基準点に対する３次元空間上の座標を抽出する３次元正規座標抽出部１０８などを含む。
【００１６】
図２は、本発明の実施形態による少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新処理の流れを示す。
【００１７】
ＲＰＣデータ更新モジュール１１０は、ステップＳ２００でＩＫＯＮＯＳ ＲＰＣデータを入力し、ステップＳ２０２で実際測量により観測された少数の地上基準点を入力する。上記地上基準点は、同じ地域の地理座標が入力された異なる映像を用いて決定することもでき、地理院のデジタル地図を用いて地図にある座標を持って地上基準点を入力することもできる。
【００１８】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ２０４で上記少数の地上基準点を用いて上記ＩＫＯＮＯＳパラメータ値の誤差を計算する。上記地上基準点はＲＰＣの誤差の改善に用いられるデータであり、本発明では極小数の地上基準点を用いてＲＰＣの誤差を推定することができる。この時、上記ＲＰＣ誤差の推定は、ＲＰＣの信頼度の計算において重要であり、上記計算された信頼度は以後の最小二乗法を用いたＲＰＣ更新時に加重値として適用される。即ち、従来のＲＰＣの信頼度が落ちれば大きく改良し、信頼度が高ければ少し改良するなどの更新程度を決める役割をする。
【００１９】
すると、ＲＰＣデータ更新モジュール１１０は、ステップＳ２０６で最小二乗法を用いてＲＰＣ値を更新した後、ステップＳ２０８で上記更新されたＲＰＣを用いて該当地形情報を抽出する。
【００２０】
図３は、本発明の実施形態による少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新処理の流れを示す。図３を参照すると、本発明のＲＰＣデータ更新モジュール１１０は、ステップＳ３００でＩＫＯＮＯＳ ＲＰＣデータを入力し、ステップＳ３０２で予め観測された少数の地上基準点を入力する。
【００２１】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ３０４で上記少数の地上基準点を用いて上記ＩＫＯＮＯＳパラメータ値の誤差を計算する。そして、ＲＰＣデータ更新モジュール１１０は、ステップＳ３０６でＲＰＣを用いて仮想で生成した地上基準点に対する正規化された３次元基準点の加重値を計算する。
【００２２】
即ち、本発明では、足りない地上基準点の代わりに提供されたＲＰＣを用いて仮想の基準点を作り出す。上記ＲＰＣを用いれば、映像座標を地上座標に変えることができるが、その地上座標を基準点として用いる。
【００２３】
このようにして、実際にほぼ真の値に近い少数の地上基準点と誤差を含めているＲＰＣにより取得した仮想の基準点とを用いて、最小二乗法計算のために必要な基準点個数を決定する。しかし、上記仮想の基準点を実際に測定した少数の地上基準点と同じ加重値を設定する場合、上記仮想の基準点はＲＰＣデータが有する誤差を同様に有するようになり、数学的には最小二乗法を使用可能な条件になるが、ＲＰＣの更新にはあまり影響を及ばないようになる。従って、本発明では、上記ステップＳ３０４で計算されたＲＰＣの誤差値により上記仮想基準点の信頼度を上記実際に測定された少数の地上基準点の信頼度よりかなり低く設定することで、少数の基準点によりＲＰＣが改善されるようにする。
【００２４】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ３０８で上記少数の地上基準点に対する加重値を計算した後、ステップＳ３０１〜Ｓ３１２で正規化された３次元空間を生成し、３次元基準点正規座標を抽出する。
【００２５】
上記において、ＩＫＯＮＯＳのＲＰＣはＲＦＭセンサモデルの媒介変数であり、−１．０から１．０までの間の値で各軸の範囲が制限される空間上に撮影対象が存在すると設定されている。また、映像座標も−１.０から１．０までの間の値で表現される。従って、映像に表れた対象のＷＧＳ８４座標と映像の行または列の値を得るためには、提供されるオフセット値及びスケール値を用いて正規化された座標を変換しなければならない。オフセット、スケール値は行（row）、列（column）及びＷＧＳ８４座標系の緯度（Latitude）、経度（Longitude）、高さ（height）に対して各々存在する。上記式（２）は、オフセット／スケール値に対する正義を示している。ｕ，ｖ，ｗ，ｙは、正規化された緯度、経度、高さ、縦行、横列の値である。このように正規化された座標を用いるＲＰＣ特性により提供されたＲＰＣを用いて正規化された３次元空間上に基準点を仮想に設けることができ、地上基準点と正規化された３次元空間上の基準点を用いてＲＰＣを更新する。
【００２６】
即ち、ＲＰＣデータ更新モジュールは、ステップＳ３１４でＲＦＭ観測方程式を構成し、ステップＳ３１６で上記少数の地上基準点と仮想基準点を用いて最小二乗法計算を行ってＲＰＣを更新した後、ステップＳ３１８で上記更新されたＲＰＣを用いて地形情報を抽出する。
【００２７】
図４は、正規化された空間に設けられた基準点を示し、各軸は−１．０から１．０までの間に範囲が制限され、正六面体形状を有するこの空間内に基準点が設けられる。
【００２８】
少数の地上基準点を提供されたＲＰＣで抽出した基準点と共に用いて、ＲＰＣを更新するので、地上基準点の影響力が十分反映されるように、加重値を適切に調節することが望ましい。各々の観測値に与えられた加重値により加重値行列が構成され、この行列の値により最終的な結果に対する影響力が決められる。従って、地上基準点の加重値は正規化された３次元空間の基準点より相対的に大きい値を与える。地上基準点を取得する当時の測量誤差を分析し、映像と共に最初提供されたＲＰＣの誤差を地上基準点を用いて分析し、上記２つの誤差値を比較分析して加重値を決めることができる。
【００２９】
このような方法により更新された新しいＲＰＣを用いて、より正確な位置情報がＩＫＯＮＯＳ映像から抽出できるようになる。
【００３０】
図５は、本発明の他の実施形態による少数の地上基準点を用いたＩＫＯＮＯＳＲＰＣデータ更新処理の流れを示す。
【００３１】
図５のＲＰＣデータ更新処理では、ＲＰＣを更新するための方程式を少数の地上基準点と正規化された３次元空間内に設けられた基準点を用いて構成した上記図３の方法とは異なり、提供されるＲＰＣを直接媒介変数観測方程式に導入して用いる。媒介変数観測方程式とは、求める媒介変数、即ち未知の値を観測の一部として設定し、これを観測方程式で構成することを意味する。ＲＰＣ媒介変数観測方程式で観測値が必要であり、これは映像と共に提供された初期のＲＰＣ値から決めることができる。ＲＰＣ媒介変数観測方程式の数は、ＲＰＣに含まれた媒介変数（求めようとする未知数）の数と同じであり、従って最小二乗法を行う時必要なだけの方程式が確保される。即ち、図３の方法において、仮想の地上基準点を導入して解決した方程式数の不足の問題を、ＲＰＣ媒介変数方程式の導入で解決するようになる。
【００３２】
まず、ＲＰＣデータ更新モジュール１１０は、ステップＳ５００でＩＫＯＮＯＳ ＲＰＣデータを入力し、ステップＳ５０２で予め観測された少数の地上基準点を入力する。次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ５０４で上記少数の地上基準点を用いて上記ＩＫＯＮＯＳパラメータ値の誤差を計算する。
【００３３】
ＲＰＣデータ更新モジュール１１０は、ステップＳ５０６で提供されたＲＰＣの加重値計算をし、ステップＳ５０８で地上基準点加重値計算をする。
【００３４】
そして、ＲＰＣデータ更新モジュール１１０は、ステップＳ５１０でＲＰＣを用いた媒介変数観測方程式を構成する。これにより、媒介変数の数だけ方程式の数が増加するので、少数の地上基準点を用いてＲＰＣを更新することができる。以下の式（９）は、媒介変数観測方程式の一般的な形態を示すものである。
【００３５】
【数３】
次に、ＲＰＣデータ更新モジュール１１０は、ステップＳ５１２で地上基準点を用いたＲＦＭ観測方程式を構成し、ステップＳ５１４で上記ＲＦＭ媒介変数観測方程式と地上基準点ＲＦＭ観測方程式を結合してＲＰＣ更新に必要な数以上の方程式を構成して最小二乗法を適用する。以下の式（１０）は、媒介変数観測方程式と地上基準点のＲＦＭ観測方程式が結合された形態の最小二乗法行列式を示している。
【００３７】
【数４】
媒介変数観測方程式の加重値は、提供されたＲＰＣの誤差を用いて決める。また、地上基準点を用いたＲＦＭ観測方程式の加重値は地上基準点取得誤差により決めるか、または媒介変数観測方程式の加重値より大きくして追加された少数の地上基準点によりＲＰＣが更新されるようにする。
【００３９】
ＲＰＣデータ更新モジュール１１０は、ステップＳ５１６で上記更新されたＲＰＣを用いて地形情報を抽出する。
【００４０】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００４１】
【発明の効果】
以上で説明したように、本発明はＲＰＣデータから仮想の地上基準点座標を生成するか、ＲＰＣデータを用いて媒介変数観測方程式を構成することにより、ＲＰＣデータを用いた地形情報抽出時に必要な地上基準点の数をかなり減らすことができ、地上基準点測量に必要な費用及び時間が節約できるメリットがあり、またＲＰＣファイルを用いるＲＦＭセンサモデルを用いるので、新しいセンサモデルを適用しなくてもいいというメリットがある。
【図面の簡単な説明】
【図１】本発明の実施形態によるＲＰＣデータ更新モジュール構成図である。
【図２】本発明の実施形態によるＲＰＣデータ更新処理の流れ図である。
【図３】本発明の実施形態による仮想基準点生成によるＲＰＣデータ更新処理の流れ図である。
【図４】上記図３の仮想基準点が分布される正規化された３次元空間例示図である。
【図５】本発明の実施形態によるＲＰＣデータを用いた媒介変数方程式によるＲＰＣデータ更新処理の流れ図である。
【符号の説明】
１００ ＲＰＣ誤差計算部
１１０ ＲＰＣデータ更新モジュール
１０２ 正規化された３次元基準点の加重値計算部
１０４ 地上基準点加重値計算部
１０６ 正規化された３次元空間生成部
１０８ ３次元正規座標抽出部
Claims (10)
- 少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法であって、
（ａ）ＲＰＣデータと少数の地上基準点座標値を入力するステップと、
（ｂ）前記ＲＰＣデータの誤差を計算するステップと、
（ｃ）前記ＲＰＣデータから生成される仮想の基準点に対して正規化された３次元基準点の加重値を計算するステップと、
（ｄ）前記少数の地上基準点に対する加重値を計算するステップと、
（ｅ）正規化された３次元空間を生成し、前記基準点に対する３次元基準点正規座標を抽出するステップと、
（ｆ）前記基準点を用いてＲＦＭ観測方程式（observation equation）を構成して最小二乗法（least square method）でＲＰＣパラメータ値を更新させるステップと
を備えたことを特徴とする少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。 - 前記（ｂ）ステップで前記ＲＰＣデータの誤差は前記実際に測定される少数の地上基準点により計算されることを特徴とする請求項１に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 前記（ｃ）ステップで生成されたＲＰＣデータからの仮想の基準点は、信頼度が低く付与された加重値で計算されるようにすることを特徴とする請求項１に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 前記仮想の基準点及び少数の地上基準点は、−１．０〜１．０の範囲に正規化されていることを特徴とする請求項１に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法であって、
（ａ）ＲＰＣデータ及び少数の地上基準点座標値を入力するステップと、
（ｂ）前記ＲＰＣデータの誤差を計算するステップと、
（ｃ）前記ＲＰＣデータの加重値を計算するステップと、
（ｄ）前記少数の地上基準点に対する加重値を計算するステップと、
（ｅ）前記少数の地上基準点を用いてＲＦＭ観測方程式を構成するステップと、
（ｆ）前記ＲＰＣデータを用いて媒介変数観測方程式を構成するステップと、（ｇ）前記ＲＦＭ観測方程式及び媒介変数観測方程式を用いて最小二乗法でＲＰＣデータを更新するステップと
を備えたことを特徴とする少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。 - 前記（ｂ）ステップで前記ＲＰＣデータの誤差は、前記実際測定される少数の地上基準点により計算されることを特徴とする請求項５に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 前記（ｇ）ステップで前記最小二乗法の適用のために、前記ＲＦＭ媒介変数観測方程式と地上基準点のＲＦＭ観測方程式を結合してＲＰＣ更新に必要な数以上の方程式を構成することを特徴とする請求項５に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 前記ＲＦＭ媒介変数観測方程式の加重値は、前記ＲＰＣの誤差により決められることを特徴とする請求項５に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 前記地上基準点を用いたＲＦＭ観測方程式の加重値は、地上基準点の取得誤差により決められることを特徴とする請求項８に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
- 前記地上基準点を用いたＲＦＭ観測方程式の加重値は、前記ＲＦＭ媒介変数観測方程式の加重値より大きくなるように設定し、前記少数の地上基準点によりＲＰＣが更新されるようにすることを特徴とする請求項９に記載の少数の地上基準点を用いたＩＫＯＮＯＳ ＲＰＣデータ更新方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020082203A KR20040055510A (ko) | 2002-12-21 | 2002-12-21 | 소수의 지상 기준점을 이용한 이코노스 알피씨 데이터갱신방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004206669A JP2004206669A (ja) | 2004-07-22 |
| JP3834296B2 true JP3834296B2 (ja) | 2006-10-18 |
Family
ID=32588871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003125970A Expired - Fee Related JP3834296B2 (ja) | 2002-12-21 | 2003-04-30 | 少数の地上基準点を用いたｉｋｏｎｏｓｒｐｃデータ更新方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040122633A1 (ja) |
| JP (1) | JP3834296B2 (ja) |
| KR (1) | KR20040055510A (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005038394A1 (en) * | 2003-10-21 | 2005-04-28 | National University Of Singapore | Refinements to the rational polynomial coefficient camera model |
| KR100571429B1 (ko) * | 2003-12-26 | 2006-04-17 | 한국전자통신연구원 | 지상기준점 영상 칩을 이용한 온라인 기하 보정 서비스제공 방법 |
| US8750509B2 (en) * | 2004-09-23 | 2014-06-10 | Smartvue Corporation | Wireless surveillance system releasably mountable to track lighting |
| US8457314B2 (en) | 2004-09-23 | 2013-06-04 | Smartvue Corporation | Wireless video surveillance system and method for self-configuring network |
| US20060095539A1 (en) | 2004-10-29 | 2006-05-04 | Martin Renkis | Wireless video surveillance system and method for mesh networking |
| US8752106B2 (en) * | 2004-09-23 | 2014-06-10 | Smartvue Corporation | Mesh networked video and sensor surveillance system and method for wireless mesh networked sensors |
| US7728871B2 (en) | 2004-09-30 | 2010-06-01 | Smartvue Corporation | Wireless video surveillance system & method with input capture and data transmission prioritization and adjustment |
| US8395664B2 (en) * | 2006-09-13 | 2013-03-12 | Smartvue Corp. | Wireless surveillance system and method for 3-D visualization and user-controlled analytics of captured data |
| US8842179B2 (en) | 2004-09-24 | 2014-09-23 | Smartvue Corporation | Video surveillance sharing system and method |
| KR100709142B1 (ko) * | 2005-06-07 | 2007-04-20 | 국방과학연구소 | 이미지 기반의 공간 정보 구축 방법 및 시스템 |
| KR100870269B1 (ko) * | 2007-07-03 | 2008-11-26 | 주식회사 에이알맥스 | Ｒｆｍ을 이용한 단영상으로부터 개체의 3차원 정보 추출방법, 이를 수행하는 프로그램을 기록한 기록매체 및ｒｆｍ을 이용한 단영상으로부터 개체의 3차원 정보 추출시스템 |
| KR100912715B1 (ko) * | 2007-12-17 | 2009-08-19 | 한국전자통신연구원 | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 |
| KR100915600B1 (ko) * | 2008-11-27 | 2009-09-07 | (주)아세아항측 | 지상기준점 표지를 이용한 영상의 ３차원 좌표 측정방법 |
| US8542947B2 (en) * | 2009-05-06 | 2013-09-24 | University Of New Brunswick | Method for RPC refinement using ground control information |
| CN103268358B (zh) * | 2013-06-05 | 2016-08-10 | 国家测绘地理信息局卫星测绘应用中心 | 多源控制点影像数据库构建及更新方法 |
| CN105740624B (zh) * | 2016-01-30 | 2018-04-20 | 武汉大学 | 复杂交会条件下区域网平差连接点自适应定权方法及系统 |
| CN105698766B (zh) * | 2016-03-03 | 2019-04-19 | 中国测绘科学研究院 | 考虑定向参数精度信息的卫星影像rfm模型区域网平差方法 |
| CA3089200A1 (en) | 2018-01-25 | 2019-08-01 | Geomni, Inc. | Systems and methods for rapid alignment of digital imagery datasets to models of structures |
| US11138696B2 (en) * | 2019-09-27 | 2021-10-05 | Raytheon Company | Geolocation improvement of image rational functions via a fit residual correction |
| CN113899386B (zh) * | 2021-09-27 | 2023-11-21 | 武汉大学 | 基于立体基准网的多源光学卫星遥感影像协同区域网平差方法及系统 |
| CN116753916B (zh) * | 2023-06-09 | 2024-01-30 | 中国人民解放军61540部队 | 多视角卫星影像区域网平差方法及系统 |
| CN117151991B (zh) * | 2023-07-06 | 2024-05-31 | 北京数慧时空信息技术有限公司 | 一种遥感影像rpc修复方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2707119B1 (fr) * | 1993-07-01 | 1995-08-18 | Alcatel Espace | Procédé de calcul de coefficients de pondération pour un numériseur analytique pour traitement de signal, et numériseur analytique. |
| US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US6084989A (en) * | 1996-11-15 | 2000-07-04 | Lockheed Martin Corporation | System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system |
| US6694064B1 (en) * | 1999-11-19 | 2004-02-17 | Positive Systems, Inc. | Digital aerial image mosaic method and apparatus |
| US6735348B2 (en) * | 2001-05-01 | 2004-05-11 | Space Imaging, Llc | Apparatuses and methods for mapping image coordinates to ground coordinates |
-
2002
- 2002-12-21 KR KR1020020082203A patent/KR20040055510A/ko not_active Application Discontinuation
-
2003
- 2003-04-30 JP JP2003125970A patent/JP3834296B2/ja not_active Expired - Fee Related
- 2003-07-01 US US10/609,664 patent/US20040122633A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040055510A (ko) | 2004-06-26 |
| JP2004206669A (ja) | 2004-07-22 |
| US20040122633A1 (en) | 2004-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3834296B2 (ja) | 少数の地上基準点を用いたｉｋｏｎｏｓｒｐｃデータ更新方法 | |
| CN106960174B (zh) | 高分影像激光雷达高程控制点提取及其辅助定位方法 | |
| KR101295747B1 (ko) | Ｒｐｃ를 이용한 자동 기하 보정 시스템 및 방법 | |
| Tao et al. | Photogrammetric exploitation of IKONOS imagery for mapping applications | |
| JP5538667B2 (ja) | 位置姿勢計測装置及びその制御方法 | |
| CN111044037B (zh) | 一种光学卫星影像的几何定位方法及装置 | |
| JP2008538022A (ja) | シーンの三次元変化検出及び測定のためのシステム及び方法 | |
| KR20110068469A (ko) | 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 | |
| JP2010511256A (ja) | パンクロマティック・マルチスペクトル画像対の空間的およびスペクトル較正 | |
| EP2095330A1 (en) | Panchromatic modulation of multispectral imagery | |
| CN111724465B (zh) | 基于平面约束优选虚拟控制点的卫星影像平差方法及装置 | |
| WO2020031950A1 (ja) | 計測校正装置、計測校正方法、及びプログラム | |
| JP6589636B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| Shen et al. | Correcting bias in the rational polynomial coefficients of satellite imagery using thin-plate smoothing splines | |
| KR100520275B1 (ko) | Gps 측량에 의한 수치지도 제작시 촬영기구회전모델을 이용한 선형 스캐닝 영상의 기하 보정방법 | |
| Re et al. | Performance evaluation of 3DPD, the photogrammetric pipeline for the CaSSIS stereo images | |
| CN109579796B (zh) | 一种投影后影像的区域网平差方法 | |
| CN111611525A (zh) | 基于物方匹配高程偏差迭代修正的遥感数据高程解算方法 | |
| JP6345339B2 (ja) | 画像補正装置および画像補正方法 | |
| KR102015817B1 (ko) | 입체 위성영상의 제공 rpc 자동 보정 방법 | |
| Liu et al. | High precision DTM and DOM generating using multi-source orbital data on Chang’e-4 landing site | |
| KR100473958B1 (ko) | Ｇｐｓ 단일 기준점을 이용한 고정확도의 ｒｐｃ 데이터 갱신방법 | |
| CN110826407B (zh) | 一种高分辨率卫星广义像对的立体匹配方法 | |
| JP4231279B2 (ja) | デジタル画像処理装置 | |
| Al-Ruzouq et al. | Photogrammetry and GIS for three-dimensional modeling of the Dome of the Rock |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060721 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |