JP4153323B2 - 写真測量における計測点の対応付け方法及び装置 - Google Patents
写真測量における計測点の対応付け方法及び装置 Download PDFInfo
- Publication number
- JP4153323B2 JP4153323B2 JP2003020281A JP2003020281A JP4153323B2 JP 4153323 B2 JP4153323 B2 JP 4153323B2 JP 2003020281 A JP2003020281 A JP 2003020281A JP 2003020281 A JP2003020281 A JP 2003020281A JP 4153323 B2 JP4153323 B2 JP 4153323B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- measurement
- conversion
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、２枚以上のステレオ画像を用いて行う写真解析における計測点の対応付けを行うためのものであり、特にデジタル写真画像を用いて行うコンピュータ解析による三次元立体計測において、計測点の対応付けを行うシステムに関する。
【０００２】
【従来の技術】
従来からステレオ画像の解析、特にデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術は、写真測量の分野などで用いられており、特に地形図作成のために利用されている。
【０００３】
このステレオ画像のコンピュータ解析には、少なくとも２台のカメラの位置関係を導き出し、当該２台のカメラにおいて撮影された写真画像にそれぞれ写し込まれている計測点を対応付ける必要がある。具体的には、１の写真画像に写し込まれている計測点を他の写真画像において指定し、当該２複数の写真画像上での２次元座標及びカメラの三次元座標を利用して、計測点の三次元座標を導く。
【０００４】
同じ計測点を複数の写真においての対応付けは、目視によるマニュアル操作によっては正確に対応付けることが困難であるため、特許第３３１６６８２号公報（特許文献１）には、コンピュータを利用したパターンマッチングなどの相関処理により行う技術が開示されている。
【０００５】
しかし、この対応付けを行う相関処理において、写真画像のすべての領域を対象として行うことは、処理の時間を長くし、また、例えば、同じようなパターンを繰り返し含む写真画像などでは対応付けを誤った位置に行うという問題もある。この問題を解消するために、相関処理を行う領域を絞り込み、上記問題を解決しようとする技術が種々提案されている。
【０００６】
特開２００１−２８０９５５号公報（特許文献２）では、少なくとも３つの区分点に基づいて探索領域を設定し、当該探索領域同士の画像に対して相関処理を施すことにより、相関処理を行う探索領域を小さくする技術が開示されている。
【０００７】
また、蚊野らによる論文（非特許文献１）や徐剛著の刊行物（非特許文献２）では、エピポーラ拘束条件を用いて、相関処理を行う領域をエピポーラ線上に絞って行うことにより相関処理を行う探索領域を小さくする技術が開示されている（非特許文献１ ５２８頁左欄第９〜１４行目、非特許文献２ 第３１〜３２頁）。
【０００８】
しかし、非特許文献１のＦｉｇ．１に示すように、光軸中心を始点として計測点を通る半直線（計測点に対する光線）が他の写真画像上に投影されたエピポーラ線は、通常、他の写真画像の端から端まで延在することとなる。したがって、当該技術においても、まだ相関処理を行う領域としては広汎である。よって、これをさらに絞込み小さくすることができれば、当該相関処理をさらに高速かつ高精度に行うことができる。一方、領域を絞りすぎることによって、他の画像上の計測点が探索領域から外れたのでは、もはや写真測量自体ができなくなる。
【０００９】
【特許文献１】
特許第３３１６６８２号公報
【特許文献２】
特開２００１−２８０９５５号公報
【非特許文献１】
蚊野 浩、外３名，「ビデオレートステレオマシンにおけるカメラ幾何補正機能の実現」，日本ロボット学会誌，１９９８年５月，第１６巻，第４号，ｐ５２７−５３２
【非特許文献２】
徐剛著，「写真から作る３次元ＣＧ」，近代科学社，２００１年１月，ｐ．３１−３３，ｐ．１０３−１０６
【００１０】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする技術的課題は、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことである。
【００１１】
【課題を解決するための手段】
本発明は、上記技術的課題を解決するために、以下の写真測量における計測点の対応付け方法を提供する。
【００１２】
この方法は、互いの位置関係が既知の基準カメラ及び前記基準カメラと異なる位置に配置された検査カメラによってそれぞれ撮影された基準画像及び検査画像を作成し、前記基準画像及び検査画像上において略平面上に配置された複数の基準点の位置に基づいて前記略平面の両画像間における射影変換式を導き、前記基準画像上の前記略平面内に計測点を指定し、前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して求められる変換点を求め、前記変換点に基づいて前記検査画像上の計測点の対応点を決定する。
【００１３】
上記方法において、基準カメラ及び検査カメラの位置関係、すなわち、基準カメラの座標系から見て、他のカメラ（検査カメラ）がどこに位置するかを表す座標値及び他のカメラがどの方向を向いているかを示す角度は既知とする。したがって、基準画像及び検査画像において双方に写し込まれている任意の点を対応付けて指定することができれば当該点の三次元座標を特定することができる。
【００１４】
一般に、対象物体が平面である場合は、１つの画像上の点を他の画像上に射影変換することができる。上記方法においては、計測点が存在するほぼ平面として近似できる面上に基準点を指定することにより、基準点に基づいて基準画像と検査画像間の射影変換式を導く。当該射影変換式を用いることにより、基準画像上の平面上に配置されている点が、検査画像上ではどの位置に存在するかを導くことができる。よって、基準画像上の計測点を検査画像上に射影変換することによって相関処理がなされ、当該検査画像上に存在する変換点に基づいて対応点を決定することができる。
【００１５】
上記方法によれば、射影変換の手段により、計測点の検査画像上での対応点を決定することができるため、従来のようにパターンマッチングなどの手法により検査画像に対して行われる相関処理の負担を少なくすることができる。したがって、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことができる。
【００１６】
この方法は、具体的には以下のように、種々の態様とすることができる。
【００１７】
好ましくは、前記検査画像上の計測点の対応点は、前記変換点とする。
【００１８】
上記方法において、基準点及び計測点が存在する平面が完全な平面である場合は、射影変換により決定された変換点をそのまま対応点として使用することができる。上記方法によれば、計測点の対応点を極めて簡単な処理により決定することができる。
【００１９】
好ましくは、前記検査画像上の計測点の対応点は、前記基準画像上の計測点と前記変換点の近傍の所定領域に対して相関処理を行うことにより決定される。
【００２０】
上記方法において、例えば、基準点及び計測点が存在する平面が道路などのように、ほぼ平面であると近似できるがわずかに曲がった面であるような場合や、計算上及び作業上の誤差が生じているような場合は、変換点は、正確な対応点を示さない場合がある。ただし、変換点は、上記の誤差の範囲内で正確な対応点の近傍に存在しているため、前記基準画像上の計測点と上記変換点との近傍において所定の大きさの領域を相関処理を行うことにより、正確な対応点を決定することができる。前記所定領域の大きさは、例えば、近似平面の曲率などに応じて変更可能とすることが好ましい。
【００２１】
したがって、上記構成によれば、写真測量における計測点の対応付けにおいて、相関処理を行う領域を小さくすることができ、より高速かつ高精度に対応付けを行うことができる。
【００２２】
また、本発明は、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段と、前記入力された基準点の前記基準画像及び検査画像上における座標値から前記略平面の両画像間における射影変換式を算出する算出手段と、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段と、前記基準画像上の前記略平面内に計測点を指定し、前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して変換点を決定する射影変換手段と、前記変換点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段とを備えることを特徴とする、写真測量における計測点の対応付け装置を提供する。
【００２３】
また、本発明は、写真測量における計測点の対応付けを行うためにコンピュータを、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段、前記入力された基準点の前記基準画像及び検査画像上における座標値から略平面の両画像間における射影変換式を算出する算出手段、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段、前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して変換点を決定する射影変換手段、前記変換点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段、として機能させるための写真測量における計測点の対応付けプログラムを提供する。
【００２４】
【発明の実施の形態】
以下、本発明の一実施形態に係る写真測量システムについて、図面を参照しながら説明する。
【００２５】
本装置は、写真画像を入力し、解析演算するためのコンピュータで構成される。写真画像はデジタルカメラによって撮影されたものが好ましいが、フィルムカメラによって撮られた写真をスキャナなどでデータ化したものであってもよい。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、コンピュータに後述するような処理を行わせるプログラムを当該プログラムが記憶された記憶媒体を用いてインストールすることにより駆動する。
【００２６】
図１に本発明の実施形態に係る写真測量装置のブロック図を示す。本写真測量装置１は、カメラ１１、キーボードやマウスなどの入力装置１２、ディスプレイ１３などの外部機器と接続して使用される。装置１には、上記外部機器と接続するためのインターフェース装置１０と、システムプログラム記憶部３、画像記憶部４、位置指定部５、座標演算部６、射影変換部７、相関処理部８、演算部９が搭載され、互いにバス２により相互に接続されている。
【００２７】
システムプログラム記憶部３は、上記ソフトウェアがインストールされることによって、システムプログラムを格納する。画像記憶部４は、カメラ１１から取りこまれた写真画像を記憶する。当該写真画像は、写真測量の実行時において、画像記憶部４から読み出され、ディスプレイ１３に表示される。
【００２８】
位置指定部５、座標演算部６、射影変換部７、相関処理部８は、後述するように、システムプログラムの駆動により、写真測量を実行する場合に特定の処理、演算をそれぞれ行う。演算部９は、上記の位置指定部５、座標演算部６、射影変換部７、相関処理部８が司る処理を除く他の処理を行う。
【００２９】
図２は、図１の写真測量装置を用いて写真測量を実行する場合の処理の流れを示すフロー図である。
【００３０】
最初に、ステレオ画像を撮影して写真測量装置１に送信して、画像記憶部５に記憶させ基本画像及び検査画像を作成する（＃１０）。基本画像及び検査画像は、デジタルカメラ７を用いて同じ被写体を異なる位置から撮影した２枚以上の写真画像である。以下、本実施形態では、２枚の写真画像を用いた場合について説明する。写真画像は、１枚を基準画像、他の１枚を検査画像として区別する。２枚の写真画像のうち、どちらを基準画像とするかは自由であり、任意の１枚を選択することができる。
【００３１】
図３は、写真測量を行う場合についての座標系を示す図である。２つのカメラＡ、カメラＢから撮影された２枚の写真画像１１０、２１０は、それぞれの光軸中心１００ａ，２００ａを原点として、それぞれのカメラの光軸方向をＺ軸とし、写真画像の長手方向がＸ軸、短手方向がＹ軸となる。したがって、カメラの傾きに応じてＸ軸は地表Ｅに平行となるとは限らない。本実施形態においては、基準画像を撮影したカメラを基準に３次元座標を特定する。すなわち、カメラＡにより撮影された写真画像１１０を基準画像とした場合は、Ｘ１，Ｙ１，Ｚ１軸を基準座標系として採用する。以下、カメラＡを基準カメラとし、カメラＡにより撮影された写真画像を基準画像とした場合について説明を進める。
【００３２】
図４に写真測量に用いられる写真画像の例を示す。図４（ａ）は、カメラＡにより撮影された写真画像（基準画像）、図４（ｂ）はカメラＢにより撮影された写真画像（検査画像）である。図４は、理解の便宜のため、すでに後述するステップである基準点２２ａ〜３０ａ、２２ｂ〜３０ｂ及び計測点２１ａの指定を終了した画像を示している。なお、カメラ７から送信され、まだ処理が行われていない画像には、上記指定された基準点２２ａ〜３０ａ、２２ｂ〜３０ｂ及び計測点２１ａが表示されていないことはいうまでもない。
【００３３】
次にこれらの基準画像１１０及び検査画像２１０について、複数の基準点２２ａ〜３０ａ、２２ｂ〜３０ｂの指定を行う（＃１１）。被写体の外観上、コーナーなどの判別しやすい位置を選び、２つの写真画像１１０、２１０を参照しながら両画像で同一の点を指定する。この入力は、利用者がマウスなどの入力装置８を操作することにより行われ、装置１の位置指定部５が主な処理を司る。この基準点の入力は、少なくとも４点以上することが好ましく、また、道路など平面と近似できる面上に存在する点２２ａ〜２９ａ、２２ｂ〜２９ｂを少なくとも４点以上対応付けておくことが好ましい。図５は、基準画像１１０及び検査画像２１０に付された基準点のみを抽出した分布図である。
【００３４】
次に、先のステップで指定した基準点の基準画像及び検査画像上の座標値に基づいて、座標演算部６によりカメラＡ１００及びカメラＢ２００の位置関係を算出する（＃１２）。本実施形態では、位置関係として、カメラＡ１００（基準カメラ）の光軸中心を原点とする基準座標系において、カメラＢ２００（検査カメラ）の光軸中心がどこに位置するかを表す座標値及びカメラＢ２００の光軸がどの方向を向いているかを示す角度を導く。また、引き続き、座標演算部６は、求められたカメラＡ１００及びカメラＢ２００の位置関係に基づいて、基準点の三次元座標を求める（＃１３）。
【００３５】
次に、射影変換部７は、先のステップで指定した基準画像のうち、平面と近似できる面２０上に存在する点２２ａ〜２９ａ、２２ｂ〜２９ｂのみを用いて、両画像間における射影変換式を求める（＃１４）。具体的には、まず、式（１）に示す式に、基準画像１１０上の基準点２２ａ〜２９ａ及び検査画像２１０上の基準点２２ｂ〜２９ｂの中から少なくとも４組の座標値を代入し、９つの定数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃを求めることにより、射影変換式が決定する。
【００３６】
【数１】
式（１）において、ｘは検査画像２１０の基準点のｘ座標、ｙは検査画像２１０の基準点のｙ座標、ｘ’は基準画像１１０の基準点のｘ座標、ｙ’は基準画像１１０の基準点のｙ座標、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ定数である。
【００３７】
次に、図６に示すように、位置指定部５は、入力装置１２の操作に基づいて、基準画像上で計測点２１ａを指定する（＃１５）。その後、射影変換部７は、当該基準画像上の計測点２１ａの座標を用いて、先のステップ（＃１４）により求められた射影変換式に代入することによって、検査画像２１０上での変換点２１ｂを算出する。
【００３８】
当該変換点２１ｂは、平面上に存在することを前提として射影変換により算出されたものであるから、面２０は完全な平面である場合は、計測点２１が検査画像２１０に写し込まれた位置と一致し、又は誤差の範囲で極めて近似した位置となっている。したがって、面２０が完全な平面である場合は、当該変換点１２１ｂを対応点としてもよい。
【００３９】
一方、面２０が完全な平面ではない場合、例えば、本実施形態のようにわずかに湾曲している道路を面２０としたような場合は、変換点１２１ｂは正確な対応点とすることができない。このような場合は、変換点１２１ｂに基づいて以下のような処理を行うことにより、正確な対応点を決定する。
【００４０】
図８及び図９に示すように、計測点２１は、基準画像１１０上に点２１ａとして投影された点であり、カメラＡ１００の光軸中心１００ａと計測点２１とを結んだ線（計測点に対する光線）Ｌ１が検査画像に投影された線がエピポーラ線３５となる。非特許文献１に記載の通り、エピポーラ拘束条件により、検査画像２１０上の対応点２１ｂは、検査画像２１０上に投影されたエピポーラ線３５上に存在する(図９参照)。したがって、図９に示すように変換点１２１ｂが正確な対応点２１ｂと一致していないと判断される場合は、当該変換点１２１ｂの近傍領域のエピポーラ線３５上を相関処理することにより、正確な対応点２１ｂを対応付けることができる。
【００４１】
具体的には、図１０に示すように、変換点１２１ｂを中心として、その周りに所定の大きさの近傍領域４０を仮想する。当該近傍領域４０の大きさは、面２０の曲率などに応じて適宜変更することができるようにしておくことが好ましい。
【００４２】
相関処理部８は、エピポーラ線３５が当該近傍領域４０と交叉する区間４１を探索領域とし、当該領域にパターンマッチングなどの手法により相関処理を行い（＃１７）、対応点を決定する。
【００４３】
最後に、計測点２１は、カメラＡ１００（基準カメラ）の光軸中心１００ａと基準画像１１０上の計測点の投影点２１ａとを結ぶ直線Ｌ１と、カメラＢ２００（検査カメラ）の光軸中心２００ａと検査画像２１０上の対応点２１ｂとを結ぶ直線Ｍ１との交点として算出され、三角測量の原理によりその三次元座標が算出される。
【００４４】
以上説明したように、本実施形態に係る写真測量装置によれば、計測点と同じ面上に存在する基準点を指定することによって射影変換の手法により求められた変換点に基づいて、容易に計測点の対応点を決定することができる。したがって、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことができる。
【００４５】
また、射影変換により決定された変換点は、例えば、基準点及び計測点が存在する平面が完全な平面である場合などは、そのまま対応点として使用することができる。
【００４６】
また、例えば、基準点及び計測点が存在する平面が、道路などのように、わずかに曲がった面であってほぼ平面であると近似できるような場合や、計算上及び作業上の誤差が生じているような場合は、変換点の近傍において所定の大きさの領域に対してパターンマッチングなどの相関処理を行うことにより、正確な対応点を決定することができ、パターンマッチングを行う領域を小さくすることにより、処理の高速化と高精度化を実現することができる。
【００４７】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る写真測量装置のブロック図である。
【図２】 図１の写真測量装置を用いて写真測量を行う場合の処理の流れを示すフロー図である。
【図３】 図１の装置を用いて写真測量を行う場合についての座標系を示す図である。
【図４】 写真測量に用いられる写真画像の例を示す図であり、（ａ）はカメラＡの写真画像（基準画像）、（ｂ）はカメラＢの写真画像（検査画像）の例である。
【図５】 図４に示す画像上に指定された基準点のみを抽出した図である。
【図６】 計測点の指定の処理の説明図である。
【図７】 計測点の射影変換処理の説明図である。
【図８】 エピポーラ拘束条件の説明図である。
【図９】 検査画像に表されたエピポーラ線を示す図である。
【図１０】 エピポーラ線の探索領域を決定する処理の説明図である。
【符号の説明】
Ｌ カメラＡの光軸
Ｌ１ 計測点に対する光線
Ｍ カメラＢの光軸
１ 写真測量装置
２ バス
３ システムプログラム記憶部
４ 画像記憶部
５ 位置指定部
６ 座標演算部
７ 射影変換部
８ 相関処理部
９ 演算部
２０ 近似平面
２１ 計測点
２１ａ 計測点の基準画像への投影点
２１ｂ 対応点（計測点の検査画像への投影点）
２２〜３０ 基準点
２２ａ〜３０ａ 基準点の基準画像への投影点
２２ｂ〜３０ｂ 基準点の検査画像への投影点
３５ エピポーラ線
１００ カメラＡ（基準カメラ）
１１０ 基準画像
１２１ｂ 変換点
２００ カメラＢ（検査カメラ）
２１０ 検査画像
【発明の属する技術分野】
本発明は、２枚以上のステレオ画像を用いて行う写真解析における計測点の対応付けを行うためのものであり、特にデジタル写真画像を用いて行うコンピュータ解析による三次元立体計測において、計測点の対応付けを行うシステムに関する。
【０００２】
【従来の技術】
従来からステレオ画像の解析、特にデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術は、写真測量の分野などで用いられており、特に地形図作成のために利用されている。
【０００３】
このステレオ画像のコンピュータ解析には、少なくとも２台のカメラの位置関係を導き出し、当該２台のカメラにおいて撮影された写真画像にそれぞれ写し込まれている計測点を対応付ける必要がある。具体的には、１の写真画像に写し込まれている計測点を他の写真画像において指定し、当該２複数の写真画像上での２次元座標及びカメラの三次元座標を利用して、計測点の三次元座標を導く。
【０００４】
同じ計測点を複数の写真においての対応付けは、目視によるマニュアル操作によっては正確に対応付けることが困難であるため、特許第３３１６６８２号公報（特許文献１）には、コンピュータを利用したパターンマッチングなどの相関処理により行う技術が開示されている。
【０００５】
しかし、この対応付けを行う相関処理において、写真画像のすべての領域を対象として行うことは、処理の時間を長くし、また、例えば、同じようなパターンを繰り返し含む写真画像などでは対応付けを誤った位置に行うという問題もある。この問題を解消するために、相関処理を行う領域を絞り込み、上記問題を解決しようとする技術が種々提案されている。
【０００６】
特開２００１−２８０９５５号公報（特許文献２）では、少なくとも３つの区分点に基づいて探索領域を設定し、当該探索領域同士の画像に対して相関処理を施すことにより、相関処理を行う探索領域を小さくする技術が開示されている。
【０００７】
また、蚊野らによる論文（非特許文献１）や徐剛著の刊行物（非特許文献２）では、エピポーラ拘束条件を用いて、相関処理を行う領域をエピポーラ線上に絞って行うことにより相関処理を行う探索領域を小さくする技術が開示されている（非特許文献１ ５２８頁左欄第９〜１４行目、非特許文献２ 第３１〜３２頁）。
【０００８】
しかし、非特許文献１のＦｉｇ．１に示すように、光軸中心を始点として計測点を通る半直線（計測点に対する光線）が他の写真画像上に投影されたエピポーラ線は、通常、他の写真画像の端から端まで延在することとなる。したがって、当該技術においても、まだ相関処理を行う領域としては広汎である。よって、これをさらに絞込み小さくすることができれば、当該相関処理をさらに高速かつ高精度に行うことができる。一方、領域を絞りすぎることによって、他の画像上の計測点が探索領域から外れたのでは、もはや写真測量自体ができなくなる。
【０００９】
【特許文献１】
特許第３３１６６８２号公報
【特許文献２】
特開２００１−２８０９５５号公報
【非特許文献１】
蚊野 浩、外３名，「ビデオレートステレオマシンにおけるカメラ幾何補正機能の実現」，日本ロボット学会誌，１９９８年５月，第１６巻，第４号，ｐ５２７−５３２
【非特許文献２】
徐剛著，「写真から作る３次元ＣＧ」，近代科学社，２００１年１月，ｐ．３１−３３，ｐ．１０３−１０６
【００１０】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする技術的課題は、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことである。
【００１１】
【課題を解決するための手段】
本発明は、上記技術的課題を解決するために、以下の写真測量における計測点の対応付け方法を提供する。
【００１２】
この方法は、互いの位置関係が既知の基準カメラ及び前記基準カメラと異なる位置に配置された検査カメラによってそれぞれ撮影された基準画像及び検査画像を作成し、前記基準画像及び検査画像上において略平面上に配置された複数の基準点の位置に基づいて前記略平面の両画像間における射影変換式を導き、前記基準画像上の前記略平面内に計測点を指定し、前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して求められる変換点を求め、前記変換点に基づいて前記検査画像上の計測点の対応点を決定する。
【００１３】
上記方法において、基準カメラ及び検査カメラの位置関係、すなわち、基準カメラの座標系から見て、他のカメラ（検査カメラ）がどこに位置するかを表す座標値及び他のカメラがどの方向を向いているかを示す角度は既知とする。したがって、基準画像及び検査画像において双方に写し込まれている任意の点を対応付けて指定することができれば当該点の三次元座標を特定することができる。
【００１４】
一般に、対象物体が平面である場合は、１つの画像上の点を他の画像上に射影変換することができる。上記方法においては、計測点が存在するほぼ平面として近似できる面上に基準点を指定することにより、基準点に基づいて基準画像と検査画像間の射影変換式を導く。当該射影変換式を用いることにより、基準画像上の平面上に配置されている点が、検査画像上ではどの位置に存在するかを導くことができる。よって、基準画像上の計測点を検査画像上に射影変換することによって相関処理がなされ、当該検査画像上に存在する変換点に基づいて対応点を決定することができる。
【００１５】
上記方法によれば、射影変換の手段により、計測点の検査画像上での対応点を決定することができるため、従来のようにパターンマッチングなどの手法により検査画像に対して行われる相関処理の負担を少なくすることができる。したがって、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことができる。
【００１６】
この方法は、具体的には以下のように、種々の態様とすることができる。
【００１７】
好ましくは、前記検査画像上の計測点の対応点は、前記変換点とする。
【００１８】
上記方法において、基準点及び計測点が存在する平面が完全な平面である場合は、射影変換により決定された変換点をそのまま対応点として使用することができる。上記方法によれば、計測点の対応点を極めて簡単な処理により決定することができる。
【００１９】
好ましくは、前記検査画像上の計測点の対応点は、前記基準画像上の計測点と前記変換点の近傍の所定領域に対して相関処理を行うことにより決定される。
【００２０】
上記方法において、例えば、基準点及び計測点が存在する平面が道路などのように、ほぼ平面であると近似できるがわずかに曲がった面であるような場合や、計算上及び作業上の誤差が生じているような場合は、変換点は、正確な対応点を示さない場合がある。ただし、変換点は、上記の誤差の範囲内で正確な対応点の近傍に存在しているため、前記基準画像上の計測点と上記変換点との近傍において所定の大きさの領域を相関処理を行うことにより、正確な対応点を決定することができる。前記所定領域の大きさは、例えば、近似平面の曲率などに応じて変更可能とすることが好ましい。
【００２１】
したがって、上記構成によれば、写真測量における計測点の対応付けにおいて、相関処理を行う領域を小さくすることができ、より高速かつ高精度に対応付けを行うことができる。
【００２２】
また、本発明は、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段と、前記入力された基準点の前記基準画像及び検査画像上における座標値から前記略平面の両画像間における射影変換式を算出する算出手段と、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段と、前記基準画像上の前記略平面内に計測点を指定し、前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して変換点を決定する射影変換手段と、前記変換点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段とを備えることを特徴とする、写真測量における計測点の対応付け装置を提供する。
【００２３】
また、本発明は、写真測量における計測点の対応付けを行うためにコンピュータを、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段、前記入力された基準点の前記基準画像及び検査画像上における座標値から略平面の両画像間における射影変換式を算出する算出手段、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段、前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して変換点を決定する射影変換手段、前記変換点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段、として機能させるための写真測量における計測点の対応付けプログラムを提供する。
【００２４】
【発明の実施の形態】
以下、本発明の一実施形態に係る写真測量システムについて、図面を参照しながら説明する。
【００２５】
本装置は、写真画像を入力し、解析演算するためのコンピュータで構成される。写真画像はデジタルカメラによって撮影されたものが好ましいが、フィルムカメラによって撮られた写真をスキャナなどでデータ化したものであってもよい。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、コンピュータに後述するような処理を行わせるプログラムを当該プログラムが記憶された記憶媒体を用いてインストールすることにより駆動する。
【００２６】
図１に本発明の実施形態に係る写真測量装置のブロック図を示す。本写真測量装置１は、カメラ１１、キーボードやマウスなどの入力装置１２、ディスプレイ１３などの外部機器と接続して使用される。装置１には、上記外部機器と接続するためのインターフェース装置１０と、システムプログラム記憶部３、画像記憶部４、位置指定部５、座標演算部６、射影変換部７、相関処理部８、演算部９が搭載され、互いにバス２により相互に接続されている。
【００２７】
システムプログラム記憶部３は、上記ソフトウェアがインストールされることによって、システムプログラムを格納する。画像記憶部４は、カメラ１１から取りこまれた写真画像を記憶する。当該写真画像は、写真測量の実行時において、画像記憶部４から読み出され、ディスプレイ１３に表示される。
【００２８】
位置指定部５、座標演算部６、射影変換部７、相関処理部８は、後述するように、システムプログラムの駆動により、写真測量を実行する場合に特定の処理、演算をそれぞれ行う。演算部９は、上記の位置指定部５、座標演算部６、射影変換部７、相関処理部８が司る処理を除く他の処理を行う。
【００２９】
図２は、図１の写真測量装置を用いて写真測量を実行する場合の処理の流れを示すフロー図である。
【００３０】
最初に、ステレオ画像を撮影して写真測量装置１に送信して、画像記憶部５に記憶させ基本画像及び検査画像を作成する（＃１０）。基本画像及び検査画像は、デジタルカメラ７を用いて同じ被写体を異なる位置から撮影した２枚以上の写真画像である。以下、本実施形態では、２枚の写真画像を用いた場合について説明する。写真画像は、１枚を基準画像、他の１枚を検査画像として区別する。２枚の写真画像のうち、どちらを基準画像とするかは自由であり、任意の１枚を選択することができる。
【００３１】
図３は、写真測量を行う場合についての座標系を示す図である。２つのカメラＡ、カメラＢから撮影された２枚の写真画像１１０、２１０は、それぞれの光軸中心１００ａ，２００ａを原点として、それぞれのカメラの光軸方向をＺ軸とし、写真画像の長手方向がＸ軸、短手方向がＹ軸となる。したがって、カメラの傾きに応じてＸ軸は地表Ｅに平行となるとは限らない。本実施形態においては、基準画像を撮影したカメラを基準に３次元座標を特定する。すなわち、カメラＡにより撮影された写真画像１１０を基準画像とした場合は、Ｘ１，Ｙ１，Ｚ１軸を基準座標系として採用する。以下、カメラＡを基準カメラとし、カメラＡにより撮影された写真画像を基準画像とした場合について説明を進める。
【００３２】
図４に写真測量に用いられる写真画像の例を示す。図４（ａ）は、カメラＡにより撮影された写真画像（基準画像）、図４（ｂ）はカメラＢにより撮影された写真画像（検査画像）である。図４は、理解の便宜のため、すでに後述するステップである基準点２２ａ〜３０ａ、２２ｂ〜３０ｂ及び計測点２１ａの指定を終了した画像を示している。なお、カメラ７から送信され、まだ処理が行われていない画像には、上記指定された基準点２２ａ〜３０ａ、２２ｂ〜３０ｂ及び計測点２１ａが表示されていないことはいうまでもない。
【００３３】
次にこれらの基準画像１１０及び検査画像２１０について、複数の基準点２２ａ〜３０ａ、２２ｂ〜３０ｂの指定を行う（＃１１）。被写体の外観上、コーナーなどの判別しやすい位置を選び、２つの写真画像１１０、２１０を参照しながら両画像で同一の点を指定する。この入力は、利用者がマウスなどの入力装置８を操作することにより行われ、装置１の位置指定部５が主な処理を司る。この基準点の入力は、少なくとも４点以上することが好ましく、また、道路など平面と近似できる面上に存在する点２２ａ〜２９ａ、２２ｂ〜２９ｂを少なくとも４点以上対応付けておくことが好ましい。図５は、基準画像１１０及び検査画像２１０に付された基準点のみを抽出した分布図である。
【００３４】
次に、先のステップで指定した基準点の基準画像及び検査画像上の座標値に基づいて、座標演算部６によりカメラＡ１００及びカメラＢ２００の位置関係を算出する（＃１２）。本実施形態では、位置関係として、カメラＡ１００（基準カメラ）の光軸中心を原点とする基準座標系において、カメラＢ２００（検査カメラ）の光軸中心がどこに位置するかを表す座標値及びカメラＢ２００の光軸がどの方向を向いているかを示す角度を導く。また、引き続き、座標演算部６は、求められたカメラＡ１００及びカメラＢ２００の位置関係に基づいて、基準点の三次元座標を求める（＃１３）。
【００３５】
次に、射影変換部７は、先のステップで指定した基準画像のうち、平面と近似できる面２０上に存在する点２２ａ〜２９ａ、２２ｂ〜２９ｂのみを用いて、両画像間における射影変換式を求める（＃１４）。具体的には、まず、式（１）に示す式に、基準画像１１０上の基準点２２ａ〜２９ａ及び検査画像２１０上の基準点２２ｂ〜２９ｂの中から少なくとも４組の座標値を代入し、９つの定数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃを求めることにより、射影変換式が決定する。
【００３６】
【数１】
【００３７】
次に、図６に示すように、位置指定部５は、入力装置１２の操作に基づいて、基準画像上で計測点２１ａを指定する（＃１５）。その後、射影変換部７は、当該基準画像上の計測点２１ａの座標を用いて、先のステップ（＃１４）により求められた射影変換式に代入することによって、検査画像２１０上での変換点２１ｂを算出する。
【００３８】
当該変換点２１ｂは、平面上に存在することを前提として射影変換により算出されたものであるから、面２０は完全な平面である場合は、計測点２１が検査画像２１０に写し込まれた位置と一致し、又は誤差の範囲で極めて近似した位置となっている。したがって、面２０が完全な平面である場合は、当該変換点１２１ｂを対応点としてもよい。
【００３９】
一方、面２０が完全な平面ではない場合、例えば、本実施形態のようにわずかに湾曲している道路を面２０としたような場合は、変換点１２１ｂは正確な対応点とすることができない。このような場合は、変換点１２１ｂに基づいて以下のような処理を行うことにより、正確な対応点を決定する。
【００４０】
図８及び図９に示すように、計測点２１は、基準画像１１０上に点２１ａとして投影された点であり、カメラＡ１００の光軸中心１００ａと計測点２１とを結んだ線（計測点に対する光線）Ｌ１が検査画像に投影された線がエピポーラ線３５となる。非特許文献１に記載の通り、エピポーラ拘束条件により、検査画像２１０上の対応点２１ｂは、検査画像２１０上に投影されたエピポーラ線３５上に存在する(図９参照)。したがって、図９に示すように変換点１２１ｂが正確な対応点２１ｂと一致していないと判断される場合は、当該変換点１２１ｂの近傍領域のエピポーラ線３５上を相関処理することにより、正確な対応点２１ｂを対応付けることができる。
【００４１】
具体的には、図１０に示すように、変換点１２１ｂを中心として、その周りに所定の大きさの近傍領域４０を仮想する。当該近傍領域４０の大きさは、面２０の曲率などに応じて適宜変更することができるようにしておくことが好ましい。
【００４２】
相関処理部８は、エピポーラ線３５が当該近傍領域４０と交叉する区間４１を探索領域とし、当該領域にパターンマッチングなどの手法により相関処理を行い（＃１７）、対応点を決定する。
【００４３】
最後に、計測点２１は、カメラＡ１００（基準カメラ）の光軸中心１００ａと基準画像１１０上の計測点の投影点２１ａとを結ぶ直線Ｌ１と、カメラＢ２００（検査カメラ）の光軸中心２００ａと検査画像２１０上の対応点２１ｂとを結ぶ直線Ｍ１との交点として算出され、三角測量の原理によりその三次元座標が算出される。
【００４４】
以上説明したように、本実施形態に係る写真測量装置によれば、計測点と同じ面上に存在する基準点を指定することによって射影変換の手法により求められた変換点に基づいて、容易に計測点の対応点を決定することができる。したがって、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことができる。
【００４５】
また、射影変換により決定された変換点は、例えば、基準点及び計測点が存在する平面が完全な平面である場合などは、そのまま対応点として使用することができる。
【００４６】
また、例えば、基準点及び計測点が存在する平面が、道路などのように、わずかに曲がった面であってほぼ平面であると近似できるような場合や、計算上及び作業上の誤差が生じているような場合は、変換点の近傍において所定の大きさの領域に対してパターンマッチングなどの相関処理を行うことにより、正確な対応点を決定することができ、パターンマッチングを行う領域を小さくすることにより、処理の高速化と高精度化を実現することができる。
【００４７】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る写真測量装置のブロック図である。
【図２】 図１の写真測量装置を用いて写真測量を行う場合の処理の流れを示すフロー図である。
【図３】 図１の装置を用いて写真測量を行う場合についての座標系を示す図である。
【図４】 写真測量に用いられる写真画像の例を示す図であり、（ａ）はカメラＡの写真画像（基準画像）、（ｂ）はカメラＢの写真画像（検査画像）の例である。
【図５】 図４に示す画像上に指定された基準点のみを抽出した図である。
【図６】 計測点の指定の処理の説明図である。
【図７】 計測点の射影変換処理の説明図である。
【図８】 エピポーラ拘束条件の説明図である。
【図９】 検査画像に表されたエピポーラ線を示す図である。
【図１０】 エピポーラ線の探索領域を決定する処理の説明図である。
【符号の説明】
Ｌ カメラＡの光軸
Ｌ１ 計測点に対する光線
Ｍ カメラＢの光軸
１ 写真測量装置
２ バス
３ システムプログラム記憶部
４ 画像記憶部
５ 位置指定部
６ 座標演算部
７ 射影変換部
８ 相関処理部
９ 演算部
２０ 近似平面
２１ 計測点
２１ａ 計測点の基準画像への投影点
２１ｂ 対応点（計測点の検査画像への投影点）
２２〜３０ 基準点
２２ａ〜３０ａ 基準点の基準画像への投影点
２２ｂ〜３０ｂ 基準点の検査画像への投影点
３５ エピポーラ線
１００ カメラＡ（基準カメラ）
１１０ 基準画像
１２１ｂ 変換点
２００ カメラＢ（検査カメラ）
２１０ 検査画像
Claims (10)
- 互いの位置関係が既知の基準カメラ及び前記基準カメラと異なる位置に配置された検査カメラによってそれぞれ撮影された基準画像及び検査画像を作成し、前記基準画像及び検査画像上において略平面上に配置された複数の基準点の位置に基づいて前記略平面の両画像間における射影変換式を導き、前記基準画像上の前記略平面内に計測点を指定し、前記算出された射影変換式を用いて前記基準画像上の計測点を前記検査画像上に射影変換して求められる変換点を求め、前記変換点に基づいて前記検査画像上の計測点の対応点を決定することを特徴とする、写真測量における計測点の対応付け方法。
- 前記略平面が完全な平面である場合、前記検査画像上の計測点の対応点は、前記変換点とすることを特徴とする、請求項１に記載の写真測量における計測点の対応付け方法。
- 前記検査画像上の計測点の対応点は、前記基準画像上の計測点と前記変換点の近傍の所定領域に対して相関処理を行うことにより決定されることを特徴とする、請求項１に記載の写真測量における計測点の対応付け方法。
- 前記所定領域の大きさは、変更可能であることを特徴とする、請求項３に記載の写真測量における計測点の対応付け方法。
- 互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段と、
前記入力された基準点の前記基準画像及び検査画像上における座標値から前記略平面の両画像間における射影変換式を算出する算出手段と、
前記基準画像上の前記略平面内において計測点を指定する計測点指定手段と、
前記算出された射影変換式を用いて前記基準画像上の計測点を前記検査画像上に射影変換して変換点を決定する射影変換手段と、
前記変換点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段とを備えることを特徴とする、写真測量における計測点の対応付け装置。 - 前記略平面が完全な平面である場合、前記対応点決定手段は、前記射影変換手段により決定された変換点を対応点とすることを特徴とする請求項５に記載の写真測量における計測点の対応付け装置。
- 前記対応点決定手段は、前記基準画像上の計測点と前記変換点の近傍の所定領域に対して相関処理を行うことによって、前記検査画像上の計測点の対応点を決定することを特徴とする請求項５又は６に記載の写真測量における計測点の対応付け装置。
- 前記対応点決定手段は、前記所定領域の大きさを変更できることを特徴とする請求項７に記載の写真測量における計測点の対応付け装置。
- 写真測量における計測点の対応付けを行うためにコンピュータを、
互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受付ける基準点指定手段、
前記入力された基準点の前記基準画像及び検査画像上における座標値から前記略平面の両画像間における射影変換式を算出する算出手段、
前記基準画像上の前記略平面内において計測点を指定する計測点指定手段、
前記算出された射影変換式を用いて前記基準画像上の前記略平面上の計測点を前記検査画像上に射影変換して変換点を決定する射影変換手段、
前記変換点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段、
として機能させるための写真測量における計測点の対応付けプログラム。 - 請求項９に記載のプログラムを記憶したことを特徴とする記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003020281A JP4153323B2 (ja) | 2003-01-29 | 2003-01-29 | 写真測量における計測点の対応付け方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003020281A JP4153323B2 (ja) | 2003-01-29 | 2003-01-29 | 写真測量における計測点の対応付け方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004233139A JP2004233139A (ja) | 2004-08-19 |
| JP4153323B2 true JP4153323B2 (ja) | 2008-09-24 |
Family
ID=32949953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003020281A Expired - Fee Related JP4153323B2 (ja) | 2003-01-29 | 2003-01-29 | 写真測量における計測点の対応付け方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4153323B2 (ja) |
-
2003
- 2003-01-29 JP JP2003020281A patent/JP4153323B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004233139A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| US7746377B2 (en) | Three-dimensional image display apparatus and method | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| US6668082B1 (en) | Image processing apparatus | |
| US6516099B1 (en) | Image processing apparatus | |
| US8269766B2 (en) | Method for generating three-dimensional shape data, apparatus for generating three-dimensional shape data, and three-dimensional shape data generating program | |
| KR102129206B1 (ko) | 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치 | |
| JP2005017286A (ja) | カメラキャリブレーション方法およびカメラキャリブレーション装置 | |
| CN111833392A (zh) | 标记点多角度扫描方法、系统及装置 | |
| KR101346192B1 (ko) | 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템 | |
| JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4006296B2 (ja) | 写真測量による変位計測方法及び変位計測装置 | |
| JP2007323616A (ja) | 画像処理装置及びその処理方法 | |
| JP4149732B2 (ja) | ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム | |
| KR100549511B1 (ko) | 수치사진측량기술과 레이져 스캐너를 이용한 ｇｉｓ용사진도면의 제작방법 | |
| JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP4550081B2 (ja) | 画像測定方法 | |
| JP4236202B2 (ja) | モデリング装置およびカメラパラメータの計算方法 | |
| JP2000171214A (ja) | 対応点検索方法及びこれを利用した三次元位置計測方法 | |
| JP4159373B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| JP4153322B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| JP4153323B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| JP2003067726A (ja) | 立体モデル生成装置及び方法 | |
| JPH09329440A (ja) | 複数枚の画像の各計測点の対応づけ方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080703 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4153323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |