JP4243386B2 - Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program - Google Patents
Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program Download PDFInfo
- Publication number
- JP4243386B2 JP4243386B2 JP19494799A JP19494799A JP4243386B2 JP 4243386 B2 JP4243386 B2 JP 4243386B2 JP 19494799 A JP19494799 A JP 19494799A JP 19494799 A JP19494799 A JP 19494799A JP 4243386 B2 JP4243386 B2 JP 4243386B2
- Authority
- JP
- Japan
- Prior art keywords
- corner
- image processing
- processing apparatus
- data
- corner cutting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は写真測量における画像処理に関する。
【0002】
【従来の技術】
写真測量は地図の作成に広く使用されているが、交通事故の現場検証等の局所的な状況の記録においても極めて有効な手段として活用されている。従来写真測量は2台のカメラを離間しつつ固定したステレオカメラを使用し、両カメラで撮影した2つの画像から各測量点の3次元座標を算出する。ここにステレオカメラは大重量かつ大型の機材であり、また3次元座標の計算にはカメラの位置情報、傾斜角度、被写体の実測長さ等詳細な情報を記録しておく必要があり、測量作業は煩雑かつ重労働であった。また交通事故現場の周囲に障害物が多い等、充分広い撮影環境が確保されないことも多く、ステレオカメラによる現場検証が困難なときも多かった。
【0003】
そこで本願出願人は、単眼のカメラによる写真測量方法(特開平10−293026号公報、特開平10−221072号公報)、および同写真測量の精度を向上させるために一対の画像(以下、「ペア画像」という)に含めるターゲット(特開平10−307025号公報、特開平10−293026号公報、特開平10−185563号公報、特開平10−185562号公報、特開平10−170263号公報、特開平10−141951号公報)を多数提案して、簡易機材による効率的な写真測量を実現している。
【0004】
このような写真測量方法においては、同一のターゲットと測量対象物とが任意の異なる方向から撮影されたペア画像を得、専用の写真測量画像処理装置において、マウス等の入力手段を用いたマニュアル作業によって、ペア画像に共通に写し込まれた測量点(以下、「物点」という)を指定することにより、これら物点に基づいて任意の範囲の測量図が描かれる。
【0005】
この測量図の作成に際しては、複数の物点が直線または曲線等で連結されるが、特にコーナ部においては、極力自然で見やすい表現を実現するために、予め2本の直線を交差させて角部を形成してから、この角部の隅を削るように曲線あるいは斜め線に変更する「隅切り」という手法が用いられる。
【0006】
円弧状に「隅切り」を行うためには、2本の線分に接合する円弧の2つの端点と、円弧上の1点とを定義し、この3点によって定められた円弧を、予め描かれていた角部に置き換えて描画していた。
【0007】
【発明が解決しようとする課題】
しかし、一度隅切りが行われると、その前に描画した線あるいは初めの角部の情報は失われるので、オペレータのイメージに合致した描画線を得るために、隅切りの微調整を行う必要が生じたときには、再度、直線の描画からやり直さなければならず、非常に煩雑な作業となる。
【0008】
即ち、従来の写真測量画像処理装置においては、測量図の作成における隅切り作業が煩雑であり、これが作図作業の能率を低下させていた。
【0009】
本発明はこのような従来の問題点を解消すべく創案されたもので、写真測量画像処理装置における作図作業を大幅に効率化し得る、写真測量画像処理装置および写真測量画像処理方法および写真測量画像処理プログラムを格納した記録媒体を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明にかかる写真測量画像処理装置は、所定位置のターゲットを共通に含む複数の画像を同一グループに定義し、各画像について撮影したカメラの位置およびその光軸の傾きを算出し、画像内の共通の物点を当該各画像について指定し、物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量画像処理装置において、測量図を生成するための測量図データが、向きの異なる線分を接続する点の座標値であるベクトルデータと、所定の2本の線分によって形成されたコーナ部の頂点近傍の形状を定義する隅切りデータとを含むことを特徴としている。これによってベクトルデータをそのまま保存しつつ、隅切りを表現し得る。
【0011】
写真測量画像処理装置において、好ましくは隅切りデータが、隅切りの種類を定義するフラグと、隅切りの度合いを定義するパラメータとを含み、これにより簡単なデータ構造でありながら、多様な隅切りを表現し得る。
【0012】
写真測量画像処理装置において、フラグがコーナ部の頂点を2本の線分が通ることを定義してもよく、この場合パラメータは定義されない。これにより、隅切りを行わない、2本の線分により角部が形成されるコーナ部を表現し得る。
【0013】
また写真測量画像処理装置において、フラグがコーナ部の角の2等分線に直交する線分によって切り取られる直線隅切りを定義してもよく、この場合パラメータは頂点から線分までの距離である。これにより、簡潔かつ自然な直線の隅切り表現が可能である。
【0014】
また写真測量画像処理装置において、フラグが、コーナ部の角の2等分線に直交する直線と、コーナ部を形成する2本の線分との交点において、2本の線分に内接する円弧によって切り取られる円弧隅切りを定義してもよく、この場合パラメータは頂点から直線までの距離の2乗である。これにより、簡潔かつ自然な円弧の隅切り表現が可能である。
【0015】
写真画像処理装置は、測量図を表示する表示手段と、表示手段に表示されたカーソルを移動させる指示手段と、フラグを指定する入力手段とを備えてもよく、この場合、測量図の隅切りを指定すべきコーナ部において、入力手段によってフラグが指定されると隅切りの種類が定められ、さらに指示手段によってカーソルが移動するとパラメータが変化して隅切りの度合いが変化することが好ましい。これにより、簡単な操作でダイナミックかつ視覚的な隅切りの調整が可能である。
【0016】
写真画像処理装置は測量図を表示する表示手段を備えていてもよく、この表示手段においては、コーナ部がベクトルデータおよび隅切りデータに基づいて表示される。これにより、コーナ部の編集が視覚的に行える。
【0017】
本発明にかかる写真測量画像処理方法は、所定位置に設けられ、初期状態からの移動量および回転角を出力し得る所定形状のターゲットを共通に含む複数の画像を同一グループに定義し、各画像について撮影したカメラの位置およびその光軸の傾きを算出し、画像内の共通の物点を当該各画像について指定し、物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量画像処理方法において、測量図において、向きの異なる線分を接続する点の座標値であるベクトルデータを定義する第1ステップと、所定の2本の線分によって形成されたコーナ部の頂点近傍の形状を定義する隅切りデータを定義する第2ステップとを備えることを特徴としている。これによってベクトルデータをそのまま保存しつつ、コーナ部の形状を変形自在に表現し得る。
【0018】
本発明にかかる記憶媒体は、所定位置に設けられ、初期状態からの移動量および回転角を出力し得る所定形状のターゲットを共通に含む複数の画像を同一グループに定義し、各画像について撮影したカメラの位置およびその光軸の傾きを算出し、画像内の共通の物点を当該各画像について指定し、物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量画像処理プログラムであって、測量図において、向きの異なる線分を接続する点の座標値であるベクトルデータを定義するベクトルデータ生成ルーチンと、所定の2本の線分によって形成されたコーナ部の頂点近傍の形状を定義する隅切りデータを定義する隅切りデータ生成ルーチンとを備えた写真測量画像処理プログラムを格納していることを特徴としている。従って、汎用のパーソナルコンピュータにより写真測量画像処理プログラムを実行させることができ、自然な表現の測量図を容易に作成できる。
【0019】
【発明の実施の形態】
次に本発明に係る写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムの実施形態を図面に基づいて説明する。
【0020】
図1は、本発明の一実施形態を示す図であり、同図には写真測量画像処理装置における表示装置(符号10、図2)の表示画面が示される。この表示画面の画像表示領域IMAには、地面に置かれた共通のターゲットTを含む一対の画像IM1、IM2が並列して表示される。画像IM1およびIM2は1つのグループ(ペア1)とされる。図1には示されないが、この他に複数のペア画像が定義されている。
【0021】
画像IM1、IM2を含むペア画像は、デジタルカメラによる撮影によって得られたものであり、具体的には被写体の光学画像がCCD等の撮像素子(図示せず)上に結像され、デジタル画素データとしてメモリカード等の画像記憶媒体に記録される。
【0022】
画像記憶媒体に記録された多数の画像の中から、2枚の画像を選択して1グループに定義する作業は、オペレータのマニュアル操作により予め行われる。なお、同実施形態では2枚の画像を1グループとしているが、1グループに含める画像枚数は3以上でもよい。
【0023】
画像表示領域IMAの上方にはペア画像選択タグPIMTが設けられ、このペア画像選択タグPIMTの何れか1つをクリックすることによって、画像表示領域IMAに表示すべきペア画像を複数のペアから任意に選択できる。このペア画像選択タグPIMTは、ペア数に応じた数だけ表示される。また、画像表示領域IMAの上部には補助メニューSMが設けられており、「ペア名称変更」、「基準点再設定」、「ユーザ設定変更」、「ウインドウ設置」等のコマンドを選択し得る。
【0024】
画像表示領域IMAの下側には作図領域DRAが設けられ、全ペアの画像に基づいて作図された測量図(図中の道路の外形を示す実線L、白線を示す実線WL等)が描かれる。測量図は道路を鉛直上方から見た水平面図である。
【0025】
また、作図領域DRAにはターゲット位置RP1が点表示される。このターゲット位置RP1はターゲットTに設けられた基準点(34)により規定される。画像IM1、IM2において基準点(34)はそれぞれ像点RP1' 、RP1" として表示されており、これらの画像を1グループに設定した時点で、画像処理により両者の対応関係が定義される。その結果、基準点(34)の3次元座標が特定され、作図領域DRAにターゲット位置RP1として表示される。
【0026】
ターゲットTは撮影すべき範囲に応じて適宜移動され、作図領域DRAにおいてターゲット位置RP2およびRP3で示される。ターゲット位置RP2およびRP3はターゲット位置RP1を初期値とする相対座標で表され、この相対座標は、ターゲットTに内蔵されたセンサ( 図示せず) により測定され、ターゲットTからカメラに送信され、デジタル画素データとともに記録されている。これにより、全ペアを対応付けた時点で、異なるターゲット位置RP1、RP2、およびRP3が同一の作図領域DRAに表示される。
【0027】
測量図の作図に際しては、ペア画像中で対応する像点がマニュアルで指定される。詳述すると、画像IM1およびIM2において、道路の角の像点OP1' 、OP1" がマウスによりマニュアル指定されると、これら像点OP1' 、OP 1" に対応した物点OP1の3次元座標が算出されるとともに、作図領域DRAに物点OP1が点表示される。
【0028】
このように、画像表示領域IMAと作図領域DRAを同一画面に表示し、作図対象のペア画像を画像表示領域IMAに表示することによって、ペア画像における像点の指定とそれに対応して表示される物点との対応が容易に確認できる。
【0029】
作図領域DRA内には、作図のためのメニューDRMが設けられ、このメニューDRMにおいて、「直線描画」、「多角形描画」、「直径指定円描画」、「半径指定円描画」、「補助点描画」、「入力完了」等のコマンドが選択される。例えば「直線描画」が選択されている場合、物点OP1およびOP2が連続して指定されると、この2点OP1、OP2を結ぶ直線L1が自動的に作成され、作図領域DRAに表示される。
【0030】
画像領域IMAおよび作図領域DRAの左側にはメインメニューMMが設けられ、メインメニューMM内にはコマンドメニューCM、倍率設定部MG、回転設定部RTおよび表示設定部DTが設けられている。コマンドメニューCMにおいては、「道路外形描画」、「当事者記号描画」、「図形記号描画」、「記号描 画」、「文字描画」、「計測」、「記号、図形編集」、「元に戻す」、「消去」、「図面保存」、「印刷設定」、「図面印刷」、「図面校正」等のコマンドが選択可能である。倍率設定部MGにおいては、作図領域DRAに表示倍率を適宜設定し、回転設定部RTにおいては作図領域DRAに表示された測量図等を適宜回転指定し得る。また表示設定部DTにおいては、道路外形Lおよび白線WL等の描画線の線種、線幅、色等の変更が適宜設定、変更される。
【0031】
図2は写真測量画像処理装置の全体構成を示すブロック図であり、図1で表示内容を示した表示装置10の他に、キーボード、マウス等の入力装置12、メモリカード等の記憶媒体13およびCPU14を有し、これらは直接または間接的にバス15に接続されている。
【0032】
CPU14には、入力状態管理部41、表示状態管理部42、測量図データ演算制御部43およびデータ管理部44が設けられ、必要な管理、演算、処理を実行する。入力装置12には、バス15に接続された入力装置制御装置17が接続され、これによって入力装置12からの入力がバス15に転送され、また入力装置12の入力モード等が設定される。記憶媒体13はメモリカードリーダ等の記憶媒体制御装置18に挿入され、これによって記憶媒体13に格納された写真データ(図3)が適宜読み出される。
【0033】
さらにバス15には作業メモリ19、表示メモリ20が接続され、作業メモリ19はCPU14による演算、処理におけるキャッシュメモリ等に使用され、表示メモリ20は表示装置10で表示すべき内容(図1)を保持する。表示装置10には、バス15に接続された表示装置制御装置16が接続され、表示メモリ20内のデジタルデータを表示装置10のためのアナログRGB信号に変換する。
【0034】
CPU14の入力状態管理部41は入力装置12の設定を管理し、また入力された情報、例えばマウスの座標、キーボードから入力された文字等を所定のデジタルデータに変換する。表示状態管理部42は表示装置10に表示すべき内容を管理し、表示に関する設定の変更等があったときには表示内容を変更する。測量図データ演算制御部43は後述する描画線の生成等に使用される。データ管理部44は記憶媒体13から読込んだデータ内容を管理し、また図1の画面で設定されたペア画像の設定内容、これに基づいて作成された種々の座標データ、作図された描画線のデータ等を管理する。
【0035】
図3は記憶媒体13に格納される測量写真データのフォーマットを示す図であり、複数の写真データ(図3ではn−2番目〜n+1番目の写真データが示されている)が順次格納される。1個の写真データ(n番目)はヘッダHと画像データIMDよりなり、隣接する写真データとの区切りのため、画像データIMDの後に予備のスペースSPが設けられている。画像データIMDはデジタル画素データ列である。
【0036】
ヘッダHは画像名H1、識別番号H2、撮影日・撮影条件H3、回転角・移動量H4等を含む。画像名H1およびH3の撮影日はカメラにおいてマニュアルで入力される。識別番号H2は、例えば撮影ごとに1ずつインクリメントされる撮影位置番号と、ターゲットTが移動した際に1ずつインクリメントされるターゲット位置番号とを含み、先だって行われるマニュアル操作によるペア画像の選定等に用いられる。H3の撮影条件は撮影時にカメラから入力され、カメラの焦点距離f、水平および垂直方向の画角ΘhおよびΘv、CCDの分解能rp等が含まれる。H4の回転角には撮影時におけるターゲットTの水平面に対する回転角および方位が含まれ、移動量は前述したように最初のターゲット位置RP1(図1)からの移動量である。これら回転角および移動量は、画像に含まれるターゲットTからカメラに送信される。
【0037】
図4〜図6を参照して、コーナ部における描画線の生成について説明する。図4は、作図領域DRAに描かれた道路外形Lのコーナ部TCRを拡大して示す図である。まず、メニューDRMにおいて「直線描画」が選択されているときに、ペア画像に基づいて物点OP3の座標が算出されて、作図領域DRAに点表示される。続いて、物点OP4の座標が算出されて作図領域DRAに点表示されると、物点OP3およびOP4を結ぶ線分L2が生成されて、作図領域DRAに描かれる。同様に、物点OP5およびOP6の指定により線分L3が生成される。
【0038】
ここで、メニューDRMにおいて「補助点描画」に切り替え、線分L2および線分L3を連続してマウスにより指定する。この操作により、2つの線分の延長線が交差する点(以下、補助点と呼ぶ)Pc1の座標が求められ、作図領域DRA白抜の四角点で表示される。同時に、物点OP4と補助点Pc1との間には線分L2’が描画され、物点OP5と補助点Pc1との間には線分L3’が描画される。このようにして、角部の頂点となるべき物点を指定せずとも、2つの線分L2およびL3によってコーナ部TCRを描くことができる。
【0039】
図5は、作図領域DRAに描かれたコーナ部LCRを拡大して示す図である。このコーナ部LCRの隅は斜線L6によって角を切り取った形状を呈している。この斜線L6は以下のようにして生成される。まず、図4のコーナ部TCRと同様の手法で補助点Pc2が求められる。即ち、物点OP7およびOP8の指定によって線分L4が、物点OP9およびOP10の指定によって線分L5が決定される。これにより、補助点Pc2および延長線である線分L4’およびL5’が算出される。
【0040】
この後、以下のようにして「隅切り」が行われる。まず線分L4’およびL 5’により形成される角の2等分線BLが求められ、この2等分線BLに直交し、かつ補助点Pc2から任意長さLmだけ離れた直線によって角が切り落とされる。そして、線分L4’およびL5’の図中破線で示される部分が消去され、切り落とした直線の一部である線分L6が新たな描画線として作図領域DRAに描画される。点A、Bは線分L6の端点である。以下、この直線による隅切りを「直線隅切り」と呼ぶ。
【0041】
補助点Pc2からの距離Lmはマウス操作により適宜変更でき、これにより線分L6の長さ、即ち隅切りの度合いが視覚的に変更できる。補助点Pc2の座標データは隅切り後も保持され、隅切りの度合いが微調整できる。従って、コーナ部LCRにおいては自然で見やすい描画線が表示される。また、物点指定数も少なくできる。
【0042】
図6は、作図領域DRAに描かれた白線WLのコーナ部RCRを拡大して示す図である。ここでは、隅切り後の描画線が直線ではなく円弧であるという点以外は、図5と同様の処理で実現される。円弧による隅切りを「円弧隅切り」と呼ぶ。
【0043】
まず、物点OP11およびOP12の指定によって線分WL1が、物点OP13およびOP14の指定によって線分WL2が決定される。これにより、補助点Pc3の座標および延長線である線分WL1’およびWL2’が算出される。
【0044】
さらに、線分WL1’およびWL2’により形成される角の2等分線BLが求められ、2等分線BLに直交しかつ補助点Pc3から任意長さLmだけ離れた直線が、線分WL1’およびWL2’に交差する点A、Bが求められる。さらにこの点A、Bにおいて線分WL1’およびWL2’に内接し、2等分線BL上の点Oを中心とする半径rの円弧WL3が求められ、この円弧WL3によって角が切り落とされる。そして、線分WL1’およびWL2’の図中破線で示される部分が消去され、切り落とした円弧WL3が新たな描画線として作図領域DRAに描画される。点A、Bは円弧WL3の端点に一致する。
【0045】
補助点Pc3からの距離Lmはマウス操作により適宜変更でき、これにより円弧の半径rおよび円弧WL3の長さ、即ち隅切りの度合いが視覚的に変更できる。補助点Pc3の座標データは隅切り後も保持され、隅切りの度合いが微調整できる。従って、コーナ部RCRにおいては自然で見やすい描画線が表示される。また、物点指定数も少なくできる。
【0046】
図7〜図9は、図6に示す「円弧隅切り」の過程を示す図である。作図領域DRAにおいて隅切りしたいコーナ部RCRがマウスにより指定されると、作図領域DRA内に新たにワーク領域WRAが設定され、コーナ部RCRが拡大表示される(図7)。このワーク領域WRAの右方には、隅切りの開始および中止を選択する開始ボタンSTBおよび中止ボタンQTBと、ワーク領域WRAにおけるコーナ部RCRの処理を終了するための終了ボタンETBとが設けられる。さらに、「直線隅切り」または「円弧隅切り」を選択するための設定ボタンSSB、RSBが設けられる。図7〜図9においては円弧設定ボタンSRBが選択されている。
【0047】
隅切りにおいては、マウスに設けられた左右のボタンのクリック操作、およびマウスの移動操作によって実現される。以下、左ボタンのクリック操作を左クリック、右ボタンのクリック操作を右クリックと呼ぶ。なお、画面にはマウス操作に応じて移動するマウスポインタMPが表示される。
【0048】
図7の初期画面において、ワーク領域WRA内には、現在の描画線である線分WL1、WL1’、WL2およびWL2’が実線で表示され、また補助点Pc3が四角い点で表示される。開始ボタンSTBを指示した後、補助点Pc3にマウスポインタMPを移動させて左クリックにより指定する。
【0049】
そして、マウスポインタMPを図中左下に向かって移動させると、図8に示すようにマウスポインタMPの先端に一致する円弧ARCが破線で表示される。この円弧ARCは、マウスポインタMPの移動に伴ってその半径rを変えながら移動する。これにより、隅切りのための円弧ARCの大きさが調整できる。このときワーク領域WRAには、適宜変更される半径rの数値を示すメッセージ領域MRWが示される。なお、円弧ARCの2つの端点A、Bは物点OP12または物点OP13よりも補助点Pc側に位置する。また、マウスポインタMPの移動に伴って実際に変化するのは補助点Pc3からの距離Lmであり、距離Lmに応じて半径rは適宜求められる。
【0050】
図8に示す状態で再度左クリックを実行すると、図9に示すように円弧ARCが新たな描画線WL3として表示され、隅切りにより切り落とされた角部は消去される。このとき補助点Pc3はそのまま表示される。
【0051】
なお、図8の状態で右クリックを実行すると隅切りが中断される。即ち、図10に示すように、描画線は初期状態のままで円弧ARCが消去される。
【0052】
図11および図12に示すように、図9に示す円弧隅切りを行なった後に、さらに隅切り度、即ち円弧の大きさを微調整することもできる。この場合には再び補助点Pc3を指定して円弧ARCを表示させ、マウスポインタMPを描画線WL3の外側(図11)、または内側(図12)に移動させて、左クリックを実行する。これにより、描画線WL3は円弧ARCを含む線に更新される。
【0053】
このように、補助点の指示およびマウス操作のみで隅切りが定義、表示されるので、極めて容易に隅切り処理を行い得る。また、補助点のデータが隅切り後も保持され、一度定義した隅切り度を、補助点の指示およびマウス操作のみで更新できるので、オペレータのイメージに合致した描画線が容易に得られる。
【0054】
図示しないが、「直線隅切り」においても同様に、補助点の指定とマウス操作による直線の決定とが行われる。この場合、円弧ARCに替わって線分が表示される。
【0055】
図13はコーナ部TCRを含む1本の連続線(図6の白線WL)のデータフォーマットを示す図であり、図14は図13の測量図データに基づく描画結果を示す図である。実際には図6の内側の線(破線)も測量図データに含まれるが、ここでは外側の線(実線)の測量図データのみを示している。この測量図データはベクトルデータで表現されており、わずかなデータ量による表現が可能であり、かつ編集、修正が容易である。
【0056】
測量図データは、連続線の描画開始の宣言(Section Polyline)で始まり、べクトルデータ数の定義の後に、データ数分だけ連続する座標値が記述され、記述終了の宣言(End)で終わる。この座標値は、作図領域DRAに設定された2次元直交座標系における値で示される。座標値の部分をベクトルデータ、また座標値に続く部分、例えば「Start」、「End」および 「corner Arc(Lm2 )」を隅切りデータと呼ぶ。
【0057】
「Start」および「End」は、それぞれ直前に記述されるベクトルデータにより示される点(物点OP11および物点OP14)が描画開始点および描画終了点であることを示す。「corner」は、直前に記述されるベクトルデータにより示される点(補助点Pc3)がコーナ部の頂点であることを示し、続いて記述される「Arc」はコーナ部が円弧隅切りであることを定義するフラグである。「Arc」の後に記述される「(Lm2 )」は隅切り度を示すパラメータ(以下、距離パラメータと呼ぶ)であり、頂点からの距離Lmの二乗である。
【0058】
図14に示す測量図は、図3のベクトルデータの記述順に従って、各点を接続する連続線である。なお、直線隅切りの場合には「Arc」の替わりに「Cu t」というフラグが記述されることにより定義され、距離パラメータとして「(Lm)」(図5)が記述される。
【0059】
このように、隅切りの定義がベクトルデータの後ろに付属する隅切りデータによって定義されるので、隅切り処理によってPc3のベクトルデータは変更されない。従って、隅切りの消去、修正の作業は極めて容易である。
【0060】
図15〜図22は、CPU14において実行される隅切り処理ルーチンを示すフローチャートである。この隅切り処理ルーチンは、図1に示す作図領域DRAにおいて、任意のコーナ部が選択された後に実行される。
【0061】
図15は隅切り処理のメインルーチンである。まず、ステップS102において、ワーク領域WRAが表示され、作図領域DRAにおいて選択されたコーナ部の拡大図、即ち現在の描画線とコーナ部の頂点とが初期表示される(図7)。
【0062】
終了ボタンETBが指示された場合(ステップS104)には、ワーク領域WRAが消去されて(ステップS106)、作図領域DRAの測量図が再表示され、メインルーチンは終了する。
【0063】
次に、設定ボタンSSBまたはRSBの何れか一方が選択されているか否かが判定される。設定ボタンSSBが指示された場合(ステップS108)には直線隅切りが設定され(ステップS110)、設定ボタンRSBが指示された場合 (ステップS112)には円弧隅切りが設定される(ステップS114)。
【0064】
隅切り種別の設定後、隅切り開始の待機状態となり、開始ボタンSTBが指示される(ステップS116)と、さらにワーク領域WRA内におけるマウスポインタの有無が判定され(ステップS118)、ワーク領域WRA内に有る場合には、隅切り実行サブルーチン(ステップS200)において隅切りが実行される。開始ボタンSTBが押され、ワーク領域WRA内にマウスポインタを移動させた後、隅切りを中止する場合にはワーク領域WRA外にマウスポインタを移動させて(ステップS204、図16)、中止ボタンQTBを指示すれば(ステップS120)、ステップS104に戻る。
【0065】
図16は隅切り実行サブルーチン(ステップS200)の詳細を示すフローチャートである。
まず、隅切りすべきコーナ部の頂点が指定されたことを示すフラグFlagが初期値0とされる(ステップS202)。ワーク領域WRA内にマウスポインタがあり(ステップS204)、何らかのマウスイベントが検地される(ステップS206)と、Flagの値「0」または「1」に応じて分岐する。ここでマウスイベントは、左クリック、右クリックまたはマウスポインタの移動を示す。
【0066】
Flag=0の場合、隅切りすべきコーナ部の頂点が指定されていないと判定され、頂点指定サブルーチン(ステップS300)が実行される。Flag=1の場合、頂点が既に指定されたと判定され、表示更新サブルーチン(ステップS400)が実行される。分岐した2つの処理(ステップS300、400)が終了すると、ステップS204に戻る。
【0067】
図17は頂点指定サブルーチン(ステップS300)の詳細を示すフローチャートである。
コーナ部の頂点が左クリックされると(ステップS302、304)、このコーナ部の測量図データから、コーナ部を形成する始点Ps、頂点Pcおよび終点Peのベクトルデータおよび隅切りデータが読み出される。図13を例にとると、始点Psは物点OP11(x11,y11)であり、頂点Pcは補助点Pc3(xc,yc)、また終点Peは物点OP14(x14,y14)であり、頂点Pcには距離パラメータLmの円弧隅切りが設定されている。そして、Flagが1に更新されて(ステップS308)、頂点指定サブルーチンが終了する。
【0068】
図18および図19は表示更新サブルーチン(ステップS400)の詳細を示すフローチャートである。この表示更新サブルーチンは、マウスイベントに応じて分岐する。
【0069】
マウスポインタの移動が検知された場合(ステップS414)、隅切り後の描画線となるべき描画候補線を算出するラインデータ算出サブルーチン(ステップS500)が実行され、描画候補線のデータは表示メモリ20(図2)へ格納されて(ステップS416)、ワーク領域WRAの描画候補線が更新表示される (ステップS418)。これにより、マウスポインタの移動に伴って、描画候補線を自在に変化させることができる(図8)。
【0070】
左クリックが検知されると(ステップS402)、現在ワーク領域WRAに設定されている描画候補線が新たな描画線に決定されたと判定され、描画候補線のデータに基づいて測量図データが更新され(ステップS404)、この更新された測量図データに基づいて、ワーク領域WRAの描画線が更新表示される(ステップS406、図9)。
【0071】
右クリックが検知されると(ステップS408)、隅切りが中止されたと判定され、現在の描画候補線(図8の破線)が消去され(ステップS410、図1 0)、Flagは初期値0に戻される(ステップS412)。
【0072】
図20〜図22は、ラインデータ算出サブルーチン(ステップS500)の詳細を示すフローチャートであり、図23はラインデータ算出の概念図である。
まず、コーナ部Cを描画するための開始点、頂点および終了点が、初期値Ps(xs, ys)、Pc(xc, yc)およびPe(xe, ye)に設定される (ステップS502)。Ps、PcおよびPeの2次元座標値に基づいて、コーナ部Cの二等分線BL「y=a0x+b0」の定数a0およびb0が算出され (ステップS504)、頂点Pcを通り二等分線BLに直交する直交線OL「y=a1x+b1」の定数a1およびb1が算出される(ステップS506)。
【0073】
ここで、マウスポインタMPの位置(xm, ym)と開始点Psとが、直交線OLに関して同じ側にあるか否かが判定され(ステップS508)、同じ側でなかったときは直ちにラインデータ算出サブルーチンが終了し、描画候補線は生成されない。同じ側にあるときは以下に説明するように、ステップS510以降が実行され、描画候補線が生成される。
【0074】
続いて、直交線OLに対する開始点Ps、終了点Pe、およびマウスポインタMSの距離Ls、LeおよびLmが算出され(ステップS510)、LmがLsまたはLeより大きい値か否かが判定される(ステップS512)。LmがLsまたはLeより大きい場合には、LsまたはLeの小さい方の値がLmに代入され(ステップS514)、LmがLsおよびLeの双方より小さければ、そのままの値が保持される。
【0075】
Lmだけ離れた直行線OL’「y=a2x+b2」の定数a2およびb2が算出され(ステップS516)、この直行線OL’と線分Lscおよび線分Lceとの交点A、Bの座標(xa, ya)および(xb, yb)が求められる(ステップS518)。なお、線分Lscは開始点Psおよび頂点Pcを結ぶ線分であり、線分Lceは頂点Pcおよび終了点Peを結ぶ線分である。求められた2つの交点A、Bは隅切り開始点および隅切り終了点である。このように、マウスポインタを過剰に移動させても、交点A、Bは常に開始点Psおよび終了点Peより頂点Pc側に位置する。
【0076】
続いて、隅切りが「直線隅切り」あるいは「円弧隅切り」の何れであるかが判定され(ステップS520)、それぞれ設定ボタンSSBおよびRSB(図7)による設定に基づいて処理が分岐する。
【0077】
「直線隅切り」の場合には、ステップS518によって求められた交点A、Bが描画の際の方向変換点に設定され、ステップS502で設定されたコーナ部Cを描画するための開始点、頂点および終了点が、Ps、A、BおよびPeに設定変更される(ステップS522)。即ち、線分ABが隅切りの線分(図5の線分L6)である描画候補線に決定される。
【0078】
「円弧隅切り」の場合には、さらにコーナ部Cの内接円の中心Oおよび半径rが求められる(ステップS524)。この内接円は交点AおよびBにおいて、それぞれ線分LscおよびLceに内接する。さらに、円弧が頂点Pc側に凸状になるように、描画方向dircが時計回りあるいは反時計回りのどちらか一方に定められ(ステップS526)、Ps、A、BおよびPeの順に描画するように設定変更される(ステップS528)。即ち、円弧AB(図示せず)が隅切りの円弧(図6の円弧WL3)である描画候補線に定められる。
【0079】
ステップS522およびステップS528により決定された線は、描画候補線であり、図8に示すようにマウスポインタMPの移動により変化する破線で示される。
【0080】
【発明の効果】
以上のとおり、本発明によれば隅切りのマニュアル処理を極めて効率的に処理し得るとともに、得られる測量図の品質は高く、また修正も容易である。
【図面の簡単な説明】
【図1】 本発明に係る写真測量画像処理装置の一実施形態における表示画面を示す概念図である。
【図2】 写真測量画像処理装置の全体構成を示すブロック図である。
【図3】 図2に示す記憶媒体に格納される写真データのフォーマットを示す概念図である。
【図4】 図1に示す測量図のコーナ部TCRを拡大して示す図である。
【図5】 図1に示す測量図のコーナ部LCRを拡大して示す図である。
【図6】 図1に示す測量図のコーナ部RCRを拡大して示す図である。
【図7】 作図領域内に設定されたワーク領域を示す図であって、円弧隅切り処理を示す概念図である。
【図8】 図7に続く円弧隅切り処理を示す概念図である。
【図9】 図8に続く円弧隅切り処理を示す概念図である。
【図10】 図8に続く円弧隅切り処理の別の部分を示す概念図である。
【図11】 隅切り度を大きく変更する処理を示す概念図である。
【図12】 隅切り度を小さく変更する処理を示す概念図である。
【図13】 図6の測量図データのフォーマットを示す図である。
【図14】 図13の測量図データに基づいた描画を示す概念図である。
【図15】 隅切り処理のメインルーチンを示すフローチャートである。
【図16】 図15の隅切り実行サブルーチンを示すフローチャートである。
【図17】 図16の頂点指定サブルーチンを示すフローチャートである。
【図18】 図16の表示更新サブルーチンの一部分を示すフローチャートである。さらに他の分岐処理を示すフローチャートである。
【図19】 図16の表示更新サブルーチンの他の部分を示すフローチャートである。
【図20】 図19におけるラインデータ算出サブルーチンの最初の部分を示すフローチャートである。
【図21】 図19におけるラインデータ算出サブルーチンの第2の部分を示すフローチャートである。
【図22】 図19におけるラインデータ算出サブルーチンの最後の部分を示すフローチャートである。
【図23】 ラインデータ算出処理の概念図である。
【符号の説明】
10 表示装置
13 画像記憶媒体
IM1、IM2 画像
TCR、LCR、RCR、C コーナ部
L 道路外形
WL 白線
DRA 作図領域
WRA ワーク領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to image processing in photogrammetry.
[0002]
[Prior art]
Photogrammetry is widely used to create maps, but it is also used as an extremely effective means for recording local situations such as on-site verification of traffic accidents. Conventional photogrammetry uses a stereo camera in which two cameras are fixed apart from each other, and calculates three-dimensional coordinates of each survey point from two images taken by both cameras. Here, the stereo camera is a heavy and large equipment, and it is necessary to record detailed information such as camera position information, tilt angle, and actual measured length of the subject for the calculation of 3D coordinates. Was cumbersome and hard work. In addition, there were many obstacles around the traffic accident scene, so a sufficiently wide shooting environment was often not secured, and it was often difficult to verify the field using a stereo camera.
[0003]
Accordingly, the applicant of the present application has proposed a photogrammetry method using a monocular camera (Japanese Patent Laid-Open Nos. 10-293026 and 10-2221072) and a pair of images (hereinafter referred to as “pair”) in order to improve the accuracy of the photogrammetry. Images ”) (see Japanese Patent Laid-Open Nos. 10-3007025, 10-293026, 10-185563, 10-185562, 10-170263, and 10-170263). No. 10-141951) has been proposed to achieve efficient photogrammetry using simple equipment.
[0004]
In such a photogrammetry method, a pair image obtained by photographing the same target and an object to be measured from arbitrarily different directions is obtained, and manual operation using an input means such as a mouse in a dedicated photogrammetry image processing apparatus. By specifying survey points (hereinafter referred to as “object points”) that are commonly captured in the pair images, a survey map in an arbitrary range is drawn based on these object points.
[0005]
When creating this survey map, a plurality of object points are connected by straight lines or curves, etc. Especially in the corner part, in order to realize a natural and easy-to-view expression as much as possible, two straight lines are crossed in advance and the angle is set. After forming the portion, a method called “corner cutting” is used in which the corner is changed to a curved line or an oblique line so as to cut the corner.
[0006]
In order to perform “corner cutting” in an arc shape, two end points of an arc joined to two line segments and one point on the arc are defined, and an arc defined by these three points is drawn in advance. It was replaced with the corners that had been drawn.
[0007]
[Problems to be solved by the invention]
However, once the corner is cut, the information of the line drawn before or the first corner is lost, so it is necessary to make fine adjustments to obtain the drawing line that matches the operator's image. When it occurs, it is necessary to start again from drawing a straight line, which is a very complicated operation.
[0008]
That is, in the conventional photogrammetry image processing apparatus, the corner cutting work in creating the survey map is complicated, which reduces the efficiency of the drawing work.
[0009]
The present invention was devised to solve such conventional problems, and the photogrammetry image processing apparatus, photogrammetry image processing method, and photogrammetry image that can greatly improve the efficiency of the drawing work in the photogrammetry image processing apparatus. It is an object to provide a recording medium storing a processing program.
[0010]
[Means for Solving the Problems]
The photogrammetric image processing apparatus according to the present invention defines a plurality of images that commonly include a target at a predetermined position in the same group, calculates the position of the camera for each image and the inclination of its optical axis, A survey map for generating a survey map in a photogrammetric image processing apparatus that designates a common object point for each image, calculates a three-dimensional coordinate of the object point, and generates a survey map based on the three-dimensional coordinate. The data includes vector data that is a coordinate value of a point connecting line segments having different directions, and corner cutting data that defines a shape near a vertex of a corner portion formed by two predetermined line segments. It is a feature. This makes it possible to express corner cuts while preserving vector data.
[0011]
In the photogrammetric image processing apparatus, the corner cutting data preferably includes a flag that defines the type of corner cutting and a parameter that defines the degree of corner cutting. Can be expressed.
[0012]
In the photogrammetric image processing apparatus, the flag may define that two line segments pass through the vertex of the corner portion. In this case, no parameter is defined. Thereby, a corner portion in which a corner portion is formed by two line segments that do not perform corner cutting can be expressed.
[0013]
In the photogrammetric image processing apparatus, a straight corner cut may be defined in which the flag is cut by a line segment orthogonal to the bisector of the corner corner. In this case, the parameter is a distance from the vertex to the line segment. . Thereby, a simple and natural straight-line corner cutting expression is possible.
[0014]
In the photogrammetric image processing apparatus, the flag is an arc inscribed in the two line segments at the intersection of the straight line perpendicular to the bisector of the corner of the corner and the two line segments forming the corner. May define a circular arc corner cut, where the parameter is the square of the distance from the vertex to the straight line. Thereby, a simple and natural rounding expression of an arc is possible.
[0015]
The photographic image processing apparatus may include display means for displaying a survey map, instruction means for moving a cursor displayed on the display means, and input means for designating a flag. In the corner portion to be designated, it is preferable that the type of corner cutting is determined when the flag is designated by the input means, and the parameter changes and the degree of corner cutting changes when the cursor is moved by the instruction means. As a result, dynamic and visual corner trimming can be adjusted with a simple operation.
[0016]
The photographic image processing apparatus may include display means for displaying a survey map. In this display means, a corner portion is displayed based on vector data and corner cut data. Thereby, the corner portion can be visually edited.
[0017]
The photogrammetry image processing method according to the present invention defines a plurality of images that are provided at predetermined positions and commonly include a target having a predetermined shape capable of outputting a movement amount and a rotation angle from an initial state in the same group. The camera position and the inclination of the optical axis of the camera are calculated, the common object point in the image is designated for each image, the three-dimensional coordinates of the object point are calculated, and the survey map is based on the three-dimensional coordinates. In the photogrammetric image processing method for generating the first step, in the survey map, a first step for defining vector data which is a coordinate value of a point connecting line segments having different orientations, and a corner formed by two predetermined line segments And a second step of defining corner cutting data that defines the shape of the vicinity of the vertex of the part. Thereby, the shape of the corner portion can be expressed in a deformable manner while storing the vector data as it is.
[0018]
The storage medium according to the present invention defines a plurality of images that are provided at a predetermined position and commonly include a target having a predetermined shape capable of outputting a movement amount and a rotation angle from an initial state in the same group, and photographed each image. The camera position and the inclination of the optical axis are calculated, a common object point in the image is designated for each image, the three-dimensional coordinates of the object point are calculated, and a survey map is generated based on the three-dimensional coordinates. A photogrammetry image processing program, in a survey map, a vector data generation routine for defining vector data as coordinate values of points connecting line segments having different orientations, and a corner formed by two predetermined line segments A photogrammetry image processing program including a corner cutting data generation routine for defining corner cutting data for defining the shape of the vicinity of the vertex of the section. Accordingly, the photogrammetry image processing program can be executed by a general-purpose personal computer, and a natural expression survey map can be easily created.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of a photogrammetry image processing apparatus, a photogrammetry image processing method, and a photogrammetry image processing program according to the present invention will be described with reference to the drawings.
[0020]
FIG. 1 is a diagram showing an embodiment of the present invention, in which a display screen of a display device (reference numeral 10, FIG. 2) in a photogrammetric image processing apparatus is shown. In the image display area IMA of this display screen, a pair of images IM1 and IM2 including a common target T placed on the ground are displayed in parallel. The images IM1 and IM2 are set as one group (pair 1). Although not shown in FIG. 1, a plurality of pair images are defined in addition to this.
[0021]
The pair images including the images IM1 and IM2 are obtained by photographing with a digital camera. Specifically, an optical image of a subject is formed on an image pickup device (not shown) such as a CCD, and digital pixel data As an image storage medium such as a memory card.
[0022]
The operation of selecting two images from a large number of images recorded on the image storage medium and defining them as one group is performed in advance by a manual operation of the operator. In the embodiment, two images are included in one group, but the number of images included in one group may be three or more.
[0023]
A pair image selection tag PIMT is provided above the image display area IMA. By clicking any one of the pair image selection tags PIMT, a pair image to be displayed in the image display area IMA is arbitrarily selected from a plurality of pairs. Can be selected. The number of pair image selection tags PIMT is displayed according to the number of pairs. Further, an auxiliary menu SM is provided in the upper part of the image display area IMA, and commands such as “change pair name”, “reset reference point”, “change user setting”, “install window”, and the like can be selected.
[0024]
A drawing area DRA is provided below the image display area IMA, and a survey map drawn based on all pairs of images (a solid line L indicating the outline of a road, a solid line WL indicating a white line, etc.) is drawn. . The survey map is a horizontal plan view of the road as viewed from above.
[0025]
In addition, the target position RP1 is displayed as a dot in the drawing area DRA. The target position RP1 is defined by a reference point (34) provided on the target T. In the images IM1 and IM2, the reference points (34) are respectively displayed as image points RP1 ′ and RP1 ″. When these images are set as one group, the correspondence between the two is defined by image processing. As a result, the three-dimensional coordinates of the reference point (34) are specified and displayed as the target position RP1 in the drawing area DRA.
[0026]
The target T is appropriately moved according to the range to be photographed, and is indicated by target positions RP2 and RP3 in the drawing area DRA. The target positions RP2 and RP3 are represented by relative coordinates with the target position RP1 as an initial value. The relative coordinates are measured by a sensor (not shown) built in the target T, transmitted from the target T to the camera, and digitally Recorded with pixel data. Thereby, different target positions RP1, RP2, and RP3 are displayed in the same drawing area DRA when all the pairs are associated.
[0027]
When drawing a survey map, a corresponding image point in a pair image is manually specified. More specifically, in the images IM1 and IM2, when the image points OP1 ′ and OP1 ″ at the corners of the road are manually designated by the mouse, the three-dimensional coordinates of the object point OP1 corresponding to the image points OP1 ′ and OP1 ″ are changed. While being calculated, the object point OP1 is displayed as a point in the drawing area DRA.
[0028]
In this way, the image display area IMA and the drawing area DRA are displayed on the same screen, and the pair image to be drawn is displayed in the image display area IMA, so that the image point designation in the pair image and the corresponding display are displayed. The correspondence with the object points can be easily confirmed.
[0029]
In the drawing area DRA, a menu DRM for drawing is provided. In this menu DRM, “straight line drawing”, “polygon drawing”, “diameter designation circle drawing”, “radius designation circle drawing”, “auxiliary point” Commands such as “draw” and “input complete” are selected. For example, when “straight line drawing” is selected, when the object points OP1 and OP2 are successively designated, a straight line L1 connecting the two points OP1 and OP2 is automatically created and displayed in the drawing area DRA. .
[0030]
A main menu MM is provided on the left side of the image area IMA and the drawing area DRA, and a command menu CM, a magnification setting unit MG, a rotation setting unit RT, and a display setting unit DT are provided in the main menu MM. In command menu CM, “Draw road outline”, “Draw party symbol”, “Draw graphic symbol”, “Draw symbol”, “Draw character”, “Measure”, “Edit symbol, graphic”, “Undo” Commands such as “”, “Erase”, “Save drawing”, “Print setting”, “Print drawing”, “Drawing proof” can be selected. In the magnification setting section MG, the display magnification can be set as appropriate in the drawing area DRA, and in the rotation setting section RT, the survey map displayed in the drawing area DRA can be appropriately rotated. In the display setting unit DT, changes in the line type, line width, color, and the like of the drawing lines such as the road outline L and the white line WL are set and changed as appropriate.
[0031]
FIG. 2 is a block diagram showing the overall configuration of the photogrammetry image processing apparatus. In addition to the display device 10 showing the display contents in FIG. 1, an
[0032]
The
[0033]
Further, a
[0034]
The input
[0035]
FIG. 3 is a diagram showing the format of the survey photo data stored in the
[0036]
The header H includes an image name H1, an identification number H2, a shooting date / shooting condition H3, a rotation angle / movement amount H4, and the like. The shooting dates of the image names H1 and H3 are manually input on the camera. The identification number H2 includes, for example, a shooting position number that is incremented by 1 for each shooting, and a target position number that is incremented by 1 when the target T is moved. Used. The shooting conditions for H3 are input from the camera at the time of shooting, and include the focal length f of the camera, horizontal and vertical field angles Θh and Θv, CCD resolution rp, and the like. The rotation angle of H4 includes the rotation angle and direction of the target T with respect to the horizontal plane at the time of shooting, and the movement amount is the movement amount from the initial target position RP1 (FIG. 1) as described above. These rotation angles and movement amounts are transmitted from the target T included in the image to the camera.
[0037]
With reference to FIGS. 4 to 6, generation of a drawing line in the corner portion will be described. FIG. 4 is an enlarged view showing the corner portion TCR of the road outline L drawn in the drawing area DRA. First, when “straight line drawing” is selected in the menu DRM, the coordinates of the object point OP3 are calculated based on the pair image, and are displayed in the drawing area DRA. Subsequently, when the coordinates of the object point OP4 are calculated and displayed in the drawing area DRA, a line segment L2 connecting the object points OP3 and OP4 is generated and drawn in the drawing area DRA. Similarly, a line segment L3 is generated by specifying the object points OP5 and OP6.
[0038]
Here, the menu DRM is switched to “auxiliary point drawing”, and the line segment L2 and the line segment L3 are successively designated by the mouse. By this operation, the coordinates of a point Pc1 where the extension lines of the two line segments intersect (hereinafter referred to as auxiliary points) Pc1 are obtained and displayed as square points in the drawing area DRA. At the same time, a line segment L2 ′ is drawn between the object point OP4 and the auxiliary point Pc1, and a line segment L3 ′ is drawn between the object point OP5 and the auxiliary point Pc1. In this manner, the corner portion TCR can be drawn by the two line segments L2 and L3 without designating the object point to be the vertex of the corner.
[0039]
FIG. 5 is an enlarged view of the corner portion LCR drawn in the drawing area DRA. The corners of the corner portion LCR have a shape in which corners are cut off by oblique lines L6. The oblique line L6 is generated as follows. First, the auxiliary point Pc2 is obtained by the same method as the corner portion TCR of FIG. That is, the line segment L4 is determined by specifying the object points OP7 and OP8, and the line segment L5 is determined by specifying the object points OP9 and OP10. Thereby, the auxiliary points Pc2 and the line segments L4 ′ and L5 ′ that are the extension lines are calculated.
[0040]
Thereafter, “corner cutting” is performed as follows. First, a bisector BL of an angle formed by the line segments L4 ′ and L5 ′ is obtained, and the angle is defined by a straight line perpendicular to the bisector BL and separated from the auxiliary point Pc2 by an arbitrary length Lm. Cut off. Then, the portions of the line segments L4 ′ and L5 ′ indicated by the broken line in the drawing are deleted, and the line segment L6 that is a part of the cut-off straight line is drawn as a new drawing line in the drawing area DRA. Points A and B are end points of the line segment L6. Hereinafter, this corner cutting by a straight line is referred to as “straight corner cutting”.
[0041]
The distance Lm from the auxiliary point Pc2 can be changed as appropriate by operating the mouse, whereby the length of the line segment L6, that is, the degree of corner cutting can be visually changed. The coordinate data of the auxiliary point Pc2 is retained even after corner cutting, and the degree of corner cutting can be finely adjusted. Accordingly, a natural and easy-to-see drawing line is displayed in the corner portion LCR. In addition, the number of designated object points can be reduced.
[0042]
FIG. 6 is an enlarged view showing the corner portion RCR of the white line WL drawn in the drawing area DRA. Here, the processing is the same as in FIG. 5 except that the drawing line after the corner cut is not a straight line but an arc. A corner cut by an arc is called an “arc corner cut”.
[0043]
First, the line segment WL1 is determined by specifying the object points OP11 and OP12, and the line segment WL2 is determined by specifying the object points OP13 and OP14. As a result, the coordinates of the auxiliary point Pc3 and the line segments WL1 ′ and WL2 ′ which are extended lines are calculated.
[0044]
Further, a bisector BL having a corner formed by the line segments WL1 ′ and WL2 ′ is obtained, and a straight line perpendicular to the bisector BL and separated from the auxiliary point Pc3 by an arbitrary length Lm is a line segment WL1. Points A and B intersecting 'and WL2' are determined. Furthermore, an arc WL3 having a radius r centered on the point O on the bisector BL is obtained inscribed with the line segments WL1 ′ and WL2 ′ at the points A and B, and the corner is cut off by the arc WL3. Then, the portions of the line segments WL1 ′ and WL2 ′ indicated by the broken lines in the figure are deleted, and the cut-off arc WL3 is drawn as a new drawing line in the drawing area DRA. Points A and B coincide with the end points of the arc WL3.
[0045]
The distance Lm from the auxiliary point Pc3 can be appropriately changed by a mouse operation, whereby the radius r of the arc and the length of the arc WL3, that is, the degree of corner cutting can be visually changed. The coordinate data of the auxiliary point Pc3 is retained even after corner cutting, and the degree of corner cutting can be finely adjusted. Therefore, a natural and easy-to-see drawing line is displayed in the corner portion RCR. In addition, the number of designated object points can be reduced.
[0046]
7 to 9 are diagrams showing a process of “arc corner cutting” shown in FIG. 6. When the corner portion RCR to be cut in the drawing area DRA is designated by the mouse, a new work area WRA is set in the drawing area DRA, and the corner portion RCR is enlarged and displayed (FIG. 7). On the right side of the work area WRA, there are provided a start button STB and a stop button QTB for selecting start and stop of corner cutting, and an end button ETB for ending the processing of the corner portion RCR in the work area WRA. Furthermore, setting buttons SSB and RSB for selecting “straight line corner cutting” or “arc corner cutting” are provided. 7 to 9, the arc setting button SRB is selected.
[0047]
The corner cutting is realized by a click operation of left and right buttons provided on the mouse and a mouse movement operation. Hereinafter, the left button click operation is referred to as a left click, and the right button click operation is referred to as a right click. A mouse pointer MP that moves in response to a mouse operation is displayed on the screen.
[0048]
In the initial screen of FIG. 7, in the work area WRA, line segments WL1, WL1 ′, WL2 and WL2 ′ which are current drawing lines are displayed as solid lines, and auxiliary points Pc3 are displayed as square points. After instructing the start button STB, the mouse pointer MP is moved to the auxiliary point Pc3 and designated by a left click.
[0049]
When the mouse pointer MP is moved toward the lower left in the figure, an arc ARC that coincides with the tip of the mouse pointer MP is displayed with a broken line as shown in FIG. The arc ARC moves while changing its radius r as the mouse pointer MP moves. Thereby, the size of the arc ARC for corner cutting can be adjusted. At this time, the work area WRA shows a message area MRW indicating a numerical value of the radius r that is changed as appropriate. Note that the two end points A and B of the arc ARC are located closer to the auxiliary point Pc than the object point OP12 or the object point OP13. Further, what actually changes with the movement of the mouse pointer MP is the distance Lm from the auxiliary point Pc3, and the radius r is appropriately determined according to the distance Lm.
[0050]
When the left click is executed again in the state shown in FIG. 8, the arc ARC is displayed as a new drawing line WL3 as shown in FIG. 9, and the corners cut off by the corner cut are deleted. At this time, the auxiliary point Pc3 is displayed as it is.
[0051]
If a right click is performed in the state of FIG. 8, corner cutting is interrupted. That is, as shown in FIG. 10, the arc ARC is erased while the drawing line remains in the initial state.
[0052]
As shown in FIGS. 11 and 12, after the arc corner cutting shown in FIG. 9 is performed, the degree of corner cutting, that is, the size of the arc can be finely adjusted. In this case, the auxiliary point Pc3 is designated again to display the arc ARC, the mouse pointer MP is moved outside (FIG. 11) or inside (FIG. 12) the drawing line WL3, and left click is executed. Thereby, the drawing line WL3 is updated to a line including the arc ARC.
[0053]
As described above, since the corner cutting is defined and displayed only by the instruction of the auxiliary point and the mouse operation, the corner cutting processing can be performed very easily. Further, the auxiliary point data is retained after the corner cutting, and the once-defined corner cutting degree can be updated only by the instruction of the auxiliary point and the mouse operation, so that a drawing line matching the operator's image can be easily obtained.
[0054]
Although not shown, in the “straight line corner cutting”, the designation of the auxiliary point and the determination of the straight line by the mouse operation are performed similarly. In this case, a line segment is displayed instead of the arc ARC.
[0055]
13 is a diagram showing a data format of one continuous line including the corner portion TCR (white line WL in FIG. 6), and FIG. 14 is a diagram showing a drawing result based on the survey map data in FIG. In practice, the inner line (broken line) in FIG. 6 is also included in the survey map data, but here, only the outer line (solid line) of the survey map data is shown. The survey map data is expressed as vector data, can be expressed with a small amount of data, and can be easily edited and corrected.
[0056]
The survey map data starts with a continuous line drawing start declaration (Section Polyline). After the definition of the number of vector data, coordinate values that are continuous by the number of data are described, and ends with a description end declaration (End). This coordinate value is indicated by a value in a two-dimensional orthogonal coordinate system set in the drawing area DRA. The coordinate value part is vector data, and the part following the coordinate value, for example, “Start”, “End” and “corner Arc (Lm 2 ) "Is called corner cutting data.
[0057]
“Start” and “End” indicate that the points (object point OP11 and object point OP14) indicated by the vector data described immediately before are the drawing start point and drawing end point, respectively. “Corner” indicates that the point (auxiliary point Pc3) indicated by the vector data described immediately before is the vertex of the corner portion, and “Arc” described subsequently indicates that the corner portion is an arc corner cut. Is a flag that defines “(Lm” described after “Arc” 2 ) ”Is a parameter indicating the degree of corner cutting (hereinafter referred to as a distance parameter), which is the square of the distance Lm from the vertex.
[0058]
The survey map shown in FIG. 14 is a continuous line connecting points in accordance with the description order of the vector data in FIG. In the case of straight corner cutting, it is defined by describing a flag “Cut” instead of “Arc”, and “(Lm)” (FIG. 5) is described as a distance parameter.
[0059]
Thus, since the definition of the corner cutting is defined by the corner cutting data attached after the vector data, the vector data of Pc3 is not changed by the corner cutting processing. Therefore, it is very easy to delete and correct corner cuts.
[0060]
15 to 22 are flowcharts showing a corner cutting process routine executed by the
[0061]
FIG. 15 shows a main routine of the corner cutting process. First, in step S102, the work area WRA is displayed, and an enlarged view of the corner portion selected in the drawing area DRA, that is, the current drawing line and the vertex of the corner portion are initially displayed (FIG. 7).
[0062]
When the end button ETB is instructed (step S104), the work area WRA is erased (step S106), the survey map in the drawing area DRA is displayed again, and the main routine ends.
[0063]
Next, it is determined whether one of the setting buttons SSB or RSB is selected. When the setting button SSB is instructed (step S108), the straight corner cutting is set (step S110), and when the setting button RSB is instructed (step S112), the arc corner cutting is set (step S114). .
[0064]
After the corner cutting type is set, a corner cutting start standby state is entered, and when the start button STB is designated (step S116), the presence or absence of a mouse pointer in the work area WRA is further determined (step S118). If it is, the corner cutting is executed in the corner cutting execution subroutine (step S200). After the start button STB is pressed and the mouse pointer is moved into the work area WRA, when the corner cutting is to be stopped, the mouse pointer is moved outside the work area WRA (step S204, FIG. 16), and the stop button QTB is pressed. (Step S120), the process returns to step S104.
[0065]
FIG. 16 is a flowchart showing details of the corner cutting execution subroutine (step S200).
First, the flag Flag indicating that the corner vertex of the corner to be cut is designated is set to an initial value 0 (step S202). If there is a mouse pointer in the work area WRA (step S204) and a certain mouse event is detected (step S206), the process branches depending on the value “0” or “1” of the flag. Here, the mouse event indicates left click, right click, or movement of the mouse pointer.
[0066]
In the case of Flag = 0, it is determined that the corner vertex to be cut is not designated, and the vertex designation subroutine (step S300) is executed. When Flag = 1, it is determined that the vertex has already been specified, and the display update subroutine (step S400) is executed. When the two branched processes (steps S300 and 400) are completed, the process returns to step S204.
[0067]
FIG. 17 is a flowchart showing details of the vertex designation subroutine (step S300).
When the corner portion vertex is left-clicked (steps S302 and S304), the vector data and the corner cutting data of the start point Ps, the vertex Pc, and the end point Pe forming the corner portion are read from the survey map data of the corner portion. Taking FIG. 13 as an example, the start point Ps is the object point OP11 (x11, y11), the vertex Pc is the auxiliary point Pc3 (xc, yc), and the end point Pe is the object point OP14 (x14, y14). In Pc, the arc corner cutting of the distance parameter Lm is set. Then, Flag is updated to 1 (step S308), and the vertex designation subroutine ends.
[0068]
18 and 19 are flowcharts showing details of the display update subroutine (step S400). This display update subroutine branches according to the mouse event.
[0069]
When movement of the mouse pointer is detected (step S414), a line data calculation subroutine (step S500) for calculating a drawing candidate line to be a drawing line after corner cutting is executed, and the drawing candidate line data is stored in the display memory 20. (FIG. 2) is stored (step S416), and the drawing candidate lines in the work area WRA are updated and displayed (step S418). Thereby, the drawing candidate line can be freely changed with the movement of the mouse pointer (FIG. 8).
[0070]
When a left click is detected (step S402), it is determined that the drawing candidate line currently set in the work area WRA has been determined as a new drawing line, and the survey map data is updated based on the drawing candidate line data. (Step S404) Based on the updated survey map data, a drawing line of the work area WRA is updated and displayed (Step S406, FIG. 9).
[0071]
When a right click is detected (step S408), it is determined that corner cutting has been stopped, the current drawing candidate line (broken line in FIG. 8) is deleted (step S410, FIG. 10), and Flag is set to an initial value of 0. Returned (step S412).
[0072]
20 to 22 are flowcharts showing details of the line data calculation subroutine (step S500), and FIG. 23 is a conceptual diagram of line data calculation.
First, the start point, vertex, and end point for drawing the corner portion C are set to initial values Ps (xs, ys), Pc (xc, yc), and Pe (xe, ye) (step S502). Based on the two-dimensional coordinate values of Ps, Pc, and Pe, the constants a0 and b0 of the bisector BL “y = a0x + b0” of the corner portion C are calculated (step S504), passing through the vertex Pc and the bisector BL Constants a1 and b1 of the orthogonal line OL “y = a1x + b1” orthogonal to are calculated (step S506).
[0073]
Here, it is determined whether or not the position (xm, ym) of the mouse pointer MP and the start point Ps are on the same side with respect to the orthogonal line OL (step S508). The subroutine ends and no drawing candidate line is generated. When they are on the same side, as described below, step S510 and subsequent steps are executed to generate drawing candidate lines.
[0074]
Subsequently, distances Ls, Le, and Lm of the start point Ps, end point Pe, and mouse pointer MS with respect to the orthogonal line OL are calculated (step S510), and it is determined whether or not Lm is greater than Ls or Le (step S510). Step S512). If Lm is larger than Ls or Le, the smaller value of Ls or Le is substituted for Lm (step S514). If Lm is smaller than both Ls and Le, the value is retained as it is.
[0075]
Constants a2 and b2 of the orthogonal line OL ′ “y = a2x + b2” separated by Lm are calculated (step S516), and the coordinates (xa, B) of the intersections A and B of the orthogonal line OL ′ with the line segment Lsc and the line segment Lce are calculated. ya) and (xb, yb) are obtained (step S518). The line segment Lsc is a line segment connecting the start point Ps and the vertex Pc, and the line segment Lce is a line segment connecting the vertex Pc and the end point Pe. The obtained two intersection points A and B are a corner cutting start point and a corner cutting end point. Thus, even if the mouse pointer is moved excessively, the intersections A and B are always located closer to the vertex Pc than the start point Ps and the end point Pe.
[0076]
Subsequently, it is determined whether the corner cutting is “straight line corner cutting” or “arc corner cutting” (step S520), and the processing branches based on the settings by the setting buttons SSB and RSB (FIG. 7), respectively.
[0077]
In the case of “straight line corner cutting”, the intersections A and B obtained in step S518 are set as the direction change points at the time of drawing, and the start point and vertex for drawing the corner portion C set in step S502. And the end point is changed to Ps, A, B, and Pe (step S522). That is, the line segment AB is determined as a drawing candidate line which is a corner line segment (line segment L6 in FIG. 5).
[0078]
In the case of “arc corner cutting”, the center O and the radius r of the inscribed circle of the corner portion C are further obtained (step S524). This inscribed circle is inscribed in line segments Lsc and Lce at intersections A and B, respectively. Further, the drawing direction dirc is determined to be either clockwise or counterclockwise so that the arc is convex toward the vertex Pc (step S526), and drawing is performed in the order of Ps, A, B, and Pe. The setting is changed (step S528). That is, the arc AB (not shown) is determined as a drawing candidate line which is a corner-cut arc (arc WL3 in FIG. 6).
[0079]
The lines determined in steps S522 and S528 are drawing candidate lines, and are indicated by broken lines that change as the mouse pointer MP moves as shown in FIG.
[0080]
【The invention's effect】
As described above, according to the present invention, the manual processing of corner cutting can be processed very efficiently, and the quality of the obtained survey map is high and can be easily corrected.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a display screen in an embodiment of a photogrammetric image processing apparatus according to the present invention.
FIG. 2 is a block diagram showing the overall configuration of a photogrammetric image processing apparatus.
3 is a conceptual diagram showing a format of photographic data stored in the storage medium shown in FIG.
4 is an enlarged view showing a corner portion TCR of the survey map shown in FIG. 1. FIG.
5 is an enlarged view showing a corner portion LCR of the survey map shown in FIG. 1. FIG.
6 is an enlarged view showing a corner portion RCR of the survey map shown in FIG. 1. FIG.
FIG. 7 is a diagram showing a work area set in a drawing area, and is a conceptual diagram showing arc corner cutting processing;
FIG. 8 is a conceptual diagram showing arc corner cutting processing continued from FIG. 7;
FIG. 9 is a conceptual diagram showing arc corner cutting processing continued from FIG. 8;
FIG. 10 is a conceptual diagram showing another part of the arc corner cutting process continued from FIG. 8;
FIG. 11 is a conceptual diagram showing a process for greatly changing the corner cutting degree.
FIG. 12 is a conceptual diagram illustrating a process of changing a corner cutting degree to be small.
FIG. 13 is a diagram showing a format of the survey map data of FIG. 6;
FIG. 14 is a conceptual diagram showing drawing based on the survey map data of FIG. 13;
FIG. 15 is a flowchart showing a main routine of corner cutting processing.
FIG. 16 is a flowchart showing a corner cutting execution subroutine of FIG. 15;
FIG. 17 is a flowchart showing a vertex designation subroutine of FIG. 16;
FIG. 18 is a flowchart showing a part of the display update subroutine of FIG. 16; It is a flowchart which shows another branch process.
FIG. 19 is a flowchart showing another part of the display update subroutine of FIG. 16;
FIG. 20 is a flowchart showing the first part of the line data calculation subroutine in FIG. 19;
FIG. 21 is a flowchart showing a second part of the line data calculation subroutine in FIG. 19;
FIG. 22 is a flowchart showing the last part of the line data calculation subroutine in FIG. 19;
FIG. 23 is a conceptual diagram of line data calculation processing.
[Explanation of symbols]
10 Display device
13 Image storage media
IM1, IM2 images
TCR, LCR, RCR, C Corner
L Road outline
WL white line
DRA drawing area
WRA work area
Claims (11)
前記測量図を生成するための測量図データが、向きの異なる線分を接続する点の座標値であるベクトルデータと、所定の2本の線分によって形成されたコーナ部の頂点近傍の形状を定義する隅切りデータとを含むことを特徴とする写真測量画像処理装置。A plurality of images including a target at a predetermined position in common are defined in the same group, the position of the camera photographed for each image and the inclination of its optical axis are calculated, and a common object point in the image is determined for each image. In the photogrammetric image processing apparatus for designating, calculating the three-dimensional coordinates of the object points, and generating a survey map based on the three-dimensional coordinates,
The survey map data for generating the survey map includes vector data as coordinate values of points connecting line segments having different directions, and a shape near the vertex of a corner portion formed by two predetermined line segments. A photogrammetric image processing apparatus, comprising: corner cutting data to be defined.
前記測量図において、向きの異なる線分を接続する点の座標値であるベクトルデータを定義する第1ステップと、
所定の2本の線分によって形成されたコーナ部の頂点近傍の形状を定義する隅切りデータを定義する第2ステップと
を備えることを特徴とする写真測量画像処理方法。A plurality of images that are provided at a predetermined position and that commonly include a target having a predetermined shape that can output a movement amount and a rotation angle from an initial state are defined in the same group, and the position of the camera that has captured each image and its optical axis Photogrammetric image processing method for calculating the inclination of the object, specifying a common object point in the image for each image, calculating the three-dimensional coordinates of the object point, and generating a survey map based on the three-dimensional coordinates In
In the survey map, a first step of defining vector data that are coordinate values of points connecting line segments having different directions;
A photogrammetric image processing method comprising: a second step of defining corner cutting data for defining a shape near a vertex of a corner portion formed by two predetermined line segments.
前記測量図において、向きの異なる線分を接続する点の座標値であるベクトルデータを定義するベクトルデータ生成ルーチンと、
所定の2本の線分によって形成されたコーナ部の頂点近傍の形状を定義する隅切りデータを定義する隅切りデータ生成ルーチンと
を備えた写真測量画像処理プログラムを格納していることを特徴とする記憶媒体。A plurality of images that are provided at a predetermined position and that commonly include a target having a predetermined shape that can output a movement amount and a rotation angle from an initial state are defined in the same group, and the position of the camera that has captured each image and its optical axis Photogrammetric image processing program for calculating the inclination of the object, specifying a common object point in the image for each image, calculating the three-dimensional coordinates of the object point, and generating a survey map based on the three-dimensional coordinates Because
In the survey map, a vector data generation routine for defining vector data that is a coordinate value of points connecting line segments having different directions;
Storing a photogrammetry image processing program comprising a corner cutting data generating routine for defining corner cutting data for defining a shape near a vertex of a corner portion formed by two predetermined line segments. Storage medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19494799A JP4243386B2 (en) | 1999-07-08 | 1999-07-08 | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19494799A JP4243386B2 (en) | 1999-07-08 | 1999-07-08 | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001021353A JP2001021353A (en) | 2001-01-26 |
JP4243386B2 true JP4243386B2 (en) | 2009-03-25 |
Family
ID=16332984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19494799A Expired - Fee Related JP4243386B2 (en) | 1999-07-08 | 1999-07-08 | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4243386B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4945190B2 (en) * | 2006-08-07 | 2012-06-06 | 株式会社日立ソリューションズ | Linear structure shape data generation device and restoration device |
-
1999
- 1999-07-08 JP JP19494799A patent/JP4243386B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001021353A (en) | 2001-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3831548B2 (en) | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program | |
US5913918A (en) | Automotive navigation apparatus and recording medium storing program therefor | |
US20130057550A1 (en) | Three-dimensional map drawing system | |
US6046745A (en) | Three-dimensional model making device and its method | |
US5864632A (en) | Map editing device for assisting updating of a three-dimensional digital map | |
US7031495B2 (en) | Data authoring device | |
JP3148045B2 (en) | 3D object CG creation device | |
US7397481B2 (en) | Image display method and image display system | |
US6529626B1 (en) | 3D model conversion apparatus and method | |
EP0726543B1 (en) | Image processing method and apparatus therefor | |
JP3266236B2 (en) | Car navigation system | |
JP6884018B6 (en) | Road facility management support device and road facility management support program | |
JP2012073397A (en) | Three-dimentional map display system | |
US5964810A (en) | Map display apparatus | |
JP3798922B2 (en) | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program | |
JP2015108992A (en) | Additional information display system | |
JP2007286715A (en) | Image composition device and image composition program | |
JP4541537B2 (en) | Drawing device | |
JP4243386B2 (en) | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program | |
JP5837841B2 (en) | 3D map display system | |
JP6066066B2 (en) | Stereoscopic image output system | |
JP3820074B2 (en) | Photogrammetry image processing device, photogrammetry method using this photogrammetry image processing device, and recording medium storing photogrammetry image processing program | |
JP2000112342A (en) | Processing method for map information | |
KR100959943B1 (en) | Revision method of picture image based on the three-dimensional model data | |
Jachimski | Video Stereo Digitizer-a small digital Stereophotogrammetric Working Station for the needs of SIT and other application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060621 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |