JP3459620B2 - 写真測量装置および写真測量プログラムを記憶した記憶媒体 - Google Patents
写真測量装置および写真測量プログラムを記憶した記憶媒体Info
- Publication number
- JP3459620B2 JP3459620B2 JP2000214419A JP2000214419A JP3459620B2 JP 3459620 B2 JP3459620 B2 JP 3459620B2 JP 2000214419 A JP2000214419 A JP 2000214419A JP 2000214419 A JP2000214419 A JP 2000214419A JP 3459620 B2 JP3459620 B2 JP 3459620B2
- Authority
- JP
- Japan
- Prior art keywords
- points
- orientation
- combination
- point
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
真測量方法に関し、例えば、デジタル式のカメラを用い
た写真測量装置に関する。
事故調査などの分野で専門家によって行われてきた。写
真測量は、同一の被写体を異なった方向から撮影したス
テレオ写真から被写体の3次元データを計算することに
より行われる。例えば、小型航空機に精密に作られた高
価な専用のカメラを搭載し、これを用いて専用のフィル
ムに被写体が撮影される。被写体は60パーセント程度
オーバーラップさせて複数枚の写真に撮影される。これ
らの写真から熟練技能者がコンパレータなどの高価な精
密機器を使って被写体の写真座標値が測定される。標定
は機械的または光学的な機構を持った実体図化機を用い
て手作業で行ったり、あるいは解析図化機を用いて計算
機処理で行ったりする。これらの標定作業は写真に写っ
ている標定点を計6点程度使って行われる。測定誤差を
小さくするような標定点の取り方は、熟練技能者が試行
錯誤しながら求める。標定から得られたモデルを観測し
て図化機により地形図を作成する。
ザは一部の業者や専門家に限られていた。ところで、写
真測量で得られるデータは被写体の実空間での3次元位
置であるので、写真測量の応用分野は土木や建築などの
他にも可能である。これまでの写真測量は、お金、機
材、熟練技能、多大の労力を必要とするかなり大がかり
な作業であったため、特定の人達しか行うことができな
かった。また、近年IT革命が急速に進展し、一昔前の
大型コンピュータ程度の計算能力を持ったパーソナルコ
ンピュータが一般に使用されるようになってきている。
さらに、パーソナルコンピュータと画像データがやり取
りできる高性能のデジタルカメラも市場に豊富に出回っ
ている。
の人達に写真測量が身近なものになれば、その応用分野
は、あらゆる方面に及ぶと考えられる。例えば、被写体
の3次元データから、容易にコンピュータグラフィック
スを作成することができる。この他に、写真測量により
得た商品のイメージをインターネット上のホームページ
に載せて商取引に利用したり、建造物を精密に測量する
前の予備的な測量に用いたり、または、従来の写真測量
設備を簡略化することによりコストダウンするなど、広
範囲に渡る応用が可能である。そこで、本発明の目的
は、従来は大がかりな設備や高度の熟練技能が必要であ
った写真測量を、近年急激に普及してきたパーソナルコ
ンピュータや汎用デジタルカメラなどを用いて、一般の
実務家やパーソンコンピュータのユーザなどが簡単に行
える写真測量装置を提供することである。
を異なる2方向から撮影した1対のステレオ画像に記録
されている標定点の組合せから、前記ステレオ写真を標
定し、標定基準点の位置の実測値と、標定作業の結果得
られた計算値を比較することにより、最も実測値に近い
計算値が得られたときの標定点の組合せを特定する機能
を備えた写真測量装置に関するものでり、具体的には、
同一の被写体を異なる2方向から撮影した1対のステ
レオ画像において、前記被写体上の写真測量に用いる標
定点を取得する標定点取得手段と、前記取得した標定点
の前記ステレオ画像上での2次元座標値を取得する座標
値取得手段と、前記標定点のうち、少なくとも2点の平
面位置の実測値、および少なくとも3点の高さの実測値
を取得する実測値取得手段と、前記実測値取得手段で取
得した前記平面位置の実測値2つと前記高さの実測値3
つに対応する標定点を含む、少なくとも6つの標定点か
ら構成される前記標定点の組合せを全て作成する、組合
せ作成手段と、前記組合せ作成手段によって作成された
それぞれの組合せに対して、前記組合せに係る標定点の
ステレオ画像上での2次元座標値から、前記組合せに係
る標定点の実空間での3次元座標値の計算値を取得する
計算値取得手段と、前記実測値取得手段で実測値を取得
した標定点に対する、前記取得した実測値と前記取得し
た計算値とから、前記計算値の精度を比較評価する比較
評価手段と、前記組合せ作成手段で作成した前記標定点
の組合せのうち、前記比較評価手段にて計算精度が最も
高くなる組合せを特定する組合せ特定手段と、を備えた
ことを特徴とする写真測量装置を提供することにより前
記目的を達成する。
2方向から撮影した1対のステレオ画像において、前記
被写体上の写真測量に用いる標定点を取得する標定点取
得手段と、前記取得した標定点の前記ステレオ画像上で
の2次元座標値を取得する座標値取得手段と、前記標定
点のうち、少なくとも2点の平面位置の実測値、および
少なくとも3点の高さの実測値を取得する実測値取得手
段と、前記標定点取得手段で取得した標定点は、前記実
測値取得手段にて平面位置の実測値を少なくとも2つ、
高さの実測値を少なくとも3つ取得した標定点を含む第
1の組と、前記第1の組に属さない標定点からなる第2
の組からなり、前記第1の組に属する標定点の総個数と
の合計が少なくとも6つとなるような、前記第2の組に
属する標定点からなる組合せの全てを作成する組合せ作
成手段と、前記組合せ作成手段によって作成されたそれ
ぞれの組合せに対して、前記第1の組に属する全ての標
定点と、前記組合せに係る標定点とのステレオ画像上で
の2次元座標値から、前記第1の組に属する全ての標定
点と前記組合せに係る標定点の実空間での3次元座標値
の計算値を取得する計算値取得手段と、前記実測値取得
手段で実測値を取得した標定点に対する、前記取得した
実測値と前記取得した計算値とから、前記計算値の精度
を比較評価する比較評価手段と、前記比較評価手段に
て、計算精度が最も高くなる第2の組に属する標定点の
組合せを特定する組合せ特定手段と、を備えたことを特
徴とする写真測量装置を提供することにより、前記目的
を達成することにより、前記の目的を達成する。
2方向から撮影した1対のステレオ画像において、前記
被写体上の写真測量に用いる標定点を取得する標定点取
得手段と、前記取得した標定点の前記ステレオ画像上で
の2次元座標値を取得する座標値取得手段と、前記標定
点のうち、少なくとも2点の平面位置の実測値、および
少なくとも3点の高さの実測値を取得する実測値取得手
段と、前記標定点取得手段で取得した標定点は、前記実
測値取得手段にて平面位置の実測値を少なくとも2つ、
高さの実測値を少なくとも3つ取得した前記標定点から
なる第1の組と、前記第1の組に属さない前記標定点か
らなる第2の組からなり、前記第1の組に属する全ての
標定点の総個数との合計が少なくとも6つとなるような
前記第2の組に属する標定点からなる複数の組合せを作
成する組合せ作成手段と、前記組合せ作成手段によって
作成されたそれぞれの組合せに対して、前記第1の組に
属する全ての標定点と、前記組合せに係る標定点とのス
テレオ画像上での2次元座標値から、前記第1の組に属
する全ての標定点と前記組合せに係る標定点の実空間で
の3次元座標値の計算値を取得する計算値取得手段と、
前記実測値取得手段にて取得した前記第1の組に属する
標定点の位置の実測値と、前記計算値取得手段にて取得
した前記第1の組に属する標定点の位置の計算値から前
記計算値が収束したかどうかを判断する収束判断手段
と、前記収束判断手段で前記計算値が収束したと判断さ
れるまで、遺伝的アルゴリズムにおける遺伝的操作によ
って、前記第2の組から作成された標定点の組合せを更
新する更新手段と、前記収束判断手段で、前記計算値が
収束したと判断されたとき、前記第2の組に属する標定
点の組合せを特定する特定手段と、を備えたことを特徴
とする写真測量装置を提供することにより、前記の目的
を達成する。
2方向から撮影した1対のステレオ画像において、前記
被写体上の写真測量に用いる標定点を取得し、前記取得
した標定点の前記ステレオ画像上での2次元座標値を取
得し、前記標定点のうち、少なくとも2点の平面位置の
実測値、および少なくとも3点の高さの実測値を取得
し、前記取得した前記平面位置の実測値2つと前記高さ
の実測値3つに対応する標定点を含む、少なくとも6つ
の標定点から構成される前記標定点の組合せを全て作成
し、前記作成されたそれぞれの組合せに対して、前記組
合せに係る標定点のステレオ画像上での2次元座標値か
ら、前記組合せに係る標定点の実空間での3次元座標値
の計算値を取得し、前記実測値を取得した標定点に対す
る、前記取得した実測値と前記取得した計算値とから、
前記計算値の精度を比較評価し、前記比較評価した結
果、計算精度が最も高くなる前記標定点の組合せを特定
するように、コンピュータを制御するプログラムを記憶
した記憶媒体を提供することにより、前記目的を達成す
る。
2方向から撮影した1対のステレオ画像において、前記
被写体上の写真測量に用いる標定点を取得し、前記取得
した標定点の前記ステレオ画像上での2次元座標値を取
得し、前記標定点のうち、少なくとも2点の平面位置の
実測値、および少なくとも3点の高さの実測値を取得
し、前記標定点は、前記平面位置の実測値を少なくとも
2つ、高さの実測値を少なくとも3つ取得した標定点を
含む第1の組と、前記第1の組に属さない標定点からな
る第2の組からなり、前記第1の組に属する標定点の総
個数との合計が少なくとも6つとなるような、前記第2
の組に属する標定点からなる組合せの全てを作成し、前
記作成されたそれぞれの組合せに対して、前記第1の組
に属する全ての標定点と、前記組合せに係る標定点との
ステレオ画像上での2次元座標値から、前記第1の組に
属する全ての標定点と前記組合せに係る標定点の実空間
での3次元座標値の計算値を取得し、前記実測値を取得
した標定点に対する、前記取得した実測値と前記取得し
た計算値とから、前記計算値の精度を比較評価し、前記
比較評価した結果、計算精度が最も高くなる第2の組に
属する標定点の組合せを特定するように、コンピュータ
を制御するプログラムを記憶した記憶媒体を提供するこ
とにより、前記目的を達成する。
2方向から撮影した1対のステレオ画像において、前記
被写体上の写真測量に用いる標定点を取得し、前記取得
した標定点の前記ステレオ画像上での2次元座標値を取
得し、前記標定点のうち、少なくとも2点の平面位置の
実測値、および少なくとも3点の高さの実測値を取得
し、前記標定点は、前記平面位置の実測値を少なくとも
2つ、高さの実測値を少なくとも3つ取得した標定点か
らなる第1の組と、前記第1の組に属さない標定点から
なる第2の組からなり、前記第1の組に属する標定点の
個数との合計が少なくとも6つとなるような前記第2の
組に属する標定点からなる複数の組合せを作成し、前記
作成されたそれぞれの組合せに対して、前記第1の組に
属する全ての標定点と、前記組合せに係る標定点とのス
テレオ画像上での2次元座標値から、前記第1の組に属
する全ての標定点と前記組合せに係る標定点の実空間で
の3次元座標値の計算値を取得し、前記第1の組に属す
る標定点の位置の前記実測値と前記計算値とから、前記
計算値が収束したかどうかを判断し、前記計算値が収束
したと判断されるまで、遺伝的アルゴリズムにおける遺
伝的操作によって、前記第2の組から作成された標定点
の組合せを更新し、前記計算値が収束したと判断された
とき、前記第2の組に属する標定点の組合せを特定する
ように、コンピュータを制御するプログラムを記憶した
記憶媒体を提供することにより、前記目的を達成する。
は、標定基準点、観測点および、これ以外の標定点から
なり、標定基準点と観測点をまとめて固定パスポイント
と呼び、前記固定パスポイント以外の標定点を単にパス
ポイントと呼ぶ。標定基準点とは、あらかじめ地上での
3次元座標値を実測してある点であり、ステレオ写真を
標定をする際に基準となる標定点である。観測点とは、
写真測量によって実空間での3次元座標値を求めたい標
定点である。パスポイントは標定の精度を向上させるた
めに用いられる標定点である。標定点のステレオ写真上
の2次元座標値から実空間での3次元座標値を求める手
順は、相互標定と絶対標定からなる。相互標定と絶対標
定をまとめて標定と呼ぶ。絶対標定は外部標定と呼ばれ
ることもある。以上のように用語を定義して、以下に本
発明の好適の実施例について詳細に説明する。 (実施例1)図1は本発明に係る写真測量装置の一例を
パーソナルコンピュータを用いて構成したものである。
このシステムは、各種プログラムや画像データなどが記
憶された固定ディスク6、プログラムや計算値などを一
時的に記憶する記憶部10、ステレオ写真の画像データ
をシステムに読み込む画像読取部2、入出力画面やステ
レオ写真などを表示する表示部3、各種のデータやコマ
ンドなどを入力するためのキーボード4およびマウス5
が中央処理部1に接続されて構成されている。
成されている。画像読取部2はステレオ写真の画像デー
タを読み取る部分である。本実施例では画像読取部2に
デジタルカメラを接続して、デジタルカメラのメモリか
ら中央処理部1にステレオ写真の画像データを読み込ん
だ。この他に、スキャナに接続して、画像データを読み
込んだり、または、ネットワークを経由して画像データ
を読み込んだり、あるいは、画像データを記憶してある
フロッピーディスクなどから画像データを読み込むこと
もできる。読み込んだデータは固定ディスク6に画像デ
ータ9として記憶する。
み込まれたステレオ写真の画像データ9、画像処理プロ
グラム7および標定プログラム8などが記憶されてい
る。画像処理プログラム7は、画像データ7に係るステ
レオ写真を表示部3に表示し、ステレオ写真上の任意の
標定点の2次元座標値を表示することができる。標定プ
ログラム8は、前記画像処理プログラム7を用いて取得
した標定点の2次元座標値から実空間における標定点の
3次元座標値を計算するプログラムである。記憶部10
は、ROM(リード・オンリ・メモリ)とRAM(ラン
ダム・アクセス・メモリ)などから構成されている。R
OMにはコンピュータを起動するためのプログラムや制
御部1の動作手順を規定するプログラムなどが記憶され
ている。RAMは画像処理プログラム7や、標定プログ
ラム8がロードされたり、計算値を一時的に記憶したり
などする。
ているが、これは液晶ディスプレイやプラズマディスプ
レイなどで構成されても良い。ユーザにより画像処理プ
ログラム7が起動されているときは、画像処理画面が表
示され、画像処理プログラム7を介して画像データ9に
係るステレオ写真を表示することができる。また、ユー
ザにより標定プログラム8が起動されているときは、標
定に必要な標定点の2次元座標値などのデータを入力す
る図3に示した入力画面31や標定の結果得られた標定
点の実空間での3次元座標値を出力する図4に示した出
力画面38が表示される。キーボード4はコマンドを入
力して画像処理プログラム7や標定プログラム8を起動
または終了させたり、または、標定プログラム8の入力
画面31にパスポイントの座標値などの必要なデータを
入力したりなどするのに使用する。
上で前後左右に移動すると、その移動量に比例して表示
部3に表示されたポインタ11が移動する。表示部3に
表示された画面上の所定の箇所をポインタ11で指しな
がら、クリックボタンをクリックすることにより様々な
コマンドを実行するなどできる。例えば、ポインタ11
の先端を入力画面31の実行ボタン25の上に置きクリ
ックすると標定作業が実行され、また、ポインタ11の
先端を固定パスポイント入力欄26の任意の欄に置きク
リックするとその欄にカーソルが表示されて数値を入力
できる。マウス5の他にタブレットやプロッタなどを使
用しても良い。また、このシステム構成では、画像デー
タ9、画像処理プログラム7および標定プログラム8を
固定ディスク6に記憶したが、これらは、固定ディスク
6に記憶しないで、ネットワーク上の記憶媒体に分散し
て配置し、それらをネットワークを介して接続したり、
画像読取部2に接続したデジタルカメラなどから直接画
像データを画像処理プログラム7でアクセスしても良
い。
テレオ写真の標定作業について説明する。この標定作業
は大きく分けて3つのステップからなる。第1のステッ
プは、ステレオ写真を撮影するステップである。良質の
標定結果を得るには、良質の写真を撮影することが必要
である。第2のステップは、ステレオ写真の標定点の写
真上の2次元座標値を取得するステップである。これは
画像処理プログラム7を用いて行う。第3のステップ
は、前記標定点の2次元座標から実空間におけるこれら
の3次元座標値を算出するステップである。これは標定
プログラム8を用いて行う。
写真の模式図である。図2(a)は左側の写真で、図2
(b)は右側の写真である。図中にはP1、T2やK3
などの記号で表した標定点が示してある。T1、T2お
よびT3は標定基準点、K1からK4までは観測点、P
1からP9まではパスポイントである。標定基準点は位
置の平面座標が既知の点が2点以上、高さが既知の点が
3点以上必要である。平面位置と高さの両方が既知の点
であれば3点あれば良い。このステレオ写真では出入口
の外に突き出たコンクリートの部分で標定基準点を取っ
た。標定基準点はこのように地面と平行な直角三角形を
なす3点や、窓枠の隅のように地面と平行な辺を有し鉛
直面内にある直角三角形をなす3点を選ぶと位置の計測
が行いやすい。
8メートル、T1T3間の長さは0.8メートルであっ
た。辺T1T2と辺T1T3は直角で、面T1T2T3
はほぼ水平なので、T1を原点とし、T1T2方向にX
軸を、T1T3方向にY軸を、垂直方向にZ軸を取る
と、T1、T2、T3の座標はそれぞれ、T1(0、
0、0)、T2(1.8、0、0)、T3(0、0.
8、0)となる。これらの実測による座標値を測地座標
値と呼ぶことにする。このように、標定基準点を取るこ
とができる被写体を必ず左右両方の写真に写し込んでお
く。標定基準点を取りにくい場合は、例えば直角三角形
の定規を設置するなど、あらかじめ目印になるもの(タ
ーゲットと呼ばれることがある)を設置しておく。ま
た、標定基準点は写真上で認識が容易な点を選ぶ。K1
からK4までの点はこの写真測量で実空間での3次元座
標値を算出したい点、即ち観測点である。今の場合、K
1からK4までの4点で張られる壁の実空間内での位置
を得たいのであるが、辺K1K2の長さや辺K1K4の
高さなどが巻き尺などの物理的手段によって実測するこ
とが困難であるので、これらの値をステレオ写真を標定
することにより計算するのである。つまり、T1、T
2、T3などの実測が容易な標定基準点とK3、K4な
どの実測が困難な観測点を同一の写真に写し込んでお
き、これらの写真上での相対位置と標定基準点の位置の
実測値から観測点の位置を計算するのである。観測点は
左右両方の写真に写し込んでおく。P1からP9までは
パスポイントである。これらの点は、標定の計算精度を
向上させるために便宜的に取った標定点である。これに
ついては後に述べる。この他にステレオ写真を撮影する
際の注意点としては以下の2点がある。ズームを使用す
るとカメラの焦点距離が変化してしまうので、ズームは
使用しない。観測したい被写体から離れすぎると、標定
精度が落ちるので、なるべく近い距離から撮影する。
ディスク6に転送され、画像データ9として記憶されて
いるものとする。ユーザがキーボード4からコマンドを
入力するか、または、表示部3に表示された画像処理プ
ログラム7を起動するための図示しないアイコンをマウ
ス5を用いてクリックすることにより、固定ディスク6
に格納されている画像処理プログラム7が起動される。
画像処理プログラム7の起動後、固定ディスクに記憶し
てある画像データ9のうち、ステレオ写真の左写真のフ
ァイルを開くと、図2(a)に示した左写真が表示部3
に表示され、右写真のファイルを開くと図2(b)に示
した右写真が表示部3に表示される。マウス5を机の上
で前後左右に動かすと、ステレオ写真上に表示されてい
るポインタ11が、マウスの動きに比例して、前後左右
に移動する。
領域の上には座標表示欄12が表示さている。座標表示
欄12には、写真左上の隅を原点として水平右側にX
軸、垂直下向きにY軸として、ポインタの指し示す箇所
の座標がピクセル単位で表示される。このように画像処
理プログラム上で任意に設定された座標系を機械座系と
呼ぶことにする。以降の作業は左側写真と右側写真のそ
れぞれに対して行い、K2やP4などの標定点は、左右
の写真の被写体上で対応する点である。T1からT3ま
での標定基準点と、K1からK4までの観測点は、既に
決まっているので、次にパスポイントをステレオ写真上
に取る。パスポイントはステレオ写真の被写界深度の精
度を向上させるための標定点である。
写真の4隅付近で取る。ただし、固定パスポイントが4
隅付近にあるときは採用しない。(2)写真の4隅の中
点付近に取る。ただし、固定パスポイントが4隅の中点
付近にあるときは採用しない。(3)前記(1)、
(2)で採用したパスポイントを含め、10点程度を画
面全体にバランス良く取得する。パスポイントは左右の
両方の写真に得っている必要がある。以上の方針に基づ
いて、本実施例では図2の様に、P1からP9までの計
9点を取った。P1からP4までは、建物の角や窓枠、
P5は焼却炉の煙突、P6は電柱である。P7からP9
までは、地面に落ちている石である。このようにパスポ
イントは自然にあるものを利用しても良いし、目印にな
るものを置いても良い。以上の要領でステレオ写真上に
標定基準点、観測点およびパスポイントを取ったら次に
それらの機械座標値を計測する。マウス5を机の上で前
後左右に動かすことにより、ステレオ写真上に表示され
ているポインタ11の矢印の先端を標定点の上に持って
くる。すると座標表示欄12にポインタ11で指し示し
ている標定点の機械座標値が表示されるので、これを紙
などに書き留めておく。機械座標値を読み取ろうとする
標定点付近を拡大すると、より正確に計測することがで
きる。この作業を繰り返すことにより、左右の写真のそ
れぞれについて、T1からT3まで、K1からK4ま
で、P1からP9までの全標定点の機械座標値を紙など
に記録する。以上の作業が終了したら、ユーザがキーボ
ード4にて終了コマンドを入力するか、またはマウス5
にて図示しない終了ボタンをクリックすることにより画
像処理プログラム7は終了される。本実施例では、画像
処理プログラム7は汎用品を使用した。
は、表示部3に表示された標定プログラム8を起動する
ための図示しないアイコンをマウス5を用いてクリック
することにより、固定ディスク6に格納されている標定
プログラム8が起動される。標定プログラム8が起動す
ると表示部3に図3に示した入力画面31が表示され
る。入力画面31は、ステレオ写真を撮影したデジタル
カメラに関するデータを入力するカメラデータ入力欄2
3、固定パスポイント入力欄26、パスポイント入力欄
27、平面基準点入力欄28、標高座標入力欄29およ
び距離を計測するための始点と終点を入力する距離の表
示入力欄30および実行ボタン25から構成されてい
る。これらの入力欄にはキーボード4を用いて数値を入
力する。
真を撮影したデジタルカメラの焦点距離、CCDの画素
サイズ、CCD感光面の横方向ピクセル数、同縦方向ピ
クセル数を入力する。これらの値は、カメラに添付され
た仕様書に記載してある。また、前記CCD画素のサイ
ズはユニットセルサイズとも呼ばれる。本実施例では、
カメラの焦点距離は6.5ミリメートル、CCDの画素
サイズは0.0039ミリメートル、CCD感光面の横
方向のピクセル数1600個、縦方向のピクセル数は1
200個であった。固定パスポイント入力欄26には、
標定基準点と観測点の点名とそれに対応する機械座標値
を入力する。点名は他の点と区別できれば、任意に付け
ても良い。第2のステップで記録した左右両方の写真の
標定基準点T1からT3、観測点K1からK4までのピ
クセル単位の機械座標値を入力する。入力順序は任意の
順序で良い。入力欄上部のXLとYLの表示はそれぞれ
左写真のX座標値とY座標値を表し、XRとYRはそれ
ぞれ右写真のX座標値とY座標値を表す。データ数の欄
には入力するデータ数を入力する。本実施例ではデータ
数は7である。
ップで記録したP1からP9までのパスポイントについ
て、左右両方の写真の点名とそれに対応する機械座標値
を入力する。入力要領は固定パスポイントと同様であ
る。データ数の欄には入力するデータ数を入力する。本
実施例ではデータ数は9であった。平面基準点入力欄2
8および標高基準点入力欄29には、標定基準点の実際
に測定した座標値をメートル単位で入力する。平面基準
点とは標定基準点のうち水平面内での測地座標がわかっ
ているものであり、標高基準点とは標定基準点のうち高
さの測地座標がわかっているものである。なお、本実施
例に係る写真測量装置では座標値の単位にメートルを採
用しているが、これに限るものではなく、センチメート
ルやフィートなどの単位を採用してシステムを構成して
も良い。また、ユーザが単位を選択できるようにシステ
ムを構成しても良い。第1のステップで述べたように、
標定基準点の実測による座標値はそれぞれT1(0、
0、0)、T2(1.8、0、0)、T3(0、0.
8、0)である。これらの各々の標定基準点は水平面内
での位置と高さの両方が分かっているので、これらの標
定点は平面基準点であると同時に標高基準点でもある。
ゆえに標定基準点としてこの3点を採用することにより
標定を行うことができる。
基準点のX座標値とY座標値を入力する。T2のX座標
値が1.8、T3のY座標値が0.8であり、他の値は
0である。標高基準点入力欄29には各標定基準点のZ
座標値を入力する。この場合は全て0である。即ちT
1、T2およびT3の3点で張られる平面を高さの基準
としている。距離の表示欄30には、標定終了後に距離
を求めたい観測点の始点と終点を入力する。例えば始点
としてK1、終点としてK4を入力したとすると、標定
終了後にK1−K4間の距離が計算され、図4の出力画
面38の距離表示欄37に表示される。以上で入力欄3
1の入力を終える。
を実行ボタン25の上に置きマウス5のクリックボタン
をクリックすると、標定プログラム8により標定が行わ
れ、図4に示した出力画面38が表示される。出力画面
38は絶対座標値出力欄36と距離の表示欄37で構成
される。絶対座標値とは、標定の結果得られた標定点の
実空間での3次元座標値の計算値のことである。絶対座
標値は対地座標値とか地上座標値などとも呼ばれること
がある。絶対座標値出力欄36の点名の欄には標定に使
用された標定点の点名が表示され、右側の欄には対応す
る点の絶対座標値がメートル単位で表示される。
XG、YGおよびZGはそれぞれ絶対座標値のX、Yお
よびZ成分を表す。固定パスポイント即ち、標定基準点
と観測点については、全ての点の絶対座標値が表示さ
れ、パスポイントについては、標定に使用したパスポイ
ントの絶対座標値のみ表示する。これは、標定プログラ
ム8が標定精度が一番高くなるパスポイントの組合せを
探索するため、この組合せから漏れたパスポイントは計
算されないためである。距離の表示欄37には、入力画
面31の距離の表示欄30の始点で指定された観測点と
終点で指定された観測点間の距離をピタゴラスの定理に
より計算してメートル単位で表示する。
る。標定プログラム8は大きく分けて、表示部3に入力
画面31、出力画面38を表示してデータの入力、標定
結果の出力をする入出力モジュールと、標定点の写真座
標値を計算する内部標定モジュールと、パスポイントの
組合せを作る組合せ作成モジュールと、左右の写真の被
写体に対する傾きを求める相互標定モジュールと、標定
点の実空間での3次元座標値を求める絶対標定モジュー
ルと、標定結果を評価する評価モジュールなどから構成
されている。入出力モジュールは表示部3に入力画面3
1を表示し、ユーザに固定パスポイントやパスポイント
などの標定に必要なデータの入力を受け付ける。内部標
定モジュールは実行ボタン25がクリックされると、入
出力画面31で入力された各種データは内部標定モジュ
ールへ渡される。また、入出力モジュールは表示部3に
出力画面38を表示し、標定の結果得られた値を評価モ
ジュールから受け取り表示する。内部標定モジュールは
ステレオ写真における座標系を機械座標系から写真座標
系に変換し、標定点の機械座標値を写真座標値に変換す
る。写真座標系とは写真の中心を原点とした座標系のこ
とである。通常この変換はアフィン変換やヘルマート変
換などにより行う。本実施例では写真の4隅の機械座標
値と写真座標値からアフィン変換式の係数を求め、この
係数を用いて全ての標定点の座標値を変換した。
例ではCCD感光面の中心を原点18として、右方向に
X軸を、上方向にY軸を取り、このCCD感光面上での
標定点の座標値を写真座標値とする。単位はミリメート
ルである。CCD感光面の横方向の長さは1600ピク
セル×0.0039ミリメートル=6.24ミリメート
ルである。同様にして縦方向の長さは2.68ミリメー
トルである。よって、写真右上の点41の写真座標値は
(3.12、2.34)である。図5(a)は機械座標
系を表しており、写真右上の点40の機械座標値はピク
セル単位で(1600、0)である。このようにして、
写真の4隅の機械座標値と、写真座標値を求めると、ア
フィン変換式の係数を求めることができる。次に、この
アフィン変換式を用いて、全ての標定点、即ち、T1か
らT3までの標定基準点と、K1からK4までの観測点
と、P1からP9までのパスポイントの機械座標値を写
真座標値に変換する。以降の標定作業は内部標定で得ら
れた写真座標値を用いて行う。
ての組合せを重複なく網羅的に作成する。例えばパスポ
イントをP1、P2、P3の3点のみとすると、組合せ
の長さが1であるときは、パスポイントの選び方は、P
1、P2、P3の3通りであり、組合せの長さが2であ
る組合せは(P1、P2)、(P1、P3)、(P2、
P3)の3通りの組合せがあり、組合せの長さが3であ
る組合せは(P1、P2、P3)の1通りがある。この
モジュールはこのように全ての組合せの長さに渡って、
パスポイントの組合せを漏れなくかつ重複なく作成す
る。組合せの長さとは、組合せに係るパスポイントの個
数のことである。ただし、絶対標定を行うには6点以上
の標定点が必要なので、固定パスポイントおよびパスポ
イントの総個数が6個以上になるような組合せの長さに
ついてパスポイントの組合せを生成する。例えば、固定
パスポイントの個数が4個のときは、パスポイントの組
合せは、組合せの長さが2以上のものについて作成す
る。
と前記組合せで部で組合されたパスポイントを用いて、
相互標定を行う。例えば、組合せモジュールで(P2、
P4、P6)が組合されたとすると、(T1、T2、T
3、K1、K2、K3、K4、P2、P4、P6)の組
合せに係る標定点を用いて相互標定を行う。相互標定と
は、左右のステレオ写真がそれぞれ持っているX軸、Y
軸およびZ軸の3つの軸の回りのオイラー角ω1、φ
1、κ1およびω2、φ2、κ2などの標定要素を求
め、左右の写真の相対的な傾きや位置関係を求めること
である。本実施例では、共面条件式を用い、最小二乗法
によって前記標定要素の最確値を求めた。相互標定によ
りステレオ写真を撮ったときの左右の写真の相対的な傾
きを求めると、これにより、被写体と相似な立体モデル
を作ることができる。そして、前記立体モデル上での全
ての固定パスポイントと前記組合せに係るパスポイント
の座標値、即ち、モデル座標値が得られる。共面条件式
の代わりに縦視差方程式を用いても良い。
まった標定点のモデル座標値から、標定点の実空間での
3次元座標値即ち、絶対座標値を求める。前記相互標定
で得られた被写体に相似な立体モデルは、被写体に対し
て3つの軸の回りにオイラー角Ω、Ф、Кだけ回転して
おり、また、その立体モデルの被写体に対する縮尺は不
明である。絶対標定とは、被写体と立体モデルの回転角
を求め、かつ縮尺を求めることである。これらの標定要
素を求めると、被写体と等しい実体モデルを作ることが
できる。絶対標定が終わると、標定点の絶対座標値が求
まる。本実施例では、最小二乗法を用いて前記標定要素
の最確値を求めた。
と絶対座標値との残差を求める。本実施例では標定基準
点K1、K2およびK3の測地座標値と絶対座標値の差
絶対値を全て加えたものとする。例えば、K1の測地座
標値は(0、0、0)であるから、K1の絶対座標値が
(X1、Y2、Z1)とすると、K1についての残差は
|0−X1|+|0−Y1|+|0−Z1|とな。この
計算をK2、K3に対しても行い、これらの値を全て加
えたのを残差とする。この残差が小さいものほど標定の
精度が高い。また、評価モジュールは前記残差をあらか
じめ設定した設定値と比較し、残差が設定値よりも小さ
い場合は、前記残差で設定値を更新し、このときのパス
ポイントの組合せと各固定パスポイントと各パスポイン
トの絶対座標値を記憶する機能も持っている。さらに、
評価モジュールはパスポイントの全ての組合せを尽くし
たかどうかについても判断する。評価モジュールは前述
の通り残差の最小値を更新した後、パスポイントの全て
の組合せについて標定がなされたかどうか判断する。組
合せが尽くされている場合は、前記記憶した固定パスポ
イントとパスポイントの絶対座標値(標定の結果得られ
た、実空間の3次元座標値の計算値)を入出力モジュー
ルに渡す。また、パスポイントの全ての組合せを尽くし
ていないと判断したときは、組合せ作成モジュールにパ
スポイントの新たな組合せを作るように促す。なお、本
実施例では各標定基準点の測地座標値と絶対座標値の各
成分の差の絶対値を求め、これらを全て加えたものを残
差としたが、残差はこれに限るものではなく、他の方法
で定義することもできる。例えば、標定基準点の実際の
位置と計算上の位置の距離を全ての標定基準点について
加えたもを残差としても良いし、前記距離を単に全ての
標定基準点について足すのではなく、何らかの方法で重
み付けして加えたものを残差としても良い。このように
いろいろな方法で残差を定義することができる。
の動作を図6のフローチャートを参照しながら説明す
る。ステップ1およびステップ2の処理はユーザが行
い。ステップ3からステップ11までの処理は標定プロ
グラム8に従ってコンピュータが自動的に行う。画像処
理プログラム7を介して固定パスポイントとパスポイン
トの機械座標値を取得する(ステップ1)。標定プログ
ラム8を起動し、入力画面31から標定に必要なデータ
を入力する(ステップ2)。ステレオ写真を内部標定し
て固定パスポイントとパスポイントの機械座標値を写真
座標値に変換する(ステップ3)。パスポイントの組合
せを作成する(ステップ4)。固定パスポイントと前記
の組合せに係るパスポイントからステレオ写真を相互標
定して、固定パスポイントと前記組合せに係るパスポイ
ントの写真座標値をモデル座標値に変換する(ステップ
5)。ステレオ写真を絶対標定して前記モデル座標値を
絶対座標値に変換する(ステップ6)。
残差を求める(ステップ7)。前記残差が設定値より小
さいなら(ステップ8:Y)、前記残差をもって新たな
設定値とし、このときのパスポイントの組合せと固定パ
スポイントと前記組合せに係るパスポイントの絶対座標
値を記憶する(ステップ9)。前記残差が設定値より大
きい場合(ステップ8:N)、またはステップ9を終え
た後、全てのパスポイントの組合せについて標定したか
どうか判断し(ステップ10)、全ての組合せについて
標定を終えた場合は(ステップ10:Y)、残差を最小
とするパスポイントの組合せに係る標定結果を出力画面
38に表示して終了する。パスポイントの全ての組合せ
については標定をしていない場合は(ステップ10:
N)、ステップ4に戻り、パスポイントの組合せを更新
する。以下、この動作をパスポイントの全ての組合せに
ついて標定するまで繰り返す。以上の手順でパスポイン
トの全ての組合せについて標定してそれぞれ設定値と比
較することにより、最も精度の高くなるようなパスポイ
ントの組合せで標定することができる。
行撮影によりステレオ写真を撮影し、本実施例に示した
方法で解析した実験結果である。観測点K1からK4ま
での各点間の距離の実測値と標定結果を比較している。
K3とK4の間の実際の距離が1.89メートルである
のに対し、標定結果が約1.97メートルとなり、実際
の距離より約4.4パーセント長くなった他は、誤差が
±0.2パーセント程度に収まっている。
イントの全てを一括して内部標定した後、パスポイント
の組合せを作成したが、例えば、パスポイントを組合せ
てから固定パスポイントと前記組合せに係るパスポイン
トを内部標定する構成にしても良いし、または、パスポ
イントの組合せをあらかじめ全て作成しておき、これら
の各々の組合せについて標定する構成にするなどのいろ
いろなバリエーションが考えられる。パスポイントの全
ての組合せについて標定し、その中から最適なものを求
める標定方法は全て本発明の範疇に入る。また、本実施
例では、ステレオ写真の固定パスポイントと、パスポイ
ントの機械座標値を得る画像処理プログラム7と、この
ステレオ写真の標定を行う標定プログラム8とを別のプ
ログラムとしたが、これらを一体化し、例えば、表示装
置3に表示されたステレオ写真の固定パスポイントと、
パスポイントにポインタ11を置いてクリックするだけ
で、これらの機械座標値を自動的に取得し、標定を行う
構成にしても良い。また、標定プログラム8は、入力画
面31と出力画面38を汎用の表計算プログラムを用い
て作成し、計算手順をマクロを用いて記述することもで
きるし、特定の言語を用いて全てのコードを記述しても
良い。または、標定プログラム8は、固定ディスク6に
記憶したが、これは、ROM、メモリカード、CDRO
M、磁気テープ、光磁気ディスクなど他の記憶媒体に記
憶しても良い。また、中央処理装置1、画像読み取り部
2、画像データ9、画像処理プログラム7、標定プログ
ラム8、などはそれぞれ地理的に分散して存在し、それ
らをネットワークを介して接続しても良い。前記ネット
ワークはインターネット、LAN(ローカル・エリア・
ネットワーク)、WAN(ワイド・エリア・ネットワー
ク)や、パソコン通信ネットワークまたは衛星通信を介
したネットワークなどでも良い。
しを用いることにより、パスポイントの全ての組合せを
作成した。このような動作をする関数としてComb
(i、j)関数作成した。この関数は図8のステップ2
5に示したように標定プログラム8に組み込んで使用す
る。以下、Comb(i、j)関数について説明する。
Comb(i、j)関数は再帰的呼び出しを行って、パ
スポイントの組合せを作成し、固定パスポイントと組合
せに係るパスポイントから標定を行う。i、jはパラメ
ータで、jは自身を再帰呼び出しした回数をカウントす
る。以下、Nはパスポイントの総個数、Lは組合せの長
さである。Lは1からNまでの値を取る。Comb
(i、j)関数は自身を再帰的に呼び出すので、区別の
ために、Comb(i、j)関数から再帰的呼び出しを
されたComb(i、j)関数をComb2(i、j)
とし、Comb2(i、j)関数からさらに、再帰的呼
び出しをされたComb(i、j)関数をComb3
(i、j)などと表記することにする。
の動作について説明する。図8は、Comb(i、j)
関数を用いた標定手順を表すフローチャートである。ス
テップ20からステップ22までは図6のフローチャー
トのステップ1からステップ3までと同じである。ステ
レオ写真の固定パスポイントおよびパスポイントの機械
座標値を画像処理プログラム7により計測して記録する
(ステップ20)。本実施例では実施例1と同様に固定
パスポイントをT1からT3、K1からK4までの7
個、パスポイントをP1からP9までの9個取った。し
かし、ここでは、説明を簡単化するためP1からP4ま
での4個のパスポイントを用いて標定手順を説明する
置3に表示された入力画面31からパスポイントの機械
座標値などを入力する(ステップ21)。この入力画面
31とステップ25で表示される出力画面38は実施例
1の入力画面31と出力画面38と同じである。入力画
面31で必要なデータを入力した後、実行ボタン25を
クリックすると、以降の処理は標定プログラム8によっ
て自動的に行われる。実行ボタンがクリックされると、
まず、内部標定を行いT1からT3、K1からK4まで
全ての固定パスポイント、およびP1からP4までの全
てのパスポイントの機械座標値をアフィン変換を用いて
写真座標値に変換する(ステップ22)。
に、パラメータiとjの値を0に初期化し(ステップ2
4)、Comb(i、j)関数を実行する(ステップ2
5)。ステップ24とステップ25はループをなす。L
の値は1から1回ループを経る毎に1ずつ加算され(ス
テップ27)、Lの値がNになるまで(ステップ26)
繰り返される。Lは組合せの長さを表し、Lが1のとき
は、ステップ24のComb(i、j)関数により組合
せの長さが1のパスポイントの全ての組合せについて標
定し、Lが2のときは、ステップ24のComb(i、
j)関数により組合せの長さが2のパスポイントの全て
の組合せについて標定し、以下同様にして全ての組合せ
の長さに渡って標定する。
下の通りである。Comb(i、j)関数は4個のパス
ポイントP1、P2、P3、P4から標定に使用するパ
スポイントの組合せ(p1、・・・、pL)を作成し、
(T1、T2、T3、K1、K2、K3、K4、p1、
・・・、pL)からなる固定パスポイントとパスポイン
トについて標定する。以降T1、T2、T3、K1、K
2、K3、K4は、T1〜K4と表記する。組合せの長
さが1、即ちL=1の場合、標定は(T1〜K4、p
1)の組合せで行われ、p1にP1からP4までの値を
代入することにより、組合せの長さが1の場合の全ての
パスポイントの組合せについて標定する。組合せの長さ
が2、即ちL=2のときは、標定は(T1〜K4、p
1、p2)で行われ、p1、p2にP1からP4までの
値を代入することにより、組合せの長さが2の場合の全
ての組合せについて標定する。以降同様に組合せの長さ
が3のときは、(T1〜K4、p1、p2、p3)で標
定し、組合せの長さが4のときは(T1〜K4、p1、
p2、p3、p4)で標定する。
すフローチャートである。kはパラメータである。kが
iから1ずつ加算されながら(ステップ39)、N−L
+jに達するまで(ステップ38)、ステップ31から
ステップ37までを繰り返す。L=1即ち、組合せの長
さが1のとき、Comb(i、j)関数は以下のように
動作する。p1=P1となる(ステップ31)。次に、
ステップ32の判断でj=0、L−1=0であるのでN
oとなる。ステップ32はComb(i、j)関数が自
身を組合せの長さと同じ回数だけ、再帰的に呼びだした
かどうかを判断する。組合せの長さと同じ回数だけ再帰
的に呼び出した場合はNoとなり、再帰的呼び出し回数
が、組合せの長さに満たないときは、Yesとなる。
プ33の相互標定へ行く。相互標定は(T1〜K4、p
1)に対して行われる。ステップ33からステップ37
まで各ステップの動作内容はは、実施例1に係る図6の
ステップ3からステップ9までの対応するステップの動
作内容と同じである。(T1〜K4、p1)を相互標定
してこれらの機械座標値をモデル座標値に変換する(ス
テップ33)。相互標定で得られたモデル座標値を絶対
標定してこれらの絶対座標値に変換する(ステップ3
4)。標定基準点の絶対座標値と測地座標値の残差を求
める(ステップ35)。設定値と残差を比較し、残差の
方が小さいならば(ステップ36:Yes)、設定値を
前記残差で更新するとともに、パスポイントの組合せを
記憶し(ステップ37)、ステップ38へ行く。設定値
より残差の方が大きいならば(ステップ36:No)、
ステップ38へ行き、kとN−L+jを比較する。kが
N−L+j以下なら(ステップ38:No)、kに1を
加え(ステップ39)、ステップ31に戻り、p1=P
2となる。kがN−L+jより大きくなったら(ステッ
プ38:Yes)、Comb(i,j)関数は終了し、
ステップ26へ行く。以下、p1=P4となるまで、同
じ動作を繰り返す。L=2以降の組合せについては図1
0を用いて説明する。
表に表したものである。上述の通り、L=1のときは欄
66に示したようにp1にP1からP4までの値が順に
代入され、その各々の場合に対して標定が行われる。L
=1のときのパスポイントの全ての組合せについて標定
を終えると、Comb(i、j)は一旦終了する(ステ
ップ25終了)。次に、LとNの比較が行われ(ステッ
プ26)、今の場合、LがN以下なので(ステップ2
6:No)、Lに1が加算され(ステップ27)、L=
2となった後、カウンタiとjの値を0に初期化し(ス
テップ24)、再度Comb(i、j)関数を実行する
(ステップ25)。k=0とおき(ステップ30)、p
1=P1となる(ステップ31)。今回は組合せの長さ
が2であるのに対し、Comb(i、j)関数は1回し
か呼び出されていないので(ステップ32:Yes)、
Comb(i、j)関数即ち、Comb2(i、j)関
数を再帰呼び出しする(ステップ40)。このときCo
mb(i、j)関数の引数はiはk+1に、jはj+1
になる。即ち、Comb(k+1,j+1)となる。C
omb2(i、j)関数のステップ31でp2=P2と
なる。次に、組合せの長さが2であるのに対し、Com
b(i、j)関数を2回呼び出したので(ステップ3
2:No)、(T1〜K4、p1、p2)の組合せ、即
ち、(T1〜K4、P1、P2)の組合せで以下の標定
が行われる(ステップ33〜ステップ37)。標定が終
わるとkとN−L+jを比較し(ステップ38)、今の
場合、kがN−L+jより小さいので(ステップ38:
No)、kに1を加え(ステップ39)、ステップ31
へ戻り、p2=P3となる(ステップ31)。次に、
(T1〜K4、p1、p2)の組合せ、即ち、(T1〜
K4、P1、P3)の組合せで標定が行われる。この要
領でp2がP2からP4までの全ての場合について標定
が行われると、Comb2(i、j)関数が終了し、C
omb(i、j)関数に戻る。このときパラメータkの
値が1つ増えてk=1となる。
1)。次にステップ32でYesとなり、ステップ40
で再びComb(i、j)関数、即ちComb2(i、
j)関数が呼び出される(ステップ40)。次に、Co
mb2(i、j)関数のステップ31でp2=P3とな
る。次に、Comb2(i、j)関数のステップ32で
Noとなり、(T1〜K4、p1、p2)の組合せ、即
ち、(K1、・・・、K7、P2、P3)の組合せで標
定が行われる。以上の動作を繰り返してp2がP3から
P4までの全ての場合について標定すると、Comb2
(i、j)関数が終了し、Comb(i、j)関数に戻
る。今k=1でN−L+j=4−2+0=2であるので
(ステップ38:No)、パラメータkの値が1つ増え
てk=2となる(ステップ39)。
1)。次にステップ32でYesとなり、ステップ40
で再びComb(i、j)関数、即ちComb2(i、
j)関数が呼び出される(ステップ40)。次に、Co
mb2(i、j)関数のステップ31でp2=P4とな
る。次に、Comb2(i、j)関数のステップ32で
Noとなり、(T1〜K4、p1、p2)の組合せ、即
ち、(T1〜K4、P3、P4)の組合せで標定する。
以上の動作でComb2(i、j)関数が終了し、Co
mb(i、j)関数に戻る。k=N−L+j=2の場合
について標定を行ったので、Comb(i、j)関数を
終了し、ループを抜ける。このようにL=2即ち組合せ
の長さが2の場合のパスポイントの全ての組合せについ
て標定を行う。以下同様に、L=3の場合はComb
(i,j)関数を3回呼び出し、L=4の場合はCom
b(i,j)関数を4回呼び出し、パスポイントの全て
の組合せについて標定する。
=2の場合、Comb(i、j)関数でp1にP1を代
入する(欄60)。次に、Comb2(i、j)関数を
呼び出し、p2にP2からP4までを代入し(欄6
1)、その各々について(T1〜K4、p1、p2)を
標定する。次に、Comb(i、j)関数に戻って、p
1にP2を代入する(欄62)。次に、Comb2
(i、j)関数を呼び出しp2にP3、P4を代入し
(欄63)、その各々について(T1〜K4、p1、p
2)を標定する。次に、Comb(i、j)関数に戻っ
てp1にP3を代入する(欄64)。次に、Comb2
(i、j)関数を呼び出し、p2にP4を代入し、(T
1〜K4、p1、p2)を標定する。以上で組合せの長
さが2の場合におけるパスポイントの全ての組合せにつ
いて標定したことになる。L=3およびL=4の場合
も、同様の手順で標定を行う。p3はComb3(i、
j)関数で、p4はComb4(i、j)関数にて代入
される。
数を用いて、パスポイントの全ての組合せについて標定
し、残差が最小となるパスポイントの組合せを特定し、
この組合せに係るパスポイントから標定した結果を最適
解とする。標定結果は表示部3に表示された出力画面3
8に出力される。
ズムを用いて、処理にかかる計算時間を短縮する方法に
ついて述べる。被写体が箱のように直線で構成されてい
るものは被写体の再現に必要となる固定パスポイントの
数は少なく、10点程度のパスポイントを取った場合で
も、高速に標定を行うことができる。しかし、被写体が
ボールや人間の顔のように球面や自由曲面などの滑らか
な曲面で構成されている場合は、その曲面を再現するた
めに数多くの固定パスポイントが必要となる。このよう
な場合、たとえパスポイントの数が10点程度でも、計
算にかかる時間は大幅に増大する。さらに、パスポイン
ト数が増加した場合は、全解探索に係る組合せ数が指数
関数的に増加し、いわゆる組合せの爆発と呼ばれる状態
になり、さらなる計算時間の増大を招く結果となる。こ
こで、全解探索とはパスポイントの全ての組合せについ
て標定、即ち、解を求め、その解の中で最も優れた解を
探索する手法を言う。
計算量の点から、パスポイントの組合せ数が多い場合は
全解探索の組合せ数の点から処理時間に問題が生じる。
そこで、本実施例では、標定基準点以外の固定パスポイ
ントとパスポイントからなる組合せを複数個任意に作
り、残差が一定の範囲に収束するまでこれらに、交叉、
突然変異といった遺伝的アルゴリズムにおける遺伝操作
を繰り返すことにより残差を収束させる方法を採用す
る。この方法を用いれば、固定パスポイント数が多い場
合でも、全ての固定パスポイントを使用する必要がなく
なり、計算時間の軽減を実現することができる。同時に
パスポイント数が多くこれらの組合せ数が非常に多い場
合でも、同様の理由(パスポイントの全組合せについて
標定を行う必要がない)から、解探索時間を大幅に縮小
できると共に、必要な精度を満たす標定結果を得ること
ができる。
て、交叉、淘汰、突然変異といった作用を行いながら、
生存競争の末に環境に対する適合度が高い固体が生き残
っていくというダーウィニズム進化論に端を発する。こ
れによれば、より環境に適した者が淘汰において生き残
る確率が高く、生き残った者同士が交叉することによ
り、次世代により優れた形質を残すとともに、突然変異
によって、新しい形質を獲得する。仮に突然変異によっ
て劣った形質を獲得した場合、その固体は淘汰されてし
まうので、結果的に突然変異によってより優れた形質を
獲得したものが生き残り、その子孫が増え、固体集団全
体の適合度は向上する。
遺伝子を発生させることができる。数学的な言い方をす
れば、突然変異をすることにより、局所解を回避し最適
解を得ることができる。このプロセスをアルゴリズム化
したのが遺伝的アルゴリズムである。遺伝的アルゴリズ
ムでは対象を何らかの方法で遺伝子(遺伝子コードとも
呼ばれる)で表現し、評価関数を用いて遺伝子の適合度
を求める。評価関数は自然界で言えば自然環境に当た
る。この自然環境に対する適合度が高い遺伝子を持った
個体ほど生き延びて子孫を残す確率が高くなり、適合度
が低い遺伝子を持った個体は子孫を残す確率が低くな
り、その結果、全体として、優れた形質を持った次の世
代が形成される。遺伝的アルゴリズムの工学への適用は
盛んに研究されており、ジェットエンジンの設計の最適
化や、コジェネーションの最適化、道路整備順位の決定
などの、数多くの組合せ最適化問題に適用されている。
トおよびパスポイントの組合せを表現した図である。本
実施例では観測点およびパスポイントをそれぞれ10点
取った。遺伝子は20個の遺伝子座58a、58b、・
・・58tからなり、それぞれの遺伝子座には0または
1の2つの数値が割り振られている。遺伝子座とは遺伝
子の構成単位である。これらの遺伝子座にK1からK1
0、P1からP10までの観測点およびパスポイントを
対応させることにより、それぞれの固定パスポイント、
パスポイントに0か1の数値を割り振る。固定パスポイ
ントまたはパスポイントに1が対応しているときは、そ
の点は標定を行う点の組に採用され、0が対応している
ときは採用されない。例えば、K1、K2、K10、P
2、P10の遺伝子座に1が割り振られ、その他の遺伝
子座には0が割り振られた場合、K1、K2、K10、
P2、P10が標定を行う固定パスポイントとパスポイ
ントからなる組合せとして選択されたことを意味する。
本実施例では、これらの遺伝子の適合度は、当該遺伝子
の標定から得られる残差の逆数とした。即ち、残差が小
さいほど適合度は大きくなる。残差は実施例1と同じ方
法で求めた。また、適合度の取り方は、これに限るもの
ではなく、標定の精度が高い遺伝子ほど適合度が大きく
なるものであれば良い。
叉は、適合度の高い遺伝子を2つ選択し、2点交叉を行
った。2点交叉とは、例えば図11の第2の遺伝子座と
第3の遺伝子座の間の点51と、第9の遺伝子座と第1
0の遺伝子座の間の点52に挟まれた領域にある遺伝子
のデータを2つの遺伝子の間で交換することである。前
記点51と点52の選び方は任意の場合もあるし、固定
してある場合もある。交叉方法として、この他に1点交
叉や3点交叉などを行っても良い。突然変異は、ある一
定の確率で任意の遺伝子中の0と1をいくつか反転させ
ることにより行った。これにより、交叉のみでは、生み
出せない新しい遺伝子を形成し、局所最適解に陥らない
ようにする。本実施例では標定基準点(実測値を有する
点)以外の固定パスポイント、即ち観測点も交叉・突然
変異の対象とし、パスポイントと同等に取り扱う。その
ため、前記固定パスポイントが交叉・突然変異の過程で
淘汰される場合がある。ところで、本実施例のアルゴリ
ズムにより標定が行われ、相互標定における標定要素ω
1、φ1、κ1、ω2、φ2、κ2および、絶対標定に
おける標定要素Ω、Ф、Кおよびモデルの縮尺などが求
まると、これらの標定要素を用いて、淘汰された固定パ
スポイントの実空間での3次元座標値を計算することが
できる。このため、標定作業で固定パスポイントが淘汰
され、その座標値が計算されなかった場合でも、標定結
果を用いてそれらの座標値を計算することができる。
子の適合度が上昇し、ある値に収束するところを示して
いる。点54は第一世代の各遺伝子の適合度の最大値で
ある。遺伝的操作を行う毎に、各遺伝子の適合度を計算
する。それらの適合度の最大値は、世代を経る毎に上昇
する。そして、ある程度世代を経ると、その最大値はほ
ぼ一定の値を示すようになる。このとき、適合度が収束
したと判断する。本実施例では図12の点56に示した
ように、ある計算時間±t、例えば、±3分間における
各遺伝子の適合度の最大値が±1パーセント以内に収ま
ったとき、収束したと判断した。適合度の収束条件はこ
れに限らず、例えば、所定の世代に渡って、適合度の最
大値が所定のパーセント以内に収まったときを収束と判
断したり、また、各遺伝子の適合度の最大値ではなく、
平均値を用いたりしても良い。
手順を示したフローチャートである。ステップ41とス
テップ43は実施例1のステップ1からのステップ3ま
では実施例1のステップ1からステップ3までと同じで
あるので、説明を省略する。入力画面と出力画面も実施
例1と同じである。パスポイントと標定基準点以外の固
定パスポイント、即ち観測点とからなる組合せを表す第
1世代の遺伝子を複数個作成する。(ステップ43)。
次に、標定基準点と遺伝子に係る観測点およびパスポイ
ントを用いて、内部標定(ステップ44)し、相互標定
(ステップ45)し、絶対標定(ステップ46)する。
これらの操作は全ての遺伝子に対して行う。次に、各遺
伝子の適合度を求める(ステップ47)。適合度の収束
を判断し(ステップ48)、適合度が収束したならば
(ステップ48:Y)、遺伝的アルゴリズムを終了す
る。次に、収束解を得た際、相互標定により算出された
各座標軸回りの回転角ω1、φ1、κ1、ω2、φ2、
κ2および、絶対標定により算出された各座標軸回りの
回転角Ω、Ф、Кと縮尺を用いて、標定に係る組合せに
漏れた観測点の実空間での三次元座標値を計算し、全て
の固定パスポイントの絶対座標値を得る(ステップ5
1)。そして、標定結果を表示する(ステップ52)。
適合度が収束していないならば(ステップ48:N)、
交叉を行い(ステップ49)、突然変異を行って(ステ
ップ50)、次の世代の遺伝子を生成する。ステップ4
4からステップ50までを、適合度が収束するまで行
う。
合、またパスポイントが多い場合、あるいは、その両方
である場合に、システム全体の処理時間を軽減するのに
適している。
定点の全ての組合せについて標定することにより、最も
正確な標定結果が得られる標定点の組合せに係る標定結
果を得ることができる。請求項2記載の発明では、標定
基準点と観測点を固定パスポイントとして、標定する標
定点に常に入れておき、パスポイントの全ての組合せに
ついて標定することにより、常に観測点の標定結果を得
ることができる。請求項3記載の発明では、任意のパス
ポイントおよび標定基準点以外の任意の固定パスポイン
ト、即ち任意の観測点からなる複数の組合せを作り、こ
れに対して遺伝的アルゴリズムにおける遺伝操作を繰り
返すことにより、所要の標定精度を達成できる観測点と
パスポイントの組合せを高速に求めることができる。
発明に係る写真測量装置が行う標定手順をプログラム化
して記憶媒体に記憶させておくことにより、前記手順を
パーソナルコンピュータなどに、インストールでき、こ
れによって、パーソナルコンピュータを用いて、簡単に
写真測量を行うことができる。請求項5記載の発明で
は、請求項2記載の発明に係る写真測量装置が行う標定
手順をプログラム化して記憶媒体に記憶させておくこと
により、前記手順をパーソナルコンピュータなどに、イ
ンストールでき、これによって、パーソナルコンピュー
タを用いて、簡単に写真測量を行うことができる。請求
項6記載の発明では、請求項3記載の発明に係る写真測
量装置が行う標定手順をプログラム化して記憶媒体に記
憶させておくことにより、前記手順をパーソナルコンピ
ュータなどに、インストールでき、これによって、パー
ソナルコンピュータを用いて、簡単に写真測量を行うこ
とができる。
図である。
示した図である。
示した図である。
たフローチャートである。
結果を表した図である。
わせる場合の場合のフローチャートである。
たフローチャートである。
組合せを生成する様子を示した図である。
した図である。
る。
ャートである。
Claims (6)
- 【請求項1】 同一の被写体を異なる2方向から撮影し
た1対のステレオ画像において、前記被写体上の写真測
量に用いる標定点を取得する標定点取得手段と、 前記取得した標定点の 前記ステレオ画像上での2次元座
標値を取得する座標値取得手段と、前記標定点 のうち、少なくとも2点の平面位置の実測
値、および少なくとも3点の高さの実測値を取得する実
測値取得手段と、 前記実測値取得手段で取得した前記平面位置の実測値2
つと前記高さの実測値3つに対応する標定点を含む、少
なくとも6つの標定点から構成される前記標定点の組合
せを全て作成する、組合せ作成手段と、 前記組合せ作成手段によって作成されたそれぞれの組合
せに対して、前記組合せに係る標定点のステレオ画像上
での2次元座標値から、前記組合せに係る標定点の実空
間での3次元座標値の計算値を取得する計算値取得手段
と、 前記実測値取得手段で実測値を取得した標定点に対す
る、前記取得した実測値と前記取得した計算値とから、
前記計算値の精度を比較評価する比較評価手段と、前記組合せ作成手段で作成した前記標定点の組合せのう
ち、 前記比較評価手段にて計算精度が最も高くなる組合
せを特定する組合せ特定手段と、 を備えたことを特徴とする写真測量装置。 - 【請求項2】 同一の被写体を異なる2方向から撮影し
た1対のステレオ画像において、前記被写体上の写真測
量に用いる標定点を取得する標定点取得手段と、 前記取得した標定点の 前記ステレオ画像上での2次元座
標値を取得する座標値取得手段と、前記標定点 のうち、少なくとも2点の平面位置の実測
値、および少なくとも3点の高さの実測値を取得する実
測値取得手段と、前記標定点取得手段で取得した標定点 は、前記実測値取
得手段にて平面位置の実測値を少なくとも2つ、高さの
実測値を少なくとも3つ取得した標定点を含む第1の組
と、前記第1の組に属さない標定点からなる第2の組か
らなり、 前記第1の組に属する標定点の総個数との合計が少なく
とも6つとなるような、前記第2の組に属する標定点か
らなる組合せの全てを作成する組合せ作成手段と、 前記組合せ作成手段によって作成されたそれぞれの組合
せに対して、前記第1の組に属する全ての標定点と、前
記組合せに係る標定点とのステレオ画像上での2次元座
標値から、前記第1の組に属する全ての標定点と前記組
合せに係る標定点の実空間での3次元座標値の計算値を
取得する計算値取得手段と、 前記実測値取得手段で実測値を取得した標定点に対す
る、前記取得した実測値と前記取得した計算値とから、
前記計算値の精度を比較評価する比較評価手段と、 前記比較評価手段にて、計算精度が最も高くなる第2の
組に属する標定点の組合せを特定する組合せ特定手段
と、 を備えたことを特徴とする写真測量装置。 - 【請求項3】 同一の被写体を異なる2方向から撮影し
た1対のステレオ画像において、前記被写体上の写真測
量に用いる標定点を取得する標定点取得手段と、 前記取得した標定点の 前記ステレオ画像上での2次元座
標値を取得する座標値取得手段と、前記標定点 のうち、少なくとも2点の平面位置の実測
値、および少なくとも3点の高さの実測値を取得する実
測値取得手段と、前記標定点取得手段で取得した標定点 は、前記実測値取
得手段にて平面位置の実測値を少なくとも2つ、高さの
実測値を少なくとも3つ取得した前記標定点からなる第
1の組と、前記第1の組に属さない前記標定点からなる
第2の組からなり、 前記第1の組に属する全ての標定点の総個数との合計が
少なくとも6つとなるような前記第2の組に属する標定
点からなる複数の組合せを作成する組合せ作成手段と、 前記組合せ作成手段によって作成されたそれぞれの組合
せに対して、前記第1の組に属する全ての標定点と、前
記組合せに係る標定点とのステレオ画像上での2次元座
標値から、前記第1の組に属する全ての標定点と前記組
合せに係る標定点の実空間での3次元座標値の計算値を
取得する計算値取得手段と、 前記実測値取得手段にて取得した前記第1の組に属する
標定点の位置の実測値と、前記計算値取得手段にて取得
した前記第1の組に属する標定点の位置の計算値から前
記計算値が収束したかどうかを判断する収束判断手段
と、 前記収束判断手段で前記計算値が収束したと判断される
まで、遺伝的アルゴリズムにおける遺伝的操作によっ
て、前記第2の組から作成された標定点の組合せを更新
する更新手段と、 前記収束判断手段で、前記計算値が収束したと判断され
たとき、前記第2の組に属する標定点の組合せを特定す
る特定手段と、を備えたことを特徴とする写真測量装
置。 - 【請求項4】 同一の被写体を異なる2方向から撮影し
た1対のステレオ画像において、前記被写体上の写真測
量に用いる標定点を取得し、 前記取得した標定点の 前記ステレオ画像上での2次元座
標値を取得し、 前記標定点のうち、少なくとも2点の平面位置の実測
値、および少なくとも3点の高さの実測値を取得し、前記取得した前記平面位置の実測値2つと前記高さの実
測値3つに対応する標定点を含む、 少なくとも6つの標
定点から構成される前記標定点の組合せを全て作成し、 前記作成されたそれぞれの組合せに対して、前記組合せ
に係る標定点のステレオ画像上での2次元座標値から、
前記組合せに係る標定点の実空間での3次元座標値の計
算値を取得し、 前記実測値を取得した標定点に対する、前記取得した実
測値と前記取得した計算値とから、前記計算値の精度を
比較評価し、 前記比較評価した結果、計算精度が最も高くなる前記標
定点の組合せを特定するように、コンピュータを制御す
るプログラムを記憶した記憶媒体。 - 【請求項5】 同一の被写体を異なる2方向から撮影し
た1対のステレオ画像において、前記被写体上の写真測
量に用いる標定点を取得し、 前記取得した標定点の 前記ステレオ画像上での2次元座
標値を取得し、前記標定点のうち、 少なくとも2点の平面位置の実測
値、および少なくとも3点の高さの実測値を取得し、前記標定点 は、前記平面位置の実測値を少なくとも2
つ、高さの実測値を少なくとも3つ取得した標定点を含
む第1の組と、 前記第1の組に属さない標定点からなる第2の組からな
り、 前記第1の組に属する標定点の総個数との合計が少なく
とも6つとなるような、前記第2の組に属する標定点か
らなる組合せの全てを作成し、 前記作成されたそれぞれの組合せに対して、前記第1の
組に属する全ての標定点と、前記組合せに係る標定点と
のステレオ画像上での2次元座標値から、前記第1の組
に属する全ての標定点と前記組合せに係る標定点の実空
間での3次元座標値の計算値を取得し、前記実測値を取得した標定点に対する、前記取得した実
測値と前記取得した計算値とから、 前記計算値の精度を
比較評価し、 前記比較評価した結果、計算精度が最も高くなる第2の
組に属する標定点の組合せを特定するように、コンピュ
ータを制御するプログラムを記憶した記憶媒体。 - 【請求項6】 同一の被写体を異なる2方向から撮影し
た1対のステレオ画像において、前記被写体上の写真測
量に用いる標定点を取得し、 前記取得した標定点の 前記ステレオ画像上での2次元座
標値を取得し、前記標定点のうち、 少なくとも2点の平面位置の実測
値、および少なくとも3点の高さの実測値を取得し、前記標定点 は、前記平面位置の実測値を少なくとも2
つ、高さの実測値を少なくとも3つ取得した標定点から
なる第1の組と、 前記第1の組に属さない標定点からなる第2の組からな
り、 前記第1の組に属する標定点の個数との合計が少なくと
も6つとなるような前記第2の組に属する標定点からな
る複数の組合せを作成し、 前記作成されたそれぞれの組合せに対して、前記第1の
組に属する全ての標定点と、前記組合せに係る標定点と
のステレオ画像上での2次元座標値から、前記 第1の組
に属する全ての標定点と前記組合せに係る標定点の実空
間での3次元座標値の計算値を取得し、前記第1の組に属する標定点 の位置の前記実測値と前記
計算値とから、前記計算値が収束したかどうかを判断
し、 前記計算値が収束したと判断されるまで、遺伝的アルゴ
リズムにおける遺伝的操作によって、前記第2の組から
作成された標定点の組合せを更新し、 前記計算値が収束したと判断されたとき、前記第2の組
に属する標定点の組合せを特定するように、コンピュー
タを制御するプログラムを記憶した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000214419A JP3459620B2 (ja) | 2000-07-14 | 2000-07-14 | 写真測量装置および写真測量プログラムを記憶した記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000214419A JP3459620B2 (ja) | 2000-07-14 | 2000-07-14 | 写真測量装置および写真測量プログラムを記憶した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002031527A JP2002031527A (ja) | 2002-01-31 |
JP3459620B2 true JP3459620B2 (ja) | 2003-10-20 |
Family
ID=18709998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000214419A Expired - Fee Related JP3459620B2 (ja) | 2000-07-14 | 2000-07-14 | 写真測量装置および写真測量プログラムを記憶した記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3459620B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4688309B2 (ja) * | 2001-02-20 | 2011-05-25 | 成典 田中 | 3次元コンピュータグラフィックス作成支援装置、3次元コンピュータグラフィックス作成支援方法、及び3次元コンピュータグラフィックス作成支援プログラム |
JP2003097946A (ja) * | 2001-03-02 | 2003-04-03 | Kansai Electric Power Co Inc:The | 載置台式のカメラを用いた写真測量システム及び基準棒装置 |
JP2006119005A (ja) * | 2004-10-22 | 2006-05-11 | Ryonichi Engineering Co Ltd | 大規模構造物計測装置及び大規模構造物計測方法 |
JP2011118767A (ja) * | 2009-12-04 | 2011-06-16 | Osaka Prefecture Univ | 表情モニタリング方法および表情モニタリング装置 |
-
2000
- 2000-07-14 JP JP2000214419A patent/JP3459620B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002031527A (ja) | 2002-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11200734B2 (en) | Method for reconstructing three-dimensional space scene based on photographing | |
US11783543B2 (en) | Method and system for displaying and navigating an optimal multi-dimensional building model | |
JP5105643B2 (ja) | オブジェクトの電子表示物のテクスチャライジング用システム | |
EP1008112B1 (en) | Techniques for creating and modifying 3d models and correlating such models with 2d pictures | |
JP4153761B2 (ja) | 3次元モデル空間生成装置、3次元モデル空間生成方法、及び3次元モデル空間生成プログラム | |
US8042056B2 (en) | Browsers for large geometric data visualization | |
CN107223269A (zh) | 三维场景定位方法和装置 | |
CA2582971A1 (en) | Computational solution of and building of three dimensional virtual models from aerial photographs | |
JP4688309B2 (ja) | 3次元コンピュータグラフィックス作成支援装置、3次元コンピュータグラフィックス作成支援方法、及び3次元コンピュータグラフィックス作成支援プログラム | |
KR20130138247A (ko) | 신속 3d 모델링 | |
JP4119529B2 (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
US20210201522A1 (en) | System and method of selecting a complementary image from a plurality of images for 3d geometry extraction | |
Streilein | Towards automation in architectural photogrammetry: CAD-based 3D-feature extraction | |
JP4170469B2 (ja) | 検査点位置取得方法および装置 | |
JP2002181536A (ja) | 写真測量サービスシステム | |
JP3459620B2 (ja) | 写真測量装置および写真測量プログラムを記憶した記憶媒体 | |
JP4149732B2 (ja) | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム | |
KR101902131B1 (ko) | 시뮬레이션 파노라마 실내영상 제작 시스템 | |
Karauğuz et al. | 3D Photogrammetric model of Eflatunpinar monument at the age of Hittite empire in Anatolia | |
JP3441657B2 (ja) | 画像点設定装置及びこの画像点設定装置を用いた写真測量方法 | |
Jachimski | Video Stereo Digitizer-a small digital Stereophotogrammetric Working Station for the needs of SIT and other application | |
JP2005140623A (ja) | 画像計測方法、装置、プログラム及び記録媒体 | |
Haggren et al. | 3D indoor modeling from videography | |
US12131455B2 (en) | Image display apparatus, image display method, and image display program | |
US20220130029A1 (en) | Image display apparatus, image display method, and image display program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R150 | Certificate of patent or registration of utility model |
Ref document number: 3459620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090808 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100808 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |