JP4043657B2 - 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 - Google Patents
写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 Download PDFInfo
- Publication number
- JP4043657B2 JP4043657B2 JP25195299A JP25195299A JP4043657B2 JP 4043657 B2 JP4043657 B2 JP 4043657B2 JP 25195299 A JP25195299 A JP 25195299A JP 25195299 A JP25195299 A JP 25195299A JP 4043657 B2 JP4043657 B2 JP 4043657B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- image
- points
- camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
本発明は、写真測量において、測量図を作図するためのカメラパラメータ算出に関し、特にカメラパラメータ算出に用いられる基準点の高精度な座標の算出に関する。
【0002】
【従来の技術】
写真測量は地図の作成に広く使用され、交通事故の現場検証等の局所的な状況の記録においても極めて有効な手段として活用されている。従来写真測量は2台のカメラを離間しつつ固定したステレオカメラを使用し、両カメラで撮影した2つの画像から各測量点の3次元座標を算出する。ここにステレオカメラは大重量かつ大型の機材であり、また3次元座標の計算にはカメラの位置情報、傾斜角度、被写体の実測長さ等詳細な情報を記録しておく必要があり、測量作業は煩雑かつ重労働である。また交通事故現場の周囲に障害物が多い等、充分広い撮影環境が確保されないことも多く、ステレオカメラによる現場検証が困難なときも多い。
【0003】
そこで本願出願人は、単眼のカメラによる写真測量方法(特開平10−293026号公報、特開平10−221072号公報)、および同写真測量の精度を向上させるために一対の画像(以下、「ペア画像」という)に含めるターゲット(特開平10−307025号公報、特開平10−293026号公報、特開平10−185563号公報、特開平10−185562号公報、特開平10−170263号公報、特開平10−141951号公報)を多数提案して、簡易機材による効率的な写真測量を実現している。
【0004】
このような写真測量方法においては、同一のターゲットと測量対象物とが任意の異なる方向から撮影されたペア画像を得、専用の写真測量画像処理装置において、ターゲット上に設けた3つ以上の基準点を各画像上においてマウス等の入力手段を用いたマニュアル作業によって指定し、指定した各基準点の画像上の2次元座標(以下、写真座標と呼ぶ)に基づいて、ペア画像が得られたときのカメラの3次元位置や撮影光学系の光軸の傾き(以下、カメラパラメータと呼ぶ)が算出される。
【0005】
【発明が解決しようとする課題】
しかし、ペア画像上で互いに対応する3つの基準点をマニュアル指定する作業においてはターゲットの形状や向きを意識しなければならず、さらに測量が広範囲に渡る場合には多数のペア画像が用いられるため、操作が煩雑である上に多大な時間を要する。また、マニュアル指定された基準点の精度は担当者の熟練度に左右され、対応付けを誤ったり、基準点と異なる点を指定したり、あるいは基準点の写真座標に誤差が生じれば、高精度なカメラパラメータ、ひいては正確な測量図が得られない。
【0006】
本発明は、この様な点に鑑みてなされたものであり、基準点の高精度な写真座標を容易に求め、カメラパラメータおよび測量図の精度を向上させるとともに測量作業を簡略にすることが目的である。
【0007】
【課題を解決するための手段】
本発明による写真測量用画像処理装置は、所定の寸法形状のターゲットを共通に含む複数の画像のそれぞれについて、各画像を撮影したカメラの位置およびその光軸の傾きを含むカメラパラメータを算出し、画像内の共通の物点を当該各画像について指定し、カメラパラメータを用いて物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量用画像処理装置である。撮影に用いられるターゲットは、他の被写体よりも相対的に輝度の高い表面を有し同一平面上に設けられた少なくとも3個以上の基準点および1個以上の補助点を備えており、上述の写真測量用画像処理装置においては、画像を構成する画素の輝度情報に基づいて、高い輝度情報を有する基準点および補助点に相当する画素のグループを抽出し、各グループの重心となる画素の画像における写真座標を算出する写真座標算出手段と、写真座標算出手段により得られた基準点の写真座標と、ターゲットの寸法形状に基づいて、カメラパラメータを算出するカメラパラメータ算出手段と、カメラパラメータ算出手段により算出されたカメラパラメータと、ターゲットの寸法形状に基づいて、補助点の写真座標に実質的に一致し得るスクリーン座標を算出するスクリーン座標算出手段と、写真座標算出手段により得られた補助点の写真座標と、スクリーン座標算出手段により得られた補助点のスクリーン座標とが所定の許容誤差範囲内であるか否かを判定する判定手段とを備えることを特徴としている。これにより、抽出された基準点の写真座標の精度が容易に判定でき、誤って抽出された基準点の写真座標を用いて不正確な測量図を作成することが防止される。
【0008】
また、本発明による写真測量用画像処理方法は、所定の寸法形状のターゲットを共通に含む複数の画像のそれぞれについて、各画像を撮影したカメラの位置およびその光軸の傾きを含むカメラパラメータを算出し、画像内の共通の物点を当該各画像について指定し、カメラパラメータを用いて物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量用画像処理方法であって、他の被写体よりも相対的に輝度の高い表面を有し同一平面上に設けられた少なくとも3個以上の基準点および1個以上の補助点を備えたターゲットを用いて撮影を行う第1ステップと、画像を構成する画素の輝度情報に基づいて、高い輝度情報を有する基準点および補助点に相当する画素のグループを抽出し、各グループの重心となる画素の画像における写真座標を算出する第2ステップと、写真座標算出手段により得られた基準点の写真座標と、ターゲットの寸法形状に基づいて、カメラパラメータを算出する第3ステップと、カメラパラメータ算出手段により算出されたカメラパラメータと、ターゲットの寸法形状に基づいて、補助点の写真座標に実質的に一致し得るスクリーン座標を算出する第4ステップと、写真座標算出手段により得られた補助点の写真座標と、スクリーン座標算出手段により得られた補助点のスクリーン座標とが所定の許容誤差範囲内であるか否かを判定する第5ステップとを備えることを特徴としている。これにより、抽出された基準点の写真座標の精度が容易に判定でき、誤って抽出された基準点の写真座標を用いて不正確な測量図を作成することが防止される。
【0009】
本発明による記憶媒体は、所定の寸法形状のターゲットを共通に含む複数の画像のそれぞれについて、各画像を撮影したカメラの位置およびその光軸の傾きを含むカメラパラメータを算出し、画像内の共通の物点を当該各画像について指定し、カメラパラメータを用いて物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成するための写真測量用画像処理プログラムを格納している。撮影に用いられるターゲットが、ターゲットが、画像内において他の被写体よりも相対的に低い輝度情報を有する本体と、画像内において他の被写体よりも相対的に高い輝度情報を有し同一平面上に設けられた少なくとも3個以上の基準点および補助点を備えている。上述した写真測量用画像処理プログラムにおいては、画像を構成する画素の輝度情報に基づいて、高い輝度情報を有する基準点および補助点に相当する画素のグループを抽出し、各グループの重心となる画素の画像における写真座標を算出する写真座標算出ルーチンと、写真座標算出手段により得られた基準点の写真座標と、ターゲットの寸法形状に基づいて、カメラパラメータを算出するカメラパラメータ算出ルーチンと、カメラパラメータ算出手段により算出されたカメラパラメータと、ターゲットの寸法形状に基づいて、補助点の写真座標に一致し得るスクリーン座標を算出するスクリーン座標算出ルーチンと、写真座標算出手段により得られた補助点の写真座標と、スクリーン座標算出手段により得られた補助点のスクリーン座標とが所定の許容誤さ範囲内であるか否かを判定する判定ルーチンとを備えることが特徴とされる。これにより、汎用のパーソナルコンピュータにおいてこの写真測量画像処理プログラムを実行させ、抽出された基準点の写真座標の精度が容易に判定して、誤って抽出された基準点の写真座標を用いて不正確な測量図を作成することが防止される。
【0010】
【発明の実施の形態】
以下、本発明に係る写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムの一実施形態を図面に基づいて説明する。
【0011】
図1は、本発明の一実施形態における写真測量の撮影状況を示す模式図であり、測量対象であるT字路の外形および白線等を、鉛直上方から見た水平面図である。
【0012】
この撮影において、1つの測量対象(ここでは図中左方へ延びる道路)に対しては、1台のカメラ10を用いて、異なる2つの撮影地点から連続して撮影される。この2つの撮影地点はカメラ位置M1およびM2として定義され、各カメラ位置M1、M2はそれぞれカメラ10の撮影光学系の後側主点位置に一致する。カメラ位置M1、M2からそれぞれ伸びる一点鎖線は、カメラ10の撮影光学系(図示せず)の光軸O1およびO2を示している。
【0013】
カメラ10は図示しないCCDを備え、光学画像を電子画像、即ちJ×K配列の輝度信号および色差信号を含むデジタル画素データに変換する。JおよびKは画素の数を示す自然数である。このデジタル画素データは所定のフォーマットに従ってメモリカード等の画像記憶媒体に格納される。画像記憶媒体には、デジタル画素データとともに、撮影条件、撮影日時等の種々のデータが格納される。
【0014】
図2および図3は、図1の撮影により得られた2枚の画像を概念的に示す図である。図2はカメラ位置M1において得られた画像IM1を示し、図3はカメラ位置M2において得られた画像IM2を示す。これらの画像IM1およびIM2は、例えばJ×K画素のカラー画像である。
【0015】
カメラ位置M1、M2で得られた画像IM1およびIM2は、所定の位置に置かれたL字状のターゲット20を共通に写し込んでいる。同一の測量対象および同一位置のターゲット20を含む2枚の画像IM1およびIM2は一対のペア画像として定義される。1つの測量対象に対する画像枚数は3以上でもよい。
【0016】
画像IM1には所定の2次元直交座標系である写真座標系(Xa,Ya)が定義される。ターゲット20上に設けられた3個の基準点(図4参照、符号22、24および26)は、この写真座標系においてそれぞれ写真座標ai(xai,yai)(i=1〜3)で表される。図示しないが、画像IM2についても同様である。
【0017】
なお、図2に示す写真座標系(Xa,Ya)においては、座標原点が画像IM1の中心に、Xa座標は右へ進むほど大きい値に、またYa座標は上へ進むほど大きい値になるよう定義されているが、特に限定されない。他に、座標原点を画像IM1の左上隅に、Xa座標は右へ進むほど大きい値に、またYa座標は下へ進むほど大きい値になるよう定義された写真座標系(Xa,Ya)を画像IM1に設定してもよい。
【0018】
図4は図1の撮影において用いられるターゲット20を拡大して示す斜視図である。ターゲット20は一端において互いに連結された2本の柱状部材21、23を備える。これら柱状部材21、23の表面には黒色の無反射シートが全体的に貼付される。これらの柱状部材21、23の端部の上面には、3個の基準点22、24および26が設けられている。基準点22、24および26は例えば白色反射シートが貼付された点部材であり、その周囲には黒色無反射シートが貼付された環状部材25、27および29が設けられている。これにより、白色の基準点22、24および26が強調され、画像上での識別を容易にしている。
【0019】
基準点22と基準点24との中間には2個の点部材が補助点32および34として設けられ、また基準点24と基準点26との間には補助点36が設けられる。これら補助点32、34および36は基準点22、24および26と同一寸法形状であり、白色反射シートが貼付される。これら補助点32、34および36の周囲にはそれぞれ黒色無反射シートが貼付された環状部材33、35および37が設けられる。
【0020】
即ち、柱状部材21の長手方向には4個の点部材22、32、34、24が等間隔に並んでおり、また柱状部材23の長手方向には3個の白色点部材24、36、26が等間隔に並んでいる。これにより、ターゲットの方向を容易に認識できる。補助点の数は柱状部材21に2個、柱状部材23に1個であるが、これに限定されず、2本の柱状部材21および23のそれぞれにおいて1個以上あればよい。
【0021】
2本の柱状部材21、23と、環状部材25、27、29、33、35および37には黒色の無反射シートが貼付され、基準点22、24、26および補助点32、34、36には白色の反射シートが貼付されているが、これに限定されず、無反射塗料および反射塗料を用いてもよく、画像IM1、IM2内においてターゲット20が相対的に周囲より輝度値が低く、かつ基準点22、24、26および補助点32、34、36が相対的に周囲より輝度値が高くなるように構成されていればよい。
【0022】
ターゲット20は道路面上に載置され、基準点22、24および26を含む平面は道路面にほぼ平行である。2本の柱状部材21および23の内部には、それぞれの水平面に対する傾斜角、即ち基準点24および22を結ぶ直線周りの回転角、および基準点24および26を結ぶ直線周りの回転角を測定するセンサがそれぞれ設けられる。
【0023】
測定された2つの回転角は、図示しない送信装置によってカメラ10に送信され、カメラ10は撮影を行う時点、具体的にはレリーズボタンを押した時点での回転角を、デジタル画素データとともに画像記憶媒体に格納する。これにより、後述する写真測量画像処理装置において、3個の基準点22、24および26により規定される平面の、水平面に対する傾斜の度合いが容易に求められる。
【0024】
基準点22および24間の距離と、基準点24および26間の距離は共に既知の値LTである。3個の基準点22、24および26を結ぶことにより、基準点24を角部(90度)とする直角二等辺三角形が形成される。この基準点22、24および26により形成される直角二等辺三角形の実寸データは、後述する写真測量画像処理装置に予め与えられており、写真測量画像処理装置において、所定の3次元座標系におけるカメラ位置M1およびM2の位置を算出する際に用いられる。
【0025】
図5は、写真測量画像処理装置の全体構成を示すブロック図である。写真測量画像処理装置は、表示装置50、キーボードおよびマウス等の入力装置52およびCPU54を有し、これらは直接または間接的にバス56に接続されている。CPU54には、入力状態管理部60、表示状態管理部62、演算処理部64およびデータ管理部66が設けられ、ここで必要な管理、演算、処理が実行される。
【0026】
入力装置52には、バス56に接続された入力装置制御装置58が接続され、これによって入力装置52からの入力がバス56に転送され、また入力装置52の入力モード等が設定される。画像記憶媒体70はメモリカードリーダ等の記憶媒体制御装置72に挿入され、これによって画像記憶媒体70に格納されたデジタル画素データ等が適宜読み出される。
【0027】
さらにバス56には作業メモリ74および表示メモリ76が接続される。作業メモリ74はCPU54の演算、処理におけるキャッシュメモリ等に使用され、後述するカメラパラメータ算出処理に用いられる種々のデータはここに格納される。表示メモリ76には表示装置50で表示すべき内容が保持される。表示装置50には、バス56に接続された表示装置制御装置78が接続され、表示メモリ76内のデジタルデータが表示装置50のためのアナログRGB信号に変換される。
【0028】
CPU54の入力状態管理部60は入力装置52の設定を管理し、また入力された情報、例えばマウスにより画面上を移動するマウスポインタの座標、キーボードから入力された文字等を所定のデジタルデータに変換する。表示状態管理部62は表示装置50に表示すべき内容を管理し、表示に関する設定の変更等があったときには表示内容を変更する。演算処理部64は後述するカメラパラメータ算出処理に使用される。データ管理部66は画像記憶媒体70から読込んだ画像等のデータを管理し、またこれに基づいて作成された種々の座標データ、作図された測量図のデータ等を管理する。
【0029】
図5に示す写真測量画像処理装置においては、まず画像記憶媒体70から画像2枚分のデータが読み出され、これらに基づいてそれぞれカメラ位置M1、M2の3次元座標およびその光軸O1およびO2の傾きが算出される。このカメラ位置の3次元座標およびその光軸の傾きを、あわせてカメラパラメータと呼ぶ。
【0030】
次に図6を参照して、カメラパラメータを算出する原理および方法を説明する。代表してカメラ位置M1の場合について説明する。図6は図1に示すカメラ位置M1と、カメラ10の撮影光学系の結像面であるスクリーンSとターゲット20の関係を概念的に示す斜視図である。スクリーンSは実質的に画像IM1に一致する。
【0031】
ターゲット20をカメラ10のスクリーンS上に結像した状態においては、光軸O1はカメラ位置M1およびスクリーンSの撮影中心Cを通り、スクリーンSに投影された基準点22、24および26の像点p1、p2およびp3は、カメラ位置M1と各基準点2 2、24および26とを結ぶ直線上にそれぞれ位置する。
【0032】
スクリーンSには、撮影中心Cを原点(0,0)とするスクリーン座標系(Xp,Yp)が定義される。このスクリーン座標系における像点p1、p2およびp3の2次元座標、即ちスクリーン座標は、それぞれp1(xp1,yp1)、p2(xp2,yp2)、p3(xp3,yp3)である。
【0033】
また、図6において、カメラ位置M1を原点(0,0,0)とする3次元座標系がカメラ座標系(Xc,Yc,Zc)として定義されており、Xc軸およびYc軸はそれぞれスクリーン座標系のXp軸およびYp軸に平行であり、Zc軸は光軸O1に一致する。
【0034】
カメラ座標系における基準点22、24および26の3次元座標、即ちカメラ座標をPci(Pcxi,Pcyi,Pczi)(ただし、i=1〜3)と定義すると、像点であるスクリーン座標pi(xpi,ypi)と基準点のカメラ座標(Pcxi,Pcyi,Pczi)との関係は式(1)および式(2)により示される。なお、式(1)および式(2)において、fはカメラ10の焦点距離である。
【数1】
【0035】
さらに、図6において、ターゲット20の基準点24を原点とする3次元座標が基準座標系(Xs,Ys,Zs)として定義される。基準座標系のXs軸、Zs軸は基準点24および22を結ぶ直線、基準点24および26を結ぶ直線にそれぞれ沿っており、Ys軸はXs軸、Zs軸に対して垂直である。
【0036】
Xs軸、Zs軸の水平面に対するそれぞれの回転角のデータはデジタル画素データとともに画像記憶媒体70に格納されており、ターゲット20が水平面に対して傾斜している場合には、この回転角のデータによりXs軸およびZs軸の傾きが補正される。従って、Ys軸は鉛直方向に一致させられ、Xs−Zs平面は水平面にほぼ一致せしめられる。
【0037】
ここで、基準座標系におけるカメラ位置M1の座標、即ち基準座標を(ΔX,ΔY,ΔZ)、光軸O1の傾きを(α,β,γ)と定義すると、カメラ座標Pci(Pcxi,Pcyi,Pczi)と基準座標Psi(Psxi,Psyi,Pszi)との関係は、式(3)により示される。
【数2】
【0038】
なお、式(3)におけるRは回転行列であり、式(4)に示されるように、光軸O1(Zc軸)の方向余弦cosα、cosβ、cosγで表される。また、式(3)におけるΔは、座標原点移動量であり、カメラ位置M1の基準座標(ΔX,ΔY,ΔZ)に一致する。
【0039】
実際には、画像記憶媒体70から画像IM1がCPU54に読み込まれると、この画像IM1に対して後述する種々の画像処理が施され、基準点22、24および26が自動抽出される。これにより各基準点22、24および26の写真座標ai(xai,yai)(i=1〜3)が求められる。なお、このとき3つの補助点32、34および36も同時に自動抽出され、それぞれ写真座標ai(xai,yai)(i=4〜6)が求められる。
【0040】
また、予め与えられた基準点22、24および26により形成される直角二等辺三角形の実寸データに基づいて、基準座標系における基準点22、24および26の基準座標が、それぞれPs1(−LT,0,0)、Ps2(0,0,0)、Ps3(0,0,LT)に決定され、これら基準座標から上述の算出方法により各基準点22、24および26のスクリーン座標pi(xpi,yp i)(i=1〜3)が求められる。このとき、カメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)には適当な初期値が与えられる。
【0041】
スクリーンSは実質的に画像IM1に一致するものとし、画像IM1から読み取られた写真座標aiとスクリーン座標piとの差、例えば式(5)に示されるΦが最小となるカメラパラメータが、逐次近似解法を用いて算出される。
【数3】
【0042】
なお、逐次近似解法については公知であるので詳述しないが、この算出において最初に与えられる初期値としては、ΔX=0m、ΔY=1.5m、ΔZ=0m、α=0度、βは0〜360度の範囲における任意の値、γ=0度が与えられる。ΔYに関しては撮影者の目の高さに相当する。またβに関しては経験によって定められるおおよその値である。このように、実際の撮影に即した近似値を初期値として与えると、算出時間の短縮化が図れる。
【0043】
ペア画像における他方の画像IM2のカメラパラメータについても、同様の手法で求められる。これらカメラパラメータは、作業メモリ74の所定領域に格納される。
【0044】
図7は、写真測量画像処理装置の表示装置50における表示画面を概念的に示す図である。この表示画面は上述の2枚の画像IM1およびIM2にそれぞれ対応したカメラパラメータが算出された後に表示され、この表示画面において、測量図が生成される。
【0045】
この表示画面の上段には画像表示領域IMAが設けられ,下段には作図領域DRAが設けられる。画像表示領域IMAには、ペア画像IM1およびIM2が並列して表示され、作図領域DRAにはペア画像IM1およびIM2に基づいて作図された測量図(図中の道路の外形を示す実線L等)が描かれる。
【0046】
測量図は道路を鉛直上方から見た水平面図であり、基準座標系のXs−Zs平面に一致する。作図領域DRAには、基準座標系の原点であるターゲット20の基準点24の位置が点表示される。
【0047】
作図に際しては、ペア画像中で対応する像点がマニュアルで指定される。詳述すると、画像IM1およびIM2において、道路の角の像点OP1' 、OP1" がマウスによりマニュアル指定されると、これら像点OP1' 、OP1" に対応した物点OP1の基準座標が算出されるとともに、作図領域DRAに物点OP1が点表示される。
【0048】
物点OP1の基準座標は、式(1)〜(4)を用いて求められ、ここでカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)には、予め求められ作業メモリ74に格納された値が用いられる。このように、予めカメラパラメータが求められていることにより、物点OP1の基準座標が容易に求められ、算出時間の短縮が図られる。
【0049】
作図領域DRA内には、作図のためのメニューDRMが設けられ、このメニューDRMにおいて、「直線描画」、「多角形描画」、「直径指定円描画」、「半径指定円描画」、「補助点描画」、「入力完了」等のコマンドが選択される。例えば「直線描画」が選択されている場合、物点OP1およびOP2が連続して指定されると、この2点OP1およびOP2を結ぶ直線L1が自動的に作成され、作図領域DRAに表示される。
【0050】
以上のようにして、測量図が作成される。この測量図のデータは必要に応じてフロッピーディスク等の記憶媒体に格納される。なお、図5においては測量図のデータを記憶媒体に格納するための構成は省略される。
【0051】
このように、測量図の作成においては、ターゲット20を用いてカメラパラメータが求められ、このカメラパラメータを用いて物点の座標が算出される。従って、高精度の測量図を得るためにはカメラパラメータの精度は高いほどよい。
【0052】
従来、カメラパラメータを求める際には物点OP1と同様に基準点22、24および26をマニュアル指定し、写真座標aiを求めていた。しかし、マニュアル指定では精度よく指定することは難しく、また基準点の対応付けも容易ではない。本実施形態においては、カメラパラメータ算出処理において、この基準点の写真座標aiを画像処理によって自動的に決定することにより、誤差や対応付けの間違いを防止している。また、マニュアル指定に比べて作業効率が大幅に向上する。
【0053】
図8および図9を参照して、CPU54の演算処理部64において実行されるカメラパラメータ算出処理の大まかな処理流れについて説明する。図8および図9はカメラパラメータ算出処理のメインルーチンを示すフローチャートであり、画像記憶媒体70から画像1枚分のデータが読み込まれるごとに実行される。ここでは代表して画像IM1が読み込まれた場合について説明する。なお、カメラパラメータ算出処理のメインルーチンは写真測量画像処理プログラムの一部を構成している。
【0054】
まず、ステップS102において画像IM1のデジタル画素データが画像記憶媒体70から読み込まれ、ステップS104において読み込まれた画像IM1に対応するカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)が算出されたか否かを示すフラグが「FALSE」に設定される。
【0055】
ステップS106では、読み込まれた画像にはグレースケール処理が施されて、デジタル画素データの色成分の情報(色信号)が除去され、輝度信号のみが抽出される。ここで、画像を構成する全画素について256階調の輝度値が抽出されて、配列形式の変数IMg(j,k)に格納される。jおよびkは画像に定義された写真座標系における2次元座標である。このグレースケール処理は、ターゲット20の基準点22、24、26および補助点32、34、36が白色である、即ち輝度値が高く、かつその他の部分が黒色である、即ち輝度値が低いことを鑑みて、画像処理を単純化して処理速度を早めるために行われる。
【0056】
次に、外接矩形候補算出サブルーチンが実行され(ステップS200)、画像の中でターゲットとなり得る部分を含む長方形が、外接矩形候補として切り出される。そしてステップS110において、全外接矩形候補に対してステップS300以降の処理が終了したか否かが判定される。ステップS200において外接矩形候補が検出されなかった場合あるいは全外接矩形候補の処理が終了した場合には、カメラパラメータ算出フラグは「FALSE」のまま、カメラパラメータ算出処理のメインルーチンが終了する。未だ処理されていない外接矩形候補がある場合には、ステップS300に進む。
【0057】
ステップS300では2値化閾値候補検出サブルーチンが実行され、1つの外接矩形候補に対して2値化処理のための閾値となり得る候補が求められる。そして、ステップS120において、全閾値候補に対してステップS400以降の処理が終了したか否かが判定される。現在設定されている外接矩形候補の全閾値候補について終了したと判定されると、未処理の外接矩形候補に変更するべくステップS110に戻る。ステップS300において現在設定されている外接矩形候補について閾値候補が得られなかった場合にもステップS110に戻る。ステップS120において全ての閾値候補の処理が終了していないと判定されれば、ステップS400に進む。
【0058】
ステップS400では組合せ検出サブルーチンが実行され、1つの外接矩形候補に対して1候補である閾値をもって2値化処理が行われ、さらにラベリング処理等が施されて、基準点22、24、26および補助点32、34、36となり得る画素のグループが検出され、これら画素のグループが基準点22、24、26および補助点32、34、36の組合せの候補に登録される。そしてステップS130では全ての組合せに対してステップS500以降の処理が終了したか否かが判定さる。ここで、現在設定されている外接矩形候補および閾値候補の全組合せに対して処理が終了した場合、あるいはステップS400において組合せが検出されなかった場合には、未処理の閾値候補に変更するべくステップS120に戻る。ステップS130において全ての組合せの処理が終了していないと判定されれば、ステップS500に進む。
【0059】
ステップS500では座標補正サブルーチンが実行され、組合せ検出サブルーチンにおいて求められた基準点22、24、26および補助点32、34、36の1候補である画素グループの組合せに対して、さらに高精度の写真座標aiが求められる。そして、これら写真座標aiからカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)が求められる (ステップS600)。次にステップS140が実行され、ここでステップS600において算出されたカメラパラメータが正しいと判定された場合には、カメラパラメータ算出フラグには「TRUE」が代入され、カメラパラメータ算出処理のメインルーチンが終了する。ステップS140においてカメラパラメータが正しい値ではない、あるいは算出されなかったと判定された場合には、未処理の組合せに変更するべくステップS130に戻る。
【0060】
このように、カメラパラメータ算出処理のメインルーチンにおいては、ターゲット20となり得る外接矩形候補を抽出し、各外接矩形候補について最も2値化に適した閾値候補を検出し、さらに所定の外接矩形候補およびその閾値候補の1つについて、基準点および補助点となり得る組合せを求めている。そして、所定の組合せについて2値化処理およびラベリング処理等によって基準点および補助点の写真座標を求め、これに基づいてカメラパラメータを算出している。
【0061】
カメラパラメータの算出は、正しいカメラパラメータが得られるまで、組合せ、閾値候補または外接矩形候補が変更されつつ繰り返し実行され、正しいカメラパラメータの算出が成功した時点でカメラパラメータ算出フラグが「TRUE」となってメインルーチンは終了する。
【0062】
一方、全外接矩形候補の全閾値候補に対して求められた全ての組合せから、正しいカメラパラメータが得られなかった場合、即ちステップS110において全外接矩形候補に対して処理が終了したと判定された場合には、カメラパラメータ算出フラグは「FALSE」のまま、カメラパラメータ算出処理のメインルーチンが終了する。
【0063】
図10〜図13を参照して、外接矩形候補算出サブルーチン(図8のステップS200)について説明する。図10および図11は外接矩形候補算出サブルーチンの詳細を示すフローチャートである。
【0064】
まずステップS202において、図12に示すように、J×K画素の画像IM1から(1/m)の縮小画像IGが生成される。具体的には、変数IMg(j,k)に格納されたJ×K画素の輝度値から、Xa方向およびYa方向についてm画素毎に1つの輝度値が抽出され、配列形式の変数IGs(s,t)に格納される。sおよびtは縮小画像IGにおけるXas方向およびYas方向における画素の座標を示す。
【0065】
次にステップS204において、縮小画像IG、即ち輝度値である変数IGs(s,t)について図13に示すようなヒストグラムが生成される。このヒストグラムは輝度値に対する画素数の分布を示すグラフである。ステップS206ではヒストグラムにおいて最も画素数の多い山MT1が検出されて、ステップS208でこの山MT1の低輝度側の麓部の輝度値G1がステップS210の2値化処理のための閾値として取得される。具体的には、画素数の最大値をとる山MT1において、輝度値に対する画素数の変化量が急激に大きくなり始めるときの輝度値が算出される。
【0066】
ステップS210において実行される2値化処理においては、変数IGs(s,t)に格納された輝度値と閾値G1とが比較され、その輝度値が閾値G1を超えていれば「1」、輝度値が閾値G1以下であれば「0」が、IGsと同様の配列形式のBinに格納される。即ち、縮小画像IGの各画素の輝度値を2値化したデータはBin(s,t)で表される。
【0067】
次いでステップS212が実行されて2値化データ「0」についてラベリングが行われる。ラベリングとは、2値化データが「0」である画素が連続する領域を1つのグループとして抽出する処理であり、これにより輝度値が閾値G1より低い領域が抽出される。抽出された各グループには、そのグループを構成する画素数および対応する2次元座標(s,t)が所定の変数に格納される。
【0068】
ステップS214においては、ステップS212により抽出された各グループの画素数について、所定の下限値以上のものだけが判別される。この下限値によって規定される画素数の範囲は、縮小画像IGにおけるターゲット20に相当するグループの画素数を十分に含み、かつ最小の範囲となるように設定される。この処理により、ノイズ等の画素数が1、2個程度のグループが除去される。
【0069】
ステップS216では、ステップS214により選択された全グループのそれぞれについて、以下のステップS218〜S222の処理が終了したか否かが判定される。ここでステップS214により選択された全グループについて終了した場合、あるいは選択されたグループがない場合には、外接矩形候補算出サブルーチンが終了し、図8のメインルーチンに戻る。終了していなければステップS218に進む。
【0070】
ステップS218においては、所定のグループ内の画素について縮小画像IGにおけるXas座標の最小値Xasmin および最大値Xasmax 、Yas座標の最小値Yasmin および最大値Yasmax が求められ、ステップS220においてこれら4つの座標は下に示す(6)〜(9)式により実寸に変換される。
【数4】
【0071】
これにより、図12に示すように、画像IM1においてターゲット20の候補となり得る領域、即ち(Xamin ,Yamin )、(Xamax ,Yamax )で表される2点を結ぶ線分を対角線とする長方形の領域GK(図中、一点鎖線で示す)が、ターゲット20の外接矩形候補として登録される。実際には、座標値Xamin 、Yamin 、Xamax およびYamax が作業メモリ74に格納される。
【0072】
このように、縮小画像IGを用いてターゲット20となり得る大まかな領域を抽出することにより、画像IM1の全画素に対して2値化処理およびラベリング処理を行う場合に比べて、処理速度を大幅に短縮でき、誤った基準点および補助点の抽出も防止できる。また低輝度側の麓部の輝度値を閾値G1として定めているので、高輝度側の情報を大幅に削減でき、低輝度であるターゲット20がさらに容易に抽出できる。なお、図12においては外接矩形候補GKは1つであるが、実際には複数の外接矩形候補GKが抽出され得る。
【0073】
図14および図15を参照して、2値化閾値候補検出サブルーチン(図9のステップS300)について説明する。図14は2値化閾値候補検出サブルーチンの詳細を示すフローチャートである。
【0074】
まず、ステップS302において、外接矩形候補算出サブルーチンによって決定された外接矩形候補GKの1つが、画像IM1から切り出される。具体的には、外接矩形候補GKを規定する(Xamin ,Xamax ,Yamin ,Yamax )の座標値が作業メモリ74から読み出され、外接矩形候補GKに相当する領域の輝度値IMg(j,k)が読み出される。
【0075】
次いで,ステップS304において外接矩形候補GKの輝度値IMg(j,k)について、図15に示すヒストグラムが生成され、ステップS306において山が検出される。ステップS308、S310およびS312においては、ステップS306により検出された複数の山、図15においてはMT21、MT22、MT23およびMT24のそれぞれについて麓部の高輝度側の輝度値G21、G22、G23およびG24が検出され、これが閾値候補として登録される。具体的には、輝度値に対する画素数の変化量が急激に小さくなり始めるときの輝度値が算出される。ステップS306において山が検出されなかった場合には、ステップS308において全ての山について終了したと判定され、ステップS310およびS312は実行されない。以上で外接矩形候補算出サブルーチンが終了し、図9のメインルーチンに戻る。
【0076】
このように、外接矩形候補算出サブルーチンにおいては、1つの外接矩形候補GKに対して、4つの閾値候補G21、G22、G23およびG24が得られる。これら閾値候補は、次の組合せ検出サブルーチンにおける2値化処理の閾値として用いられ、ここでは高輝度値である基準点および補助点を抽出するので、低輝度側の情報が削減できる山の麓部の高輝度側が閾値候補として登録される。
【0077】
図16〜図19を参照して、組合せ検出サブルーチン(図9のステップS400)について説明する。図16は組合せ検出サブルーチンの詳細を示すフローチャートである。ここでは外接矩形候補がGK、かつ閾値候補がG21に設定された場合について説明する。
【0078】
ステップS402においては、外接矩形候補GKの閾値候補G21を閾値とする2値化処理が行われ、ステップS404において高輝度画素についてラベリングが行われる。これにより、閾値G21より高い輝度値の連続する領域がグループとして抽出される。抽出された閾値G21より高輝度の各グループには、そのグループを構成する画素数および対応する2次元座標(j,k)が所定の変数に格納される。これにより、少なくとも基準点および補助点の合計数6以上の数のグループが抽出され得る。
【0079】
続いて、仮の重心算出サブルーチン(ステップS4100)が実行され、閾値G21より高輝度の各グループの重心座標が算出される。そして3点列−4点列検出サブルーチン(ステップS4200)において、3つのグループの重心座標が同一直線上に並ぶ場合には3点列に、4つのグループの重心座標が同一直線上に並ぶ場合には4点列に登録される。さらに、組合せ登録サブルーチン(ステップS4300)において、3点列の端点と4点列の端点との重心座標が一致するものが、ターゲット20の基準点22、24、26および補助点32、34、36であると判定され、1つの組合せとして登録される。以上で組合せ検出サブルーチンが終了し、図9のメインルーチンに戻る。
【0080】
このように、この組合せ検出サブルーチンではターゲット20の形状、即ち基準点22、24、26および補助点32、34、36の配列が利用される。なお、本実施形態ではターゲット20の柱状部材21に沿う点部材の配列が3、柱状部材23に沿う点部材の配列が4であるため、3点列および4点列の抽出が行われるが、ターゲット20上の点部材の配列数が変われば、それに応じて抽出される同一直線上の点列数も適宜変更される。
【0081】
図17は仮の重心算出サブルーチン(図16のステップS4100)の詳細を示すフローチャートである。ここでは、ステップS404において抽出された閾値G21より高輝度の各グループについてそれぞれの重心座標が算出される。
【0082】
まず、ステップS4102において、外接矩形候補GKにおける閾値G21より高輝度の全てのグループについてステップS4104以下の処理が終了したか否かが判定される。ステップS404においてグループが抽出されなかった場合や、全グループの処理が終了した場合には、仮の重心算出サブルーチンは終了し、図16の組合せ検出サブルーチンに戻る。未処理のグループがある場合には、その中の1つのグループが設定されステップS4104に進む。
【0083】
ステップS4104においては、変数SumX、SumYおよびSumIMgが初期化される。ステップS4106では、現在設定されているグループの全画素について以下のステップ4108〜S4112の処理が終了したか否かが判定され、終了した場合にはステップS4114に進み、未処理の画素があると判定されると、ステップS4108へ進む。
【0084】
ステップS4108において、1つのグループ内の所定の画素の輝度値IMg (j,k) と、その画素のXa座標jとの積が算出される。そして、この時点で既に変数SumXに格納されている値に積を加算した値が新たに変数SumXに格納される。同様に、ステップS4110において所定画素の輝度値IMg( j,k) と、その画素のYa座標kとの積が算出され、その時点で既に変数SumYに格納されている値に、積を加算した値が新たに変数SumYに格納される。さらに、ステップS4112において、所定画素の輝度値とその時点で変数SumIMgに格納されている値との和が新たに変数SumIMgに格納される。ステップS4112が終了するとステップS4106へ戻る。このように、ステップ4108〜S4112は1グループを構成する全画素に対して繰り返し実行される。
【0085】
ステップS4106〜S4112により、変数SumXには1つのグループを構成する各画素の輝度値とXa座標との積を累積した総和、即ち各画素の輝度値をXa方向の座標に基づいて重み付けした総和が格納される。同様に、変数SumYには各画素の輝度値をYa方向の座標に基づいて重み付けした総和が格納される。また、変数SumIMgには各画素の輝度値の総和が格納される。
【0086】
次にステップS4114が実行され、Xa方向に重み付けされた総和SumXを各画素の輝度値の総和SumIMgで除算した値が、グループの仮の重心のXa座標として決定される。さらにステップS4116ではYa方向に重み付けされた総和SumYを各画素の輝度値の総和SumIMgで除算した値が、グループの仮の重心のYa座標として決定される。ステップS4116が終了すると、ステップS4102に戻る。
【0087】
この仮の重心のXa座標およびYa座標は、厳密には真の重心に対して微少の誤差を生じるが、この仮の重心は後述の3点列−4点列検出サブルーチン(ステップS4200)および組合せ登録サブルーチン(ステップS4300)にのみ用いられるので、誤差は許容範囲内であり特に問題とはならない。真の重心のXa座標およびYa座標は、座標補正サブルーチン(図9のステップS500)において算出される。なお、本実施形態では輝度値IMg (j,k) による重み付けを行っているが、この重み付けの値を「1」とし、仮の重心の算出を簡略化して、算出時間を短縮してもよい。
【0088】
このように、仮の重心算出サブルーチンにおいては、所定の閾値候補G21以上の輝度値を有する外接矩形候補GK内の全てのグループについて、仮の重心座標が算出される。
【0089】
図18は、仮の重心算出サブルーチンに続いて処理される3点列−4点列検出サブルーチン(図16のステップS4200)の詳細を示すフローチャートである。上述したように、ターゲット20における基準点22、24、26および補助点32、34、36の配列により、画像IM1においてこれらは3つの点(24、36、26)から成る3点列と、この3点列に対して所定角度を有しかつ端点が一致する4点列(4点24、34、32および22から成る)との組合せとして認識される。ここでは3点列および4点列が抽出される。
【0090】
ステップS4202では、まず2つのグループの全組合せについて、ステップS4204以降の処理が実行されたか否かが判定される。例えばステップS404のラベリング(図16参照)により6グループが抽出されると、2つのグループの組合せ総数は15である。ステップS404においてグループが抽出されなかった場合や、全組合せについて処理が終了した場合、3点列−4点列検出サブルーチンは終了し、図16の組合せ検出サブルーチンに戻る。終了していないと判定されると、未だ処理されていない2グループの組合せが設定され、ステップS4204に進む。
【0091】
ステップS4204では、設定された2つのグループの仮の重心を含む線分が算出される。そして、ステップS4206において、算出された線分上に仮の重心を有するグループが検出される。このグループの検出においては、仮の重心の誤差を考慮して、所定の許容誤差範囲内であることとする。
【0092】
ステップS4208では、線分上に仮の重心を有するグループが3であるか否か、即ち選択した2グループ以外に1つのグループが検出されたか否かが判定され、グループ数が3に一致する場合は、ステップS4210においてこれら3グループが3点列に登録される。
【0093】
さらに、ステップS4212では、線分上に仮の重心を有するグループが4であるか否か、即ち選択した2グループ以外に2つのグループが検出されたか否かが判定され、グループ数が4に一致する場合は、ステップS4214においてこれら4つのグループが4点列に登録される。ステップS4214が終了すると、未処理の2グループの組合せに変更すべくステップS4202に戻る。なお、ステップS4208およびステップS4212において、グループ数が3または4に一致しない場合には、3点列または4点列に登録されない。
【0094】
例えば、外接矩形候補GKについて閾値候補G21より高輝度のグループが6つ検出され、これらグループの配列が基準点22、24、26および補助点32、34、36の配列に一致する場合、3点列は基準点22および補助点32、34に相当する組合せと、補助点32、34および基準点24に相当する組合せと、基準点24、補助点36および基準点26に相当する組合せとの3組が登録され、4点列は1組(基準点22、補助点32、34および基準点24)登録される。
【0095】
3点列および4点列の登録は、具体的には作業メモリ74の所定領域に、対応付けられたグループの名称(これはCPU54により適宜定義付けられる)、グループを構成する画素および対応する輝度値が格納される。
【0096】
図19は組合せ登録サブルーチン(図16のステップS4300)の詳細を示すフローチャートである。
【0097】
ステップS4302では3点列−4点列検出サブルーチンにより登録された全ての3点列に対してステップS4304以降の処理が終了したか否かが判定され、終了した場合にはこの組合せ登録サブルーチンが終了し、未だ処理されていない3点列がある場合には、その中の1組の3点列が選択され、ステップS4304に進む。
【0098】
ステップS4304では3点列−4点列検出サブルーチンにより登録された全ての4点列に対してステップS4306以降の処理が終了したか否かが判定され、終了した場合にはステップS4302に戻り、未だ処理されていない4点列がある場合にはその中の1組の4点列が選択され、ステップS4306に進む。
【0099】
ステップS4306では、選択された3点列および4点列のそれぞれ端点に相当するグループの仮の重心座標が、互いに一致するか否かが判定される。一致する場合にはステップS4308が実行される。
【0100】
ステップS4308では、3点列を構成するグループのうち、4点列と一致する端点と反対側の端点に相当するグループの仮の重心座標が、基準点22の写真座標を示す変数a1(xa1,ya1)に格納される。3点列および4点列に一致する端点に相当するグループの仮の重心座標は、基準点24の写真座標を示す変数a2(xa2,ya2)に格納される。さらに、4点列を構成するグループのうち、3点列と一致する端点と反対側の端点に相当するグループの仮の重心座標が、基準点26の写真座標を示す変数a3(xa 3,ya3)に格納される。そして、点a2から点a1へ向かうベクトルに対する、点a2から点a3へ向かうベクトルの成す反時計回りの角度θが算出される。
【0101】
なお、4点列を構成するグループのうち、端点ではなくかつ基準点22に相当すると判定されたグループの側にあるグループの仮の重心座標が、補助点32の写真座標を示す変数a4(xa4,ya4)に格納され、残りのグループの仮の重心座標が、補助点34の写真座標を示す変数a5(xa5,ya5)に格納される。3点列の中点に相当するグループの仮の重心座標は、補助点32の写真座標を示す変数a6(xa6,ya6)に格納される。
【0102】
ステップS4310では、角度θが所定角度範囲内であるか否か、即ち下限値Th1より大きくかつ上限値Th2より小さいか否かが判定される。これにより、選択された3点列および4点列の組合せが正しい組合せであると判断できる。なお、図4に示すターゲット20を用いる場合には、下限値Th1は0°であり、上限値は180°であるが、これらの値は経験に基づいて適宜変更可能である。範囲を狭くすれば、誤差の少ない基準点および補助点の組合せがさらに短時間で得られる。
【0103】
ステップS4310の角度条件を満たす場合、ステップS4312において選択された3点列および4点列の組合せは、基準点部材22、24、26および補助点32、34、36の相対関係を満たす組合せとして登録される。
【0104】
ステップS4310の終了後、あるいはステップS4306において3点列および4点列の端点が一致しなかった場合には、ステップS4304に戻り、未だ選択されていない4点列が新たに選択されて、既に選択されている3点列との組合せでステップS4306以降が再実行される。選択された3点列に対していずれの4点列との組合せが正しくなかった場合、即ちステップS4304で全ての4点列に対して処理が終了したと判定されると、ステップS4302に戻り、今度は未だ選択されていない別の3点列に変更され、ステップS4304以下が再実行される。このように3点列および4点列の組合せを変えながら、ステップS4306〜S4312が実行される。
【0105】
3点列および4点列の全組合せに対して処理が終了すれば、即ちステップS4302において全ての3点列に対して処理が終了したと判定されると、組合せ登録サブルーチンが終了し、組合せ検出サブルーチン(図16)に戻る。
【0106】
以上のように、組合せ検出サブルーチンでは、外接矩形候補算出サブルーチンで予め切り取られた領域に対して処理を行うので、全画像から抽出する従来の画像処理に比べて抽出誤差が少なく、かつ画像処理速度を速めることができる。
【0107】
図20〜図26を参照して、座標補正サブルーチン(図9のステップS500)について説明する。図20は座標補正サブルーチンの詳細を示すフローチャートである。
【0108】
まずステップS502では、組合せ検出サブルーチン(ステップS400)により求められた組合せについて、基準点または補助点に相当する6つの画素のグループそれぞれについて、ステップS504〜S5200が実行されたか否かが判定される。終了した場合にはこの座標補正サブルーチンが終了し、図9のメインルーチンに戻る。終了していない場合には、画像IM1において基準点22、24、26または補助点32、34、36に相当するグループの中から未処理のグループの1つが選択され、ステップS504へ進む。以降のステップS504〜S5200は、基準点22に相当するグループが選択された場合について説明する。
【0109】
ステップS504では、設定されたグループを含む領域(以下、近傍領域と呼ぶ)が画像IM1から切り出され、この近傍領域の輝度値IMg(j,k)が読み出される。図21は基準点22に相当するグループを含む13×10画素の近傍領域KRをマトリクス状に示す概念図であり、ハッチングの間隔が小さくなる領域ほど輝度が低いことを示す。なお近傍領域KRは図21では数段階に分かれて示されるが、実際には256階調を有する。そして近傍領域KRの輝度値IMg(j,k)について、図22に示すヒストグラムが生成される。
【0110】
この近傍領域KRは、少なくとも基準点22に相当するグループ、即ち高輝度領域(図21の白い領域)を含む大きさを有し、かつこれらの周囲に設けられた環状部材25に相当する低輝度領域より小さい領域である。従って、図22のヒストグラムでは、低輝度領域に相当する山MT31と、高輝度領域に相当する山MT32との2つが出現する。
【0111】
ステップS508では低輝度領域に相当する山MT31が検出され、ステップS510において、この山MT31の頂点部、即ち画素数が最大値をとるときの輝度値G3が、後述するステップS514の2値化処理における閾値として取得される。この閾値G3でもって2値化およびラベリング処理を行えば、閾値G3より高輝度の領域がグループとして抽出されるが、実際にはノイズ等により環状部材25に相当する領域の画素を共に抽出してしまうことがある。このため、2値化処理の前に、近傍領域KRに対してラプラシアン・フィルタ処理(ステップS512)が施される。
【0112】
ラプラシアン・フィルタ処理では、例えば図23に示す8近傍ラプラシアン・フィルタが用いられる。即ち、下記の式(10)によって各画素の輝度値IMg(j,k)が、周囲の8個の画素の輝度値を考慮した値KR(j,k)に変換される。
【数5】
【0113】
図24のグラフを参照して、ラプラシアン・フィルタ処理による効果を説明する。同図には、図21のXa方向(図の水平方向)のラインLXに関して、Xa座標と輝度値との関係が示されており、実線は処理前の輝度値、破線は処理後の輝度値が示される。図24に明らかなように、輝度値が高い領域はさらに高い輝度値に変換され、境界部分に相当する領域は閾値G3より低い輝度値に変換される。
【0114】
次に、ステップS514において近傍領域KRの輝度値IMg(j,k)は閾値G3で2値化され、ステップS516のラベリング処理により閾値G3より高い輝度値を有するグループが基準点22に相当する領域として抽出される。このように、2値化処理の前にラプラシアン・フィルタ処理を施すことにより、高輝度領域と低輝度領域との境界部分の輝度差が強調され、基準点22に相当する領域を高精度に抽出することができる。なお、図21の場合では基準点22に相当する1つのグループのみが抽出されるが、ノイズ等により複数のグループが抽出される場合もある。
【0115】
ステップS516が終了すると、ステップS5100において真の重心算出サブルーチンが実行される。真の重心算出サブルーチンでは、ラプラシアン・フィルタ処理が施された近傍領域KRから抽出され閾値G3より高い輝度値を有するグループのそれぞれについて高精度な重心の座標が算出される。このステップS5100によって求められた高精度な重心の座標を、ステップS4100において求められた仮の重心座標と区別するために、真の重心座標と呼ぶ。
【0116】
続いて、ステップS5200において重心補正サブルーチンが実行される。写真座標a1(xa1,ya1)には、仮の重心算出サブルーチン(ステップS4100)により求められた仮の重心座標が格納されており、ここで現在格納されている仮の重心座標と直前の真の重心算出サブルーチン(ステップS5100)によって求められた全グループの真の重心座標とがそれぞれ比較され、全グループの中から最も仮の重心座標に近いグループが選択される。そして、選択されたグループの真の重心座標が仮の重心座標より高精度な重心座標として、写真座標a1(xa1,ya1)に格納される。これにより写真座標a1(xa1,ya1)がさらに高精度の値に補正される。
【0117】
重心補正サブルーチン(ステップS5200)が終了すると、未だ処理されていないグループに変更すべく図20のステップS502に戻る。このように、ステップS504〜S5200は、基準点22、24、26および補助点32、34、36に相当するグループ全てについて繰り返し実行される。
【0118】
以上のように、座標補正サブルーチン(ステップS500)では所定の外接矩形候補、所定の2値化閾値候補および所定の組合せについて、基準点22、24、26および補助点32、34、36の写真座標ai(xai,yai)(i=1〜6)がさらに高精度の値に補正される。なお、所定の外接矩形候補、所定の2値化閾値候補および所定の組合せが適切なものでなければ、写真座標ai(xai,yai)は補正されない可能性が高くなる。
【0119】
図25は真の重心算出サブルーチン(図20のステップS5100)の詳細を示すフローチャートである。ここでは、ステップS516において抽出された閾値G3より高輝度の各グループについて、それぞれの輝度値および閾値G3を考慮した高精度の重心座標が算出される。
【0120】
なお、真の重心算出サブルーチンは、仮の重心算出サブルーチン(ステップS4100)とほぼ同じ処理流れであり、対応する処理については符号に1000を加算して示している。ステップS4100と同じ処理についてはここでは省略する。
【0121】
ステップS4100と異なる点は、ステップS5108およびステップS5110である。ステップS5108では、1つのグループ内の所定の画素の輝度値IMg(j,k)から閾値G3を差し引いた値と、その画素のXa座標jとの積が算出される。そして、この時点で既に変数SumXに格納されている値に、積を加算した値が新たに変数SumXに格納される。同様に、ステップS5110において所定画素の輝度値IMg(j,k)から閾値G3を差し引いた値と、この画素のYa座標kとの積が算出され、その時点で既に変数SumYに格納されている値に、積を加算した値が新たに変数SumYに格納される。
【0122】
このように、変数SumXには1つのグループを構成する各画素の輝度値から閾値G3を差し引いた値とXa座標との積を累積した総和、即ち各画素の輝度値と閾値G3との差をXa方向の座標に基づいて重み付けをした総和が格納される。同様に、変数SumYには各画素の輝度値と閾値G3との差をYa方向の座標に基づいて重み付けをした総和が格納される。
【0123】
ここで、重み付けの値として、各画素の輝度値から閾値G3を差し引いた値を用いると、ステップS4100のように各画素の輝度値のみを用いる場合よりも、高精度の重心座標が算出できる。
【0124】
ステップS5114では、グループの真の重心のXa座標が、Xa方向に重み付けされた総和SumXを各画素の輝度値の総和SumIMgで除算した値に更新される。ステップS5116において、グループの真の重心のYa座標が、Ya方向に重み付けされた総和SumYを各画素の輝度値の総和SumIMgで除算した値に更新される。
【0125】
以上のように、真の重心算出サブルーチン(ステップS5100)では閾値G3以上の輝度値を有する近傍領域KR内の各グループについて、輝度値IMgおよび閾値G3を考慮した真の重心座標がそれぞれ算出される。なお、この段階では基準点22に相当するグループだけでなく、近傍領域KR内のノイズ等がグループとして抽出される可能性があり、次に実行される重心補正サブルーチン(ステップS5200)により、これらノイズ等のグループが除去される。
【0126】
図26は重心補正サブルーチン(図20のステップS5200)の詳細を示すフローチャートである。
【0127】
ステップS5202では、許容誤差を示す変数MinLengthが初期化される。この変数MinLengthの初期値は、十分大きな値、例えば画像のXa方向に並ぶピクセル数に設定される。
【0128】
次にステップS5204が実行され、真の重心算出サブルーチン(ステップS5100)において算出された全てグループの真の重心座標について、ステップS5206〜S5210の処理が終了したか否かが判定される。処理が終了したと判定されると、この重心補正サブルーチンが終了し、図20の座標補正サブルーチン(ステップS500)に戻る。終了していなければ未だ処理されていない真の重心座標についてステップS5206〜S5210が実行される。
【0129】
ステップS5206では、現在写真座標a1(xa1,ya1)に格納されている仮の重心座標と、真の重心座標との重心間距離が算出され、この重心間距離が許容誤差MinLengthより小さい値か否かが判定される。
【0130】
重心間距離が許容誤差MinLength内であれば、ステップS5208に進み、許容誤差MinLengthはステップS5206で求められた重心間距離に更新され、ステップS5210において変数xa1およびya1の値はそれぞれ現在の真の重心座標のxa座標およびya座標の値に更新される。即ち、現在の真の重心の座標が基準点22の写真座標a1(xa1,ya1)として定められ、ステップS5204に戻る。重心間距離が許容誤差MinLengthより大きければ、写真座標a1(xa1,ya1)は補正されず、ステップS5204に戻る。
【0131】
このようにして、全グループの真の重心座標についてステップS5206〜S5210が実行されることにより、重心補正サブルーチン(ステップS520 0)が終了した時点で、仮の重心に最も近い真の重心が基準点22として定められ、真の重心座標が写真座標a1(xa1,ya1)に格納される。即ち、写真座標a1(xa1,ya1)は高精度な値に補正される。
【0132】
重心補正サブルーチン(ステップS5200)が終了すると、ステップS502に戻り、未だ未処理の基準点または補助点についてその写真座標ai(xai,yai)(i=2〜6)を高精度な値に補正すべくステップS504〜S5200が再実行される(図17参照)。さらに全ての基準点および補助点について処理が終了するとステップS500が終了し、次のステップS600が実行される(図9参照)。
【0133】
図27にはカメラパラメータ算出確認サブルーチン(ステップS600)の詳細が示され、ステップS500までの処理によって、所定の外接矩形候補、所定の2値化閾値候補および所定の組合せについて求められた写真座標ai(xai,yai)(i=1〜6)を用いて、カメラパラメータが決定される。
【0134】
まず、ステップS6100のカメラパラメータ算出サブルーチンが実行され、基準点22、24、26の写真座標ai(xai,yai)(i=1〜3)が前述の式(5)に代入され、カメラパラメータ、即ち図6に示すカメラ位置M1の基準座標(ΔX,ΔY,ΔZ)および光軸O1の傾き(α,β,γ)が逐次近似解法を用いて算出される。
【0135】
ステップS602では、ステップS6100で求められたカメラパラメータが所定の値に収束したか否かが判定され、収束しなければステップS604へ進み、収束したと判定されればステップS606へ進む。
【0136】
ステップS606、S6200およびS608では、ステップS6100において求められたカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)が式(3)および式(4)に代入され、補助点32、34、36のスクリーン座標pi(xpi,ypi)(i=4〜6)が算出される。そしてこのスクリーン座標piと、対応する写真座標ai(xai,yai)との距離が、所定の許容誤差Th3以内であるか否かが判定され、3つの補助点32、34、36全てについて許容誤差Th3以内であればステップS610へ、何れか1つでも許容誤差Th3以上であればステップS604へ進む。許容誤差Th3は例えば0.25ピクセルである。
【0137】
ステップS604では、確認結果がNG、即ちカメラパラメータの算出に失敗した旨を示す信号が返され、ステップS610では、確認結果がOK、即ちカメラパラメータの算出に成功した旨を示す信号が返される。以上で、カメラパラメータ算出確認サブルーチンが終了し、メインルーチンに戻る。
【0138】
カメラパラメータが高精度な値であればスクリーン座標piおよび写真座標aiは実質的に一致する。もし所定の外接矩形候補、所定の2値化閾値候補および所定の組合せが適切なものでなければ、座標補正サブルーチン(ステップS500)において写真座標ai(xai,yai)(i=1〜6)は補正されず、ステップS6100において算出されるカメラパラメータは精度の低い値となり、ステップS608において距離が許容誤差Th3を超える可能性が高くなる。外接矩形候補、2値化閾値候補および組合せの、少なくとも何れか1つが適切なものではなかったと判断できる。
【0139】
図28はカメラパラメータ算出サブルーチン(図27のステップS6100)の詳細を示すフローチャートである。
【0140】
ステップS6102において、カメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)が初期化される。次いで、ステップS6104において基準座標Ps1(−LT,0,0)、Ps2(0,0,0)、Ps3(0,0,LT)が式(3)に代入され、かつ式 (3)および式(4)のカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)に適当な値が代入され、これにより基準点22、24、26のカメラ座標Pci(Pcxi,Pcyi,Pczi)(i=1〜3)が算出される。
【0141】
ステップS6106において、式(1)および式(2)に基準点22、24、26のカメラ座標Pci(Pcxi,Pcyi,Pczi)(i=1〜3)が代入され、これにより基準点22、24、26のスクリーン座標pi(xpi,ypi)(i=1〜3)が求められる。
【0142】
ステップS6108では、画像IM1から自動抽出された写真座標ai(xai,yai)(i=1〜3)と、ステップS6106により求められたスクリーン座標pi(xpi,ypi)(i=1〜3)との差分値がそれぞれ算出され、さらにそれらの合計値dが算出される。
【0143】
ステップS6110では、合計値dが最小値であるか否かが判定され、最小値でない場合は、カメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)の値が変えられて、再びステップS6104〜S6108の処理が繰り返される。このようにして、合計値dが最小値となる、即ち写真座標aiとスクリーン座標piとが実質的に一致するようなカメラパラメータが算出される。
【0144】
ステップS6110において合計値dが最小であることが確認されたら、ステップS6112に進み、合計値dが最小値をとるカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)の値が作業領域74に格納され、カメラパラメータ算出サブルーチンが終了する。
【0145】
図29は補助点のスクリーン座標算出サブルーチン(図27のステップS6200)の詳細を示すフローチャートである。
【0146】
ステップS6202において、補助点32、34、36の基準座標Ps4({−LT/3},0,0)、Ps5({−2LT/3},0,0)、Ps6(0,0,{−LT/2})と、カメラパラメータ算出サブルーチン(ステップS6100)により算出されたカメラパラメータ(ΔX,ΔY,ΔZ,α,β,γ)の値が、式(3)および式(4)に代入され、これにより補助点32、34、36のカメラ座標Pci(Pcxi,Pcyi,Pczi)(i=4〜6)が算出される。
【0147】
次いで、ステップS6204において、補助点32、34、36のカメラ座標Pci(Pcxi,Pcyi,Pczi)(i=4〜6)が、式(1)および式(2)に代入され、これにより補助点32、34、36のスクリーン座標pi (xpi,ypi)(i=4〜6)が算出される。以上で補助点のスクリーン座標算出サブルーチンが終了し、図27のカメラパラメータ算出確認サブルーチンに戻る。
【0148】
以上の様に本実施形態によれば、ターゲット20の本体が無反射シートで覆われているので、画像IM1上において輝度の低いターゲット20に相当する領域を2値化処理等により容易に抽出できる。従って、基準点22、24、26および補助点32、34、36を画像IM1から抽出する際に、処理対象となる領域(外接矩形候補)を限定して抽出誤差を少なくできる。
【0149】
また本実施形態によれば、基準点22、24、26および補助点32、34、36が、周囲の環状部材25、27、29、33、35および37と比較して、極めて輝度が高いので、2値化処理等によって自動的に基準点22、24、26および補助点32、34、36を2値化処理等により容易に抽出できる。
【0150】
さらに、2値化処理の前にラプラシアン・フィルタ処理を施しており、基準点22、24、26および補助点32、34、36と外側の領域との境界領域が強調され、境界領域にある低輝度の画素も重心算出の対象にできる。従って、基準点22、24、26および補助点32、34、36の重心座標を高精度に求めることができる。また、重心座標算出の際に対象画素の輝度値から2値化処理に用いられた閾値を差し引いた値によって重み付けを行っており、重心座標の精度をさらに向上できる。したがって、高精度の基準点22、24、26および補助点32、34、36の座標を用いて極めて誤差の少ないカメラパラメータが求められ、高精度の測量図が得られる。
【0151】
また、本実施形態においては、通常の使用状態では考えられないカメラパラメータが算出された場合や、算出したカメラパラメータから逆算した補助点32、34、36のスクリーン座標piが実際に画像IM1から抽出された写真座標aiと大きな差がある場合には、抽出された基準点22、24、26および補助点32、34、36の写真座標aiが誤っていると判定されるので、基準点22、24、26および補助点32、34、36の画像IM1からの誤抽出が防止できる。
【0152】
また、本実施形態ではこれら基準点22、24、26および補助点32、34、36の画像IM1からの抽出が自動的に行われるので、オペレータが操作に煩わされることなく、高精度の基準点および補助点を短時間で抽出できる。
【0153】
【発明の効果】
本発明によると、基準点の高精度な写真座標が容易に求められるので、カメラパラメータおよび測量図の精度を向上させるとともに測量作業を簡略にすることができる。
【図面の簡単な説明】
【図1】本発明による写真測量画像処理方法の実施形態における写真測量の撮影状況を模式的に示す図であり、測量対象であるT字路を鉛直上方から見た水平面図である。
【図2】図1に示すカメラ位置M1において得られた画像IM1を概念的に示す図である。
【図3】図1に示すカメラ位置M2において得られた画像IM2を概念的に示す図である。
【図4】図1に示す撮影に用いられるターゲット20を拡大して示す斜視図である。
【図5】本実施形態に用いられる写真測量画像処理装置の全体構成を示すブロック図である。
【図6】図1に示すカメラ位置M1と、カメラの撮影光学系の結像面であるスクリーンSと、ターゲットとの位置関係を概念的に示す斜視図である。
【図7】図5に示す写真測量画像処理装置の表示装置における表示画面を概念的に示す図である。
【図8】図5に示す写真測量画像処理装置のCPUにおいて実行されるカメラパラメータ算出処理のメインルーチンの前半を示すフローチャートである。
【図9】図5に示す写真測量画像処理装置のCPUにおいて実行されるカメラパラメータ算出処理のメインルーチンの後半を示すフローチャートである。
【図10】図8に示す外接矩形候補算出サブルーチンの前半部分の詳細を示すフローチャートである。
【図11】図8に示す外接矩形候補算出サブルーチンの後半部分の詳細を示すフローチャートである。
【図12】画像IMおよび縮小画像IGを示す概念図である。
【図13】図12に示す縮小画像IGの輝度値に関する画素数のヒストグラムである。
【図14】図9に示す2値化閾値候補検出サブルーチンの詳細を示すフローチャートである。
【図15】図12に示す外接矩形候補GKの輝度値に関する画素数のヒストグラムである。
【図16】図9に示す組合せ検出サブルーチンの詳細を示すフローチャートである。
【図17】図16に示す仮の重心算出サブルーチンの詳細を示すフローチャートである。
【図18】図16に示す3点列−4点列検出サブルーチンの詳細を示すフローチャートである。
【図19】図16に示す組合せ登録サブルーチンの詳細を示すフローチャートである。
【図20】図9に示す座標補正サブルーチンの詳細を示すフローチャートである。
【図21】図12示す画像IMから基準点に相当するグループを含む近傍領域を切り出した状態を示す図であり、各画素をマトリクス状に示す概念図である。
【図22】図21に示す近傍領域の輝度値に関する画素数のヒストグラムである。
【図23】8近傍ラプラシアン・フィルタを概念的に示す図である。
【図24】図21に示すラインLXに関して、ラプラシアン・フィルタ処理前および処理後のXa座標と輝度値との関係を示すグラフである。
【図25】図20に示す真の重心算出サブルーチンの詳細を示すフローチャートである。
【図26】図20に示す重心補正サブルーチンの詳細を示すフローチャートである。
【図27】図9に示すカメラパラメータ算出確認サブルーチンの詳細を示すフローチャートであ る。
【図28】図27に示すカメラパラメータ算出サブルーチンの詳細を示すフローチャートである。
【図29】図27に示す補助点のスクリーン座標算出サブルーチンの詳細を示すフローチャートである。
【符号の説明】
10 カメラ
20 ターゲット
22、24、26 基準点
32、34、36 補助点
Claims (3)
- 所定の寸法形状のターゲットを共通に含む複数の画像のそれぞれについて、各画像を撮影したカメラの位置およびその光軸の傾きを含むカメラパラメータを算出し、前記画像内の共通の物点を当該各画像について指定し、前記カメラパラメータを用いて前記物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量用画像処理装置であって、
前記ターゲットが、他の被写体よりも相対的に輝度の高い表面を有し同一平面上に設けられた少なくとも3個以上の基準点および1個以上の補助点を備え、前記基準点が所定の配置に設けられており、
前記画像を構成する画素の輝度情報に基づいて、高い輝度情報を有する前記基準点および前記補助点に相当する画素のグループを抽出し、各グループの重心となる画素の前記画像における写真座標を算出する写真座標算出手段と、
前記写真座標算出手段により得られた前記基準点の写真座標と、前記基準点の所定の配置に基づいて、前記カメラパラメータを算出するカメラパラメータ算出手段と、
前記カメラパラメータ算出手段により算出された前記カメラパラメータと、前記基準点の所定の配置に基づいて、前記補助点の写真座標に実質的に一致し得るスクリーン座標を算出するスクリーン座標算出手段と、
前記写真座標算出手段により得られた前記補助点の写真座標と、前記スクリーン座標算出手段により得られた前記補助点のスクリーン座標とが所定の許容誤差範囲内であるか否かを判定する判定手段と
を備えることを特徴とする写真測量用画像処理装置。 - 所定の寸法形状のターゲットを共通に含む複数の画像のそれぞれについて、各画像を撮影したカメラの位置およびその光軸の傾きを含むカメラパラメータを算出し、前記画像内の共通の物点を当該各画像について指定し、前記カメラパラメータを用いて前記物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量用画像処理方法において、
他の被写体よりも相対的に輝度の高い表面を有し同一平面上に設けられた少なくとも3個以上の基準点および1個以上の補助点を備え、前記基準点が所定の配置に設けられたターゲットを用いて撮影を行う第1ステップと、
前記画像を構成する画素の輝度情報に基づいて、高い輝度情報を有する前記基準点および前記補助点に相当する画素のグループを抽出し、各グループの重心となる画素の前記画像における写真座標を算出する第2ステップと、
前記写真座標算出手段により得られた前記基準点の写真座標と、前記基準点の所定の配置に基づいて、前記カメラパラメータを算出する第3ステップと、
前記カメラパラメータ算出手段により算出された前記カメラパラメータと、前記基準点の所定の配置に基づいて、前記補助点の写真座標に実質的に一致し得るスクリーン座標を算出する第4ステップと、
前記写真座標算出手段により得られた前記補助点の写真座標と、前記スクリーン座標算出手段により得られた前記補助点のスクリーン座標とが所定の許容誤差範囲内であるか否かを判定する第5ステップと
を備えることを特徴とする写真測量用画像処理方法。 - 所定の寸法形状のターゲットを共通に含む複数の画像のそれぞれについて、各画像を撮影したカメラの位置およびその光軸の傾きを含むカメラパラメータを算出し、前記画像内の共通の物点を当該各画像について指定し、前記カメラパラメータを用いて前記物点の3次元座標を算出し、この3次元座標に基づいて測量図を生成する写真測量用画像処理プログラムにおいて、
前記ターゲットが、他の被写体よりも相対的に輝度の高い表面を有し同一平面上に設けられた少なくとも3個以上の基準点および1個以上の補助点を備え、前記基準点が所定の配置に設けられており、
前記画像を構成する画素の輝度情報に基づいて、高い輝度情報を有する前記基準点および前記補助点に相当する画素のグループを抽出し、各グループの重心となる画素の前記画像における写真座標を算出する写真座標算出ルーチンと、
前記写真座標算出手段により得られた前記基準点の写真座標と、前記基準点の所定の配置に基づいて、前記カメラパラメータを算出するカメラパラメータ算出ルーチンと、
前記カメラパラメータ算出手段により算出された前記カメラパラメータと、前記基準点の所定の配置に基づいて、前記補助点の写真座標に実質的に一致し得るスクリーン座標を算出するスクリーン座標算出ルーチンと、
前記写真座標算出手段により得られた前記補助点の写真座標と、前記スクリーン座標算出手段により得られた前記補助点のスクリーン座標とが所定の許容誤差範囲内であるか否かを判定する判定ルーチンと
を備える写真測量用画像処理プログラムを格納したことを特徴とする記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25195299A JP4043657B2 (ja) | 1999-09-06 | 1999-09-06 | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 |
US09/655,881 US6901161B1 (en) | 1999-09-06 | 2000-09-06 | Image-processing computer system for photogrammetric analytical measurement |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25195299A JP4043657B2 (ja) | 1999-09-06 | 1999-09-06 | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001074452A JP2001074452A (ja) | 2001-03-23 |
JP4043657B2 true JP4043657B2 (ja) | 2008-02-06 |
Family
ID=17230436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25195299A Expired - Fee Related JP4043657B2 (ja) | 1999-09-06 | 1999-09-06 | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6901161B1 (ja) |
JP (1) | JP4043657B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10142457B4 (de) * | 2001-08-31 | 2006-05-04 | Daimlerchrysler Ag | Digitale Bildmessung retroreflektierender Marken |
US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
FR2851833A1 (fr) * | 2003-02-27 | 2004-09-03 | Alcon Diaz Consulting | Procede de mesure du lineaire d'un produit dispose sur une etagere |
US7565004B2 (en) * | 2003-06-23 | 2009-07-21 | Shoestring Research, Llc | Fiducial designs and pose estimation for augmented reality |
US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
JP5370542B1 (ja) * | 2012-06-28 | 2013-12-18 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
ES2630387B1 (es) * | 2016-02-17 | 2018-02-26 | Ingenio 3000 Sl | Sistema para control geométrico de precisión de piezas tridimensionales de gran tamaño y método para dicho sistema |
CN106289184B (zh) * | 2016-11-01 | 2018-11-13 | 华中师范大学 | 一种无gnss信号和无控制点下无人机协同视觉形变监测方法 |
US10665035B1 (en) | 2017-07-11 | 2020-05-26 | B+T Group Holdings, LLC | System and process of using photogrammetry for digital as-built site surveys and asset tracking |
US11151782B1 (en) | 2018-12-18 | 2021-10-19 | B+T Group Holdings, Inc. | System and process of generating digital images of a site having a structure with superimposed intersecting grid lines and annotations |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631697A (en) * | 1991-11-27 | 1997-05-20 | Hitachi, Ltd. | Video camera capable of automatic target tracking |
JP2874710B2 (ja) * | 1996-02-26 | 1999-03-24 | 日本電気株式会社 | 三次元位置計測装置 |
US5832106A (en) * | 1996-05-22 | 1998-11-03 | Electronics And Telecommunications Research Institute | Method for camera calibration of range imaging system by use of neural network |
JPH10141951A (ja) | 1996-11-06 | 1998-05-29 | Asahi Optical Co Ltd | 写真測量用ターゲット |
US6108497A (en) * | 1996-11-06 | 2000-08-22 | Asahi Kogaku Kogyo Kabushiki Kaisha | Standard measurement scale and markers for defining standard measurement scale |
JP3417775B2 (ja) | 1996-12-13 | 2003-06-16 | ペンタックス株式会社 | 写真測量用ターゲット |
JPH10185562A (ja) | 1996-12-19 | 1998-07-14 | Asahi Optical Co Ltd | 写真測量用ターゲット |
JP3417776B2 (ja) | 1996-12-19 | 2003-06-16 | ペンタックス株式会社 | 写真測量用ターゲットおよびこの写真測量用ターゲットを用いた写真測量 |
JP3426459B2 (ja) * | 1997-02-03 | 2003-07-14 | ペンタックス株式会社 | 写真測量システムおよび写真測量方法 |
JP3758830B2 (ja) | 1997-02-18 | 2006-03-22 | ペンタックス株式会社 | 画像選択装置およびこの画像選択装置を備えたカメラ |
JP3758809B2 (ja) | 1997-05-07 | 2006-03-22 | ペンタックス株式会社 | 点光源装置およびこの点光源装置を用いた写真測量用ターゲット |
US6304669B1 (en) * | 1997-11-10 | 2001-10-16 | Asahi Kogaku Kogyo Kabushiki Kaisha | Photogrammetric analytical measurement system |
US6101455A (en) * | 1998-05-14 | 2000-08-08 | Davis; Michael S. | Automatic calibration of cameras and structured light sources |
US6437823B1 (en) * | 1999-04-30 | 2002-08-20 | Microsoft Corporation | Method and system for calibrating digital cameras |
-
1999
- 1999-09-06 JP JP25195299A patent/JP4043657B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-06 US US09/655,881 patent/US6901161B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6901161B1 (en) | 2005-05-31 |
JP2001074452A (ja) | 2001-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2919284B2 (ja) | 物体認識方法 | |
US6768813B1 (en) | Photogrammetric image processing apparatus and method | |
JP6173655B1 (ja) | 検出装置および検出方法 | |
EP0470530B1 (en) | Fingerprint verification method | |
JP3793100B2 (ja) | 情報処理方法、装置および記録媒体 | |
JP5002144B2 (ja) | 三次元計測用投影装置及びシステム | |
EP3644281A1 (en) | Calibration device, calibration chart, chart pattern generation device, and calibration method | |
CN109285145A (zh) | 基于智能手机的多株立木高度测量方法 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP2000227309A (ja) | 3次元位置姿勢センシング装置 | |
JP4043657B2 (ja) | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 | |
KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
JP5156601B2 (ja) | 形状測定装置およびプログラム | |
JP4848166B2 (ja) | 三次元計測用投影装置及びシステム | |
JP3690581B2 (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
JP3501610B2 (ja) | 三次元座標測定方法 | |
US6618497B1 (en) | Photogrammetric image processing apparatus and method | |
JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
JP4477713B2 (ja) | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 | |
JP4391629B2 (ja) | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 | |
JP3820157B2 (ja) | 写真測量システムと写真測量方法と写真測量プログラムが格納された記録媒体 | |
JP3851483B2 (ja) | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 | |
JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
CN111080689B (zh) | 确定面部深度图的方法和装置 | |
KR101026628B1 (ko) | 삼차원 계측시스템, 삼차원 계측방법 및 컬러코드 부착표식 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071114 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |