JP4149732B2 - ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム - Google Patents
ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム Download PDFInfo
- Publication number
- JP4149732B2 JP4149732B2 JP2002127512A JP2002127512A JP4149732B2 JP 4149732 B2 JP4149732 B2 JP 4149732B2 JP 2002127512 A JP2002127512 A JP 2002127512A JP 2002127512 A JP2002127512 A JP 2002127512A JP 4149732 B2 JP4149732 B2 JP 4149732B2
- Authority
- JP
- Japan
- Prior art keywords
- stereo
- plane
- region
- flat surface
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、地表を撮影した複数の航空写真,衛星画像等の画像から3次元モデルを生成するステレオマッチング方法、3次元計測方法及び3次元計測装置に関する。
【0002】
【従来の技術】
従来の写真測量では、計測対象を同種のカメラを用いて異なる二箇所の位置(もしくはそれ以上)から撮影し、各画像上で対応点を求め、三角測量の原理に基づいて3次元空間内の位置を決定する。
【0003】
3次元空間内の位置を自動的に決定する方法としていわゆるステレオマッチング方法が知られているが、従来のスレテオマッチング方法では、主として点や線単位で左右の画像をマッチングさせるものであった。このようなステレオマッチング方法では、ステレオ画像を構成する一方の画像内の1点もしくは規則的な格子上に区分された領域、あるいは線構造(エッジ)に着目し、それに対応する点もしくは領域、あるいは線構造を、もう一方の画像で探索してマッチングさせている。
【0004】
また、領域に対してその内部が平面であると仮定して自動マッチングを行う技術として、例えば特開2002−63580号公報に示す不定形窓によるステレオマッチング方法が知られている。
【0005】
さらに、領域内部の点の対応情報を最適化する方法として最小二乗マッチング(LSM:Least Square Matching)方法が知られている。
【0006】
【発明が解決しようとする課題】
しかしながら、上述の不定形窓によるステレオマッチング方法では、建物等の上面が水平の構造物を適用対象としていたため、不定形領域の平面の方向を水平に拘束しており、任意の方向の平面(例えば傾きのある平面等)を推定することは考慮されていなかった。
【0007】
また、上述のLSM方法では、平面の方向や位置について、拘束条件を設定することが困難であった。
【0008】
本発明は、上述の課題に鑑みてなされたものであり、多角形や画像のラスターマスクで指定される不定形の領域について、それが平面であるという拘束のもとに、面上もしくは図上の全ての点を精密に測定でき、ステレオ画像内に存在する平面領域を精確かつ自動的に計測することができるステレオマッチング方法、3次元計測方法及び3次元計測装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上述の問題を解決するために、本発明に係わるステレオマッチング方法は、
平坦な面で構成される構造物を含む第1及び第2のステレオ画像中の平面のパラメータを求めるステレオマッチング方法であって、
前記第1及び第2のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する前記第1のステレオ画像中の第1の領域を読み込むステップと、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと
を行うことを要旨とする。
【0010】
また、前記対応点は、
前記エピポールを結ぶ直線と前記平面の延長面とが交差する点であることを要旨とする。
また、前記推定は、非線形最小自乗法によって自動的に平面位置及び方向を推定することを要旨とする。
さらに、前記拘束条件は、前記平面の向きを含むことを要旨とする。
また、前記拘束条件は、前記平面上の少なくとも1点の位置を含むことを要旨とする。
【0011】
また、本発明に係る3次元計測方法は、平坦な面で構成される構造物を含む第1及び第2のステレオ画像中から前記構造物の3次元モデルを生成する3次元計測方法であって、
前記第1及び第2のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する第1のステレオ画像中の第1の領域を読み込むステップと、
指定された前記平坦な面に対応する前記第1のステレオ画像中の第1の領域を読み込むステップと、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する3次元モデル生成ステップと
を行うことを要旨とする。
【0012】
また、本発明に係わる3次元計測装置は、平坦な面で構成される構造物を含む第1及び第2のステレオ画像中から前記構造物の3次元モデルを生成する3次元計測装置であって、
前記第1及び第2のステレオ画像の標定要素を読み込む手段と、
指定された前記平坦な面に対応する第1のステレオ画像中の第1の領域を読み込む手段と、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段と、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する3次元モデル生成手段と
を備えたことを要旨とする。
【0013】
また、本発明に係わるステレオマッチング方法のプログラムは、平坦な面で構成される構造物を含む第1及び第2のステレオ画像中の平面のパラメータを求めるステレオマッチング方法のプログラムであって、
コンピュータに、
前記第1及び第2のステレオ画像の標定要素を読み込むステップ、
指定された前記平坦な面に対応する前記第1のステレオ画像中の第1の領域を読み込むステップ、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップ
としての機能を実行させることを要旨とする。
【0014】
また、本発明に係わる3次元計測のプログラムは、平坦な面で構成される構造物を含む第1及び第2のステレオ画像中から前記構造物の3次元モデルを生成する3次元計測のプログラムであって、
コンピュータが、
前記第1及び第2のステレオ画像の標定要素を読み込む手段、
指定された前記平坦な面に対応する第1のステレオ画像中の第1の領域を読み込む手段、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する3次元モデル生成手段
としての機能を実行することを要旨とする。
【0015】
【発明の実施の形態】
本発明は、例えば航空写真等の複数の画像から3次元モデルを生成する3次元計測装置に適用することができる。
【0016】
(構成)
本発明の一実施形態に係る3次元計測装置は、例えばプロセッサ(MPU)、メモリ、ハードディスクドライブ(HDD),光ディスクドライブ等の補助記憶装置、キーボード,ネットワークインターフェース(NIC)等の入力装置、ディスプレイ装置,画像信号出力インターフェース等の出力装置を備えるパーソナルコンピュータ,ワークステーション等の一般的な情報処理装置から構成することができる。
【0017】
このような情報処理装置は、例えばMPUが所定の制御プログラムを実行することにより、図1に示すように、入力されたステレオ画像を保持するステレオ画像保持部10と、入力された標定要素を保持する標定要素保持部20と、標定要素に従って変換関数を算出する変換関数算出部30と、ステレオ画像保持部10に保持されているステレオ画像をモニタ50に表示させる画像表示部40と、入力部60を介してポインティングデバイス61a,キーボード61b等から入力された指示情報に応じて不定形窓を設定する不定形窓設定部70と、同様に拘束条件を設定する拘束条件設定部80と、設定された不定形窓,拘束条件に応じてステレオ画像のマッチングを行って3次元モデルを生成するステレオマッチング部90と、生成された3次元モデルを保持する3次元モデル保持部100として機能する。
【0018】
ステレオ画像保持部10,標定要素保持部20及び3次元モデル保持部100は、例えば上述のメモリ,HDD上の所定の領域等で実現されている。
【0019】
また、この図1に示す例では、ソフトウェアによって各構成要素を実現しているが、同様の構成をハードウェアで構成することもできる。
【0020】
この3次元計測装置では、ステレオ写真に写る平面が中心投影の原理に基づき射影変換により、対応付けられることを利用し、その平面上にある3点(どの3点も一直線上にない)の対応関係についてエピポーラ条件を満たす拘束条件を設定することによって、その面の上での射影変換係数を自動的に決定する。以下、この方法を平面ステレオマッチング法と呼ぶ。
【0021】
また、この3次元計測装置では、平面上の3点のうちの1点もしくは2点の対応を固定するという拘束を加えることができる他、平面を任意の直線方向に平行もしくは垂直であるように拘束を設けることもできる。
【0022】
この射影変換係数を利用すれば、平面上の任意の点での対応関係がわかり、その座標を決定することによって平面の位置を決定できる。
【0023】
これにより、ステレオ画像内に写っている平面構造物を一方の画像で多角形として入力するだけで、実体視すること無しに平面で構成される構造物を簡単に入力できるステレオ計測システムが実現できる。
【0024】
以下、この3次元計測装置の動作を説明する。
【0025】
(動作)
このように構成された3次元計測装置は、例えば図2に示すように動作する。
【0026】
1.ステレオ画像及び標定要素の読み込み(S1)
まず、ステレオ画像保持部10にステレオ画像I1,I2を読み込み、標定要素保持部20に各々の画像I1,I2の標定要素を読み込む。ステレオ画像I1,I2は、例えば図3に示すように、地表等の同一の対象物を異なる視点すなわち異なる標定要素で撮影した画像である。
【0027】
ここで標定要素は写真撮影時の外部標定要素(投影中心位置・姿勢)及び内部標定要素(主点位置・焦点距離・画像解像度等)があり、これらを用いて地上座標と画像座標の間の変換を行う諸関数が与えられる。
【0028】
例えば、図6に示すように、平坦な面で構成される構造物の標定結果が既知の画像I1,I2に移っており、その構造物の面Aの輪郭が画像I1,上の多角Aで指定されているとする。このとき、自動ステレオマッチングにより面Aが属する3次元空間の平面(より正確には平面Aの縁の多角形の座標)を決定する方法を考える。なお、ここでいう平面Aは水平でなくとも良い。
【0029】
ここで、標定結果が既知とは、カメラの内部標定要素(焦点距離等)や外部標定要素(位置・姿勢)が既知であり、次の変換関数が利用できるとする。
【0030】
この変換関数は、
(1)3次元地上座標P(X,Y,Z)が投影される写真座標p(x,y)を算出するための変換関数が与えられている。
【0031】
p=F(P) (1)
と、
(2)画像上の点p(x,y)に対応する地上座標P(X,Y,Z)のX,Y,Zいずれかが既知のとき、その地上座標を求める変換関数が与えられている。
【0032】
すなわち、
P=Gx(p,X) (2a)
P=Gy(p,Y) (2b)
P=Gz(p,Z) (2c)
と
画像I1 に関する上記変換関数をGx1、Gy1、Gz1、画像I2 に関する上記変換関数をGx2、Gy2、Gz2とする。
【0033】
(3)2つの画像上の対応点p1(x1,y1)及びp2(x2,y2)に対応する地上座標P(X,Y,Z)を算出するための変換関数が与えられている。
【0034】
P=G12(p1,p2) (3)
である。
【0035】
前述の変換関数の詳細について説明を補充する。
【0036】
1.1.地上座標Pから画像座標(写真座標)pへの変換
まず、例えば図4に示すように、中心投影画像(すなわち個々の画像)の投影中心の座標をO0=t[x0y0z0]、カメラの地上座標に対する回転角をT=t[ωφκ]、これらを合わせたもの(外部標定要素)をE=t[tTtP0]とする(左肩のtは転置行列もしくは転置ベクトルであることを示す)。このとき、地上座標P=t[xyz]はカメラ座標系(投影中心に相対的な3次元座標系)prで次式で表される。
【0037】
Pr=t[xryrzr]=R(T)(P−O0) (4)
ここで、R(T)は、次式で定義される回転行列である。
【0038】
【数1】
(5)
また、Pが投影される写真座標(投影中心の像(主点)を原点とする2次元座標)p=t[xy]は次式で表される。
【0039】
【数2】
(6)
ここでcは焦点距離である。式(4)及び式(6)より、カメラの外部標定要素と地上点の3次元座標がわかれば、それに対応する写真座標がわかることを意味する。
【0040】
1.2.写真座標pから地上座標Pへの変換
また、写真座標pが、p=(x,y)であるとすると、これはカメラ座標ではprp=(x,y,−c)である。pに写っている点の標高がZであるとすると、この点の地上座標系における3次元座標P(X,Y,Z)を求める関数Gz(p,Z)は次式で与えられる。
【0041】
【数3】
(7)
同様に、関数Gx(p,X)及びGy(p,Y)が次のように定義される。
【0042】
【数4】
(8)
ここで、画像I1に関する式(7)〜式(9)の変換関数をGx1,Gy1,Gz1、画像I2に関する式(7)〜式(9)の変換関数をGx2,Gy2,Gz2とする。
【0043】
【数5】
(9)
1.3.対応する写真座標から地上座標pへの変換
例えば図5に示すように、地上座標P(X,Y,Z)が、画像I1上の点p1(x1,y1)と画像I2上の点p2(x2,y2)に投影されているとする。
【0044】
このとき、以下の手順でp1とp2から地上座標P(X,Y,Z)を求めることができる。
【0045】
画像I1の画像投影中心をO1、回転行列をR1、焦点距離をc1、画像I2の画像投影中心をO2、回転行列をR2、焦点距離をc2とする。p1とp2のカメラ座標はそれぞれprp1(x1,y1,−c1)及びPrp2(x2,y2,−c2)であり、これを使ってO1からp1への単位方向ベクトルV1,及びO2からp2への単位方向ベクトルV2を地上座標系で表すと、
【数6】
(10)
【数7】
(11)
である。Pは、O1とp1を結ぶ直線L1と、O2とp2を結ぶ直線L2の交点である。この交点をO1、O2、V1、V2で表すと、
【数8】
(12)
である。
【0046】
実際には標定要素や点座標の測定値には誤差が含まれており、直線L1とL2は一般に交わらない。このような場合には、L1とL2が最小距離となる点PL1及びPL2の中点をPであると定義するのが適当である。すなわち、
P=G12(p1,p2)=(pL1+pL2)/2 (13)
なお、PL1及びPL2は次式で求められる。
【0047】
【数9】
(14)
1.4.写真座標と画像座標の変換
コンピュータ上で測定できる座標は画像座標ppix=(xpix,ypix)であり、写真座標pではない。航空写真画像の場合、画像の4隅に写真座標が既知の指標が写しこまれているので、これらの画像座標を測定することによりppixとpの関係を得ることができる。この関係は順変換・逆変換ともアフイン変換もしくはヘルマート変換で与えることができる。つまり、写真座標と画像座標の間の変換と上述の議論を組み合わせれば、上記の(1)、(2)、(3)の式の画像座標と地上座標間の座標変換関数群を得ることができる。
【0048】
2.ステレオ画像表示(S2)
また、画像表示部40は、ステレオ画像保持部10に保持されたステレオ画像を画面上に表示する。これにより、モニタ50の表示画面上には、スレテオ画像I1(図1中の符号51a),I2(同51b),カーソル(51c)等が表示される。
【0049】
3.多角形の入力(S3)
このように、ステレオ画像が表示されると、この3次元計測装置のオペレータは、ポインティングデバイス61a等を操作して、適宜、表示画面上のカーソル51cを移動させ、ステレオ画像I1(51a)あるいはI2(51b)上で、入力対象となる構造物を構成する多角形51dを指定する。オペレータによって指定された多角形を示す情報は、入力部60を介して不定形窓設定部70に供給され、この不定形窓設定部70が多角形あるいは画像マスク等によって不定形の領域(不定形窓)を設定する。
【0050】
4.オプション拘束条件入力(S4)
上述のように多角形を入力すると共に、入力部60は、マッチングを行うためのオプション拘束条件の有無の指示をオペレータに要求し、オペレータからの指示があれば、オプションの種類、各々のオプションにおいて必要な情報を入力する。拘束条件の有無,各オプション及び必要な情報は、例えばメモリ,HDD等に保持されている次のテーブルに従って指定される。
【0051】
【数10】
例えば入力部60は、まず、オプションの有無の入力を確認する画像を画像表示部40を介してモニタ50に表示させ、オプションが有ると指示された場合には、オプションのタイプを確認する画像を表示させる。これに応じてオプションのタイプが指示されると、上述のテーブルに従って、必要となる条件を取得し、この条件(パラメータ)の入力を要求する画像を表示させる。
【0052】
各オプションのタイプとパラメータの対応は以下のようになっている。
【0053】
・拘束条件無し(図7)
拘束条件無しの場合には、パラメータの入力は行わず、次の平面ステレオマッチング法による計測に進む。
【0054】
・1点固定(図8)もしくは2点固定(図9)
平面上の対応を固定したい点。平面マッチングの際、求める面がこの対応点から計算される3次元座標を必ず通るように拘束する。固定対応点は、入力した多角形点列上の点を指定する。
【0055】
・平面に平行な直線方向指定(図10)
平面に平行な直線の方向を指定する。指定の方法としては、次の4つが考えられる。
【0056】
▲1▼直線の方向ベクトルの数値指定
3次元方向ベクトルを数値で指定する。例えば、直線の方向が鉛直の場合は、方向ベクトルは(0,0,1)である。
【0057】
▲2▼2点の対応点
2組の対応点の3次元座標を計算し、これらの点を結ぶベクトルを直線方向とする。
【0058】
▲3▼平面に垂直な他の面の指定
既に決定済みの面がこれから決定する面に垂直な場合は、その面を指定する。その面の法線ベクトルが、求める面に平行な直線方向である。
【0059】
▲4▼座標軸の指定
Z軸等、特定の座標紬に平行の場合は、その紬を指定する。
【0060】
・平面方向の指定(図11)
平面の法線の向きを指定する。指定の方法は、平面に平行な直線の方向ベクトルの指定方法と同じである。
【0061】
以上のように、オペレータからオプションのタイプとパラメータが入力されると、入力部60はオプションのタイプとパラメータを示す情報を拘束条件設定部80に供給する。拘束条件設定部80は供給された情報に従って拘束条件を設定する。
【0062】
5.平面ステレオマッチング法による計測(S5)
上述のように拘束条件が設定されると、ステレオマッチング部90は、平面ステレオマッチング法によって、多角形を平面であると仮定して多角形等によって指定された不定形の領域の内部について自動的に平面ステレオマッチングを行う。
【0063】
上術の図6中の平面Aを表現する適当なパラメータをDとし、画像I1上の多角形A内の点p1iに対する画像I2上の対応点p2iをDとp1iの対応関数Hで表す。
【0064】
p2i=H(p1i,D) (15)
ここで、多角形A内におけるI1とI2の画素値の差を合計した次の評価関数を定義する。
【0065】
χ(D)=Σei(D)2 (16)
ei(D)=I2(H(p1i,D))−I1(p1i) (17)
式(18)の積算は多角形A内の画像I1の画素全てについて行うものとする。評価関数χを最小化するDを最適化手法で求めれば、平面Aを決定することができる。
【0066】
5.1.平面AのパラメータD
I1とI2の投影中心をO1及びO2、I1上の点をp1、I2上のp1の対応点をp2とすると、例えば図12に示すように、p2は必ず三角形O1O2p1のなす平面と画像I2の交わる直線上になければならない。この直線を、p1のエピポーララインと呼ぶ。
【0067】
例えば図13に示すように、平面A上の点Q1,Q2,Q3が投影されるI1上の位置をp1(1),p1(2),p1(3)、I2上の対応点をp2(1),p2(2),p2(3)とする。なお、これらの点は面Aの内部あるいは周上の点だけではなく、面Aの外側の仮想平面A上の点でもよい。p’2(1)及びp”2(1)がp1(1)のエピポーラ線上にあり、同様にp’2(2)及びp”2(2)がp1(2)のエピポーラ線上に、p’2(3)及びp”2(3)がp1(3)のエピポーラ線上にそれぞれあるとすれば、p2(1),p2(2),p2(3)は実数パラメータの組D=[D1D2D3]を用いて、次のように表すことができる。
【0068】
【数11】
(18)
Dを決めるとp2(1),p2(2),p2(3)が決まり、前方交会によりQ1,Q2,Q3が決まる。空間内の3点が求まれば、それを通る平面が一意に決定されるので、パラメータDは、平面Aを決定するパラメータと等価である。
【0069】
なお、p’2(1),p’2(2),p’2(3)を初期対応点、p”2(1),p”2(2),p”2(3)を補助対応点と呼ぶ。
【0070】
5.2.対応関数Hの導出
例えば図14に示すように、平面A上のQのI1とI2の像をp1=(x1,y1)及びp2=(x2,y2)とすると、p1とp2の関係は射影変換になることが知られ、上述の式(17)中の対応関数Hは射影変換である。この射影変換Hは射影変換係数(a1,…,a8)を用いて以下の式で表される。
【0071】
x2=(a1・x1+a2・y1+a3)/(a7・x1+a8・y1+1) (19)
y2=(a4・x1+a5・y1+a6)/(a7・x1+a8・y1+1) (20)
射影変換係数は、4組の対応点から決定することができる。上述の5.1.において示したように、パラメータDによって3組の対応点が決まる。そこで、以下ではもう一組の対応点がカメラの幾何学的配置から決まることを示し、対応関数Hを具体的に決定する。
【0072】
5.2.1.エピポールの対応
例えば図15に示すように、I1とI2の投影中心O1及びO2を結ぶ直線O1O2とI1の画像平面の交点をE1、I2の画像平面との交点をE2とする。E1とE2は互いの投影中心が写る点であり、エピポールと呼ばれる。実はエピポールは平面Aと直線O1O2の交点QEの像でもある。つまり、2つのエピポールは平面Aに関する対応点の一つである。エピポールには次のような性質がある。
【0073】
(1)エピポールは平面Aの取り方によらず、カメラの幾何学のみに依存する。
【0074】
エピホールは互いの投影中心が写る点なので、平面Aの取り方によらない。
【0075】
(2)全てのエピポーララインはエピポールを通る。
【0076】
エピポーララインとは、2つの投影中心と一方の画像上の点の3点がなす平面と、もう一方の画像平面の交線であった。また、エピポールは投影中心を結ぶ線と画像平面の交点であるので、必ず上記交線上にある。つまり、エピポールは全てのエピポーラライン上にある。
【0077】
(3)画像平面と投影中心を結ぶ直線が平行ならエピポールは無限遠点となる。
【0078】
平行であれば当然交点はない。このとき、全てのエピポーララインは平行となる。つまり、エピポールはエピポーララインの方向の無限遠点であると考えられる。
【0079】
なお、画像I1及びI2のエピポールE1及びE2は、上述の式(4)に投影中心を適用することによって得られる。
【0080】
E1=F1(P2) (21)
E2=F2(P1) (22)
5.2.2.Dを用いた射影変換Hの算出方法
(a)エピポールが無限遠点でない場合
上述の式(19)及び式(20)から、射影変換係数(a1,…,a8)に関する以下の1次方程式を得ることができる。
【0081】
x1・a1+y1・a2+a3−x2・x1a7−x2・y1・a8=x2 (23)
x1・a4+y1・a5+a6−y2・x1a7−y2・y1・a8=y2 (24)
さて、p1(1),p1(2),p1(3)と上述の式(20)で与えられる対応点p2(1),p2(2),p2(3)に式(23)及び式(24)を適用すれば、(a1,‥.,a8)に関する1次方程式が各点について2つ、合計で6つ与えられる。これに加えて、エピポールの対応をp1(4)及びp2(4)として加えれば、全部で8つの独立な一次方程式が得られる。これらの方程式を整理すると、Mを8×8の行列、Vを8次元ベクトルB=t[a1,a2,a3,a4,a5,a6,a7,a8]として、
M・B=V (25)
と表すことができる。この結果、射影変換係数Bは次式で与えられる。
【0082】
B=M−1・V (26)
(b)エピポールが無限遠点の場合
以下、同次座標を用いて射影変換を表すことによって、無限遠点の対応関係も統一的に記述できることを示す。
【0083】
同次座標表現(x1,y1,1)及び(x2,y2,1)を用いると、上述の式(19)及び式(20)は次のように表される。
【0084】
【数12】
(27)
ここで等号
【数13】
は、等号の両側のベクトルの比が等しい事を意味する。すなわち、
【数14】
(28)
である。
【0085】
【数15】
(29)
に注意すれば、(X,Y,0)は、方向(X,Y)の無限遠点を表現することがわかる。
【0086】
ここでt[XYZ]及びt[X’Y’Z’]を対応点の同次座標表現とすると、
【数16】
(30)
となり、式(25)と式(30)より、
X’:Y’:Z’=(a1・X+a2・Y+a3・Z):(a4・X+a5・Y+a6・Z):(a7・X+a8・Y+Z) (31)
となる。これより、もしZ’≠0ならば、
X’/Z’=(a1・X+a2・Y+a3・Z)/(a7・X+a8・Y+Z) (32)
Y’/Z’=(a4・X+a5・Y+a6・Z)/(a7・X+a8・Y+Z) (33)
となる。これらを係数(a1,…,a8)について整理すると、
Z’・X・a1+Z’・Y・a2+Z’・Z・a3−X’・X・a7−X’・X・a8=X’・Z’ (34)
Z’・X・a4+Z’・Y・a5+Z’・Z・a6−Y’・X・a7−Y’・X・a8=Y’・Z’ (35)
である。またZ’=0ならば、
X’:Y’=(a1・X+a2・Y+a3・Z):(a4・X+a5・Y+a6・Z)(36)
(a7・X+a8・Y+Z)=0 (37)
となる。これらを係数(a1,…,a8)について整理すると、
Y’・X・a1+Y’・Y・a2+Y’・Z・a3−X’・X・a4−X’・Y・a5−X’・Z・a6=0(38)
X・a7−Y・a8=0 (39)
である。これらの式(38)及び式(39)を使えば、同次座標表現された無限遠点のエピポールの対応からも、(a1,…,a8)に関する1次方程式を導き出せる。例えば、エピポーララインが両画像でX軸に平行な直線になる場合は、X方向の無限遠点、即ち(1,0,0)と(1,0,0)が対応する。これを式(38)及び式(39)に適用すれば、
a4=0,a7=0となる。
【0087】
5.3.最小自乗法による最適化
5.3.1.Gauss−Newton法による非線形最小自乗法
評価関数χを最小化するDをGauss−Newton法による非線形最小自乗法で求める。Gauss−Newton法では、最適化時のパラメータの修正量△D=[△D1,△D2,△D3]を次の式で与える。
【0088】
(tJ・J)・ΔD=−tJ・e (40)
ここで、Jはヤコビ行列である。また、全てのモデル上の点において重みは等しいとみなす。なお、Jは、
【数17】
(41)
で与えられる。ここで、nはサンプルの個数であり、この場合は積算する画素の個数である。
【0089】
また、
e=t[e1e2…en] (42)
である。
【0090】
上述の変数Dの次元は3であり、tJ・Jは3×3の行列になるtJ・Jのj行k列成分(tJ・J)(j、k)は、次の加算式で与えられる。
【0091】
【数18】
(43)
ここで、Dj・DkはDのj番目及びk番目の成分である。
【0092】
また、式(40)の右辺−tJ・eは3行1列の縦ベクトルになる。このベクトルのj行成分(−tJ・e)jも、次のような加算式で表される。
【0093】
【数19】
(44)
行列tJ・JをK、ベクトル−tJ・eをWとおけば、式(40)は次のように置き換えられる。
【0094】
K・ΔD=W (45)
この式(45)の△Dは連立1次方程式で、K及びWが計算できれば解くことができる。△Dを用いて、次の式でDを更新する。
【0095】
【数20】
D+ΔD⇒D (46)
この処理を評価関数χの変化量がある閾値(△χ)になるまで繰り返し、最適なDを求めることができる。
【0096】
5.3.2.パラメータDと射影変換Hに基づく∂ei/∂Dの導出方法
最小自乗法によって、上述の式(16)を最小化するパラメータDを求めるためには、∂ei/∂Dとeiを計算することが必要となる。eiは、上述の5.2.で求めた射影変換Hを上述の式(17)に適用すればよい。以下、∂ei/∂Dの導出方法について説明する。
【0097】
p1i=(xi,yi)、p2i=(xi′,yi′)とおくと、式(17)より、
【数21】
(47)
となる。ここで、∂I2/∂xi’及び∂I2/∂yi’は画像I2のx及びy方向の微分係数であり、数値微分が可能である。
【0098】
【数22】
及び
【数23】
は上述の式(24)及び式(25)より、
【数24】
(48)
である。また、上述の式(26)の両辺をDjで微分すると、
【数25】
(49)
であるから、
【数26】
(50)
が得られる。∂M/∂Dj及び∂V/∂Djは、上述の式(18),式(34)及び式(35),式(38)及び式(39)を用いて求めることができる。
【0099】
以上より∂ei/∂Dを求めることができる。
【0100】
5.4.様々な拘束条件下の平面ステレオマッチング
3次元空間内において、平面に拘束条件を与え、その条件のもとで平面を決定する場合を考える。
【0101】
5.4.1.平面上の1点を3次元的に拘束する場合(1点固定)
平面上の1点を3次元的に拘束することは、すなわち平面上の点対応を1点与えることである。この固定点の対応をp1(3)及びp2(3)とおき、求めるパラメータの自由度を減らすことができる。この際、求めるバラメータはD=[D1,D2]となる。
【0102】
5.4.2.平面上の2点を3次元的に拘束する場合
平面上の2点を3次元的に拘束するのは、平面上の点対応を2点与えることと同等となる。つまり、2つの拘束点の対応をp1(2)とp2(2)、及びp1(3)とp2(3)として与えることにより自由度を減らすことができる。この際、求めるパラメータはD=[D1]となる。
【0103】
なお、この場合は、最小自乗法を適用せず、Dを適当な範囲で順次変化させてχ(D)を計算し、その最小を与えるDoptを求める方がよい。
【0104】
5.4.3.平面に平行な直線方向を指定する場合
例えば図16に示すように、平面をある直線方向に平行に拘束すると、その直線方向の無限遠点(消失点)はこれらの平面上の対応点となり得る。消失点を左右画像で求めると、これらをp1(3),p2(3)として与えたことと等価になり、求めるパラメータをD=[D1,D2]に減らすことができ尋。
【0105】
例えば空撮写真による写真測量の場合、建物の壁面等の鉛直面が典型的に多く存在する。このような鉛直壁面については、鉛直方向の消失点(鉛直点)を対応点とすることができる。
【0106】
なお、直線の方向ベクトルをvとすると、その方向の画像I1,I2上の消失点Ev1及びEv2は、上述の式(6)を用いて次のように求めることができる。
【0107】
【数27】
(51)
ここで、P1及びP2は、画像I1及びI2の投影中心である。
【0108】
5.4.4.平面方向を指定する場合
平面の方向を指定する場合とは、別の平面に平行になるよう拘束することである。
【0109】
例えば図17に示すように、平行な2平面Π0とΠ1の間で求める平面を最適化することを考える。このとき、次の定理が成立する。
【0110】
[定理1]平面Π0とΠ1は平行で、Π0及びΠ1を対応させる射影変換係数行列をそれぞれHΠ0、HΠ1とする。このとき、パラメータDを用いて得られる射影変換係数H(D)
【数28】
(52)
は、Π0とΠ1に平行な平面の射影変換を与える。
【0111】
この式(52)のDを0と1の間で変化させると、Π0とΠ1に平行な任意の平面の射影変換係数及び評価関数χ(D)を順次計算することができる。評価関数χ(D)を最小にするDが最適解Doptである。
【0112】
5.5.具体的な実装例
ここでは、多角形Aで指定される平面Aを決定し、最終的に面Aの輪郭の三次元形状を算出する方法を具体的に示す。実装方法は、対応点を利用した方法と、平面方向を指定した場合の2つに分かれる。対応点を利用した方法は、平面方向を指定した場合以外の全てのケースに適用される。
【0113】
5.5.1. 対応点を利用した計算方法
5.5.1.1.必要情報の設定(図18中のS11)
以下の必要情報を設定する。
【0114】
(1)面を指定する多角形
上述のS3において、ステレオ画像のいずれかの上でなぞられた多角形(画像座標列)で、平面構造物の面の外周を示す。なぞられた方の画像をI1、もう一方をI2とする。
【0115】
(2)画像の標定要素
上述のS1で入力された標定要素である。
【0116】
(3)面の概略奥行き
面Aの概略奥行きZaである。
【0117】
(4)対応点情報(S12)
上述のS4で入力された拘束条件に応じて4点の対応点情報を設定する。4点目には上述のエピポールを自動設定することができる。各対応点情報の設定方法は、例えば上述の拘束条件タイプによって以下の表のように分類される。
【0118】
【数29】
a.設定方法1(推定による自動設定)
左画像上の点p1(k)の指定と、その初期対応点p’2(k)と補助対応点p”2(k)を自動設定する(kは対応点番号)。一般にp1(k)は面を指定した多角形Aの頂点である。
【0119】
また、p’2(k)はp1(k)の対応点位置の近辺にある点で、概略奥行きZaと上述の式(6)及び式(7)を使って次の式で求める。
【0120】
【数30】
(53)
P”2(k)はp’2(k)以外の任意のエピポーラライン上の点でよく、エピポールそのものでもよい。
【0121】
b.設定方法2(固定対応点を設定)
ユーザが特定の点の対応を固定したい場合の方法である。固定したい対応点をp1(k)とp2(k)に設定する。
【0122】
c.設定方法3(エピポールを設定)
I1とI2のエピポールE1とE2をそれぞれp1(k)とp2(k)に設定する。
【0123】
d.設定方法4(消失点を設定)
求める平面が平行な直線方向vのI1とI2上の消失点Ev1とEv2をそれぞれp1(k)とp2(k)に設定する。
【0124】
5.5.1.2.画像の読み込み(S13)
画像I1と画像I2をステレオ画像保持部10から読み込む。多角形Aを与えられている方の画像をI1とする。
【0125】
5.5.1.3.微分画像の計算(S14)
画像のx方向微分∂I2/∂xi’及びy方向微分∂I2/∂yi’を計算する。
【0126】
5.5.1.4.パラメータDの初期値の設定(S15)
パラメータDを全て0に設定する。
【0127】
5.5.1.5.微分値の計算と積算(S16)
画像I1の指定多角形内の各画素について∂ei/∂Dとeiを計算し、積算する事によって行列tJ・Jとベクトル−tJ・eを計算する。
【0128】
5.5.1.6.パラメータDの更新(S17)
式(45)及び式(46)に従ってパラメータDを更新する。
【0129】
5.5.1.7.収束判定(S18)
パラメータDの変化△Dが閾値Dthより小さくなるか、収束計算のループ回数が閾値Lthより大きくなった場合、そのときのDを最適解Doptとして出力し、収束計算を終了する。条件を満たさない場合は、微分値の計算と積算(S16)に戻る。
【0130】
5.5.1.8.多角形座標の三次元変換(S19)
Doptで与えられる射影変換Hにより、画像I1上の多角形の各点に対応する画像I2上の対応点を計算し、更に上述の式(13)によって各点の三次元座標を計算する。
【0131】
5.5.2. 2平面方向を指定する場合の計算方法
5.5.2.1.必要情報の設定(図19中のS21)
以下の必要情報を設定する。
【0132】
(1)面を指定する多角形
上述のS3において、ステレオ画像のいずれかの上でなぞられた多角形(画像座標列)で、平面構造物の面の外周を示す。なぞられた方の画像をI1、もう一方をI2とする。
【0133】
(2)画像の標定要素
上述のS1で入力された標定要素である。
【0134】
(3)面の概略奥行き
面Aの概略奥行きZaである。
【0135】
(4)法線方向
上述のS4で入力された求める平面に平行な平面の単位法線方向v=(vx,vy,vz)である。
【0136】
5.5.2.2.射影変換係数計算(S22)
まず、多角形Aの重心座標Agを求め、次の式で平面の概略重心Piniを次の式で求める。
【0137】
【数31】
(54)
△vを適当な正の実数として、求める平面が、例えば図20に示すように、pini+△v・vを通る平面Π0とPini−△v・vを通る平面Π1の間に存在するとする。これらの二つの平面の方程式は次式で表される。
【0138】
【数32】
(55)
Π0とΠ1のそれぞれについて、面上の適当な4点(どの3点も一直線上にない)を求め、これらを各画像に投影した4組の対応点から射影変換係数を求めたものをそれぞれHΠ0、HΠ1とする。
【0139】
5.5.2.3.画像の読み込み(S23)
画像I1と画像I2を外部記憶装置から読み込む。多角形を与えられている方の画像を画像I1とする。
【0140】
5.5.2.4.パーラメータDの初期値の設定(S24)
D=0 (56)
とおく。また、最適解の初期値としてDopt=0とおき、評価関数χの最小値の初期値としてχminに十分大きな値を設定しておく。
【0141】
5.5.2.5.射影変換係数の算出(S25)
上述の式(52)に基づき、Dに対応する射影変換係数Hを求める。
【0142】
5.5.2.6.評価関数の算出(S26)
上述の式(16)によって評価関数χを求める。
【0143】
5.5.2.7.最小判定とχmin・Doptの算出(S27,S28)
もしχ<χminならば、DoptをDで、χminをχで置き換える。
【0144】
5.5.2.8.Dの更新(S29)
Dに正の加算値△Dを加える。
【0145】
5.5.2.9.ループ終了判定(S30)
D>1ならば、ループを終了する。そうでないならば、「射影変換の算出」(S25)に戻る。
【0146】
5.5.2.10.多角形座標の三次元変換(S31)
Doptで与えられる射影変換Hにより、上述の式(15)によって画像I1上の多角形の各点に対応する画像I2上の対応点を計算し、さらに上述の式(13)によって各点の三次元座標を計算する。
【0147】
以上の処理により、多角形等で指定された不定形の領域の内部の各点に3次元座標が与えられる。この後、多角形の計測を続けて行うか否かを判定し(図2中のS6)、多角形の計測を続けて行う場合は上述のS3(多角形の入力)に戻り、行わない場合には次のS7(3次元モデルの出力)に進む。
【0148】
6.3次元モデル出力(S7)
以上のように、ステレオマッチングが終了すると、3次元モデル保持部100には、例えば各3次元多角形の各頂点の座標等が3次元モデルとして格納された状態となる。このようなデータは、例えば外部からの要求に応じて出力する。
【0149】
(効果)
以上説明したように、この3次元計測装置では、多角形や画像のラスターマスクで指定される不定形の領域について、それが平面であるという拘束のもとに、面上もしくは図上の全ての点を精密に測定できる。このため、傾きを有する平面についても平面のパラメータを求めることができる。これにより、ステレオ画像内に存在する平面領域を精確かつ自動的に計測することができる。
【0150】
また、この3次元計測装置では、上述のように、平面が通る1つないし2つの点を拘束したり、平面の向きをある直線方向に平行もしくはある平面に平行になるように拘束したりして最適な平面を求めることができる。これにより、ステレオマッチングに必要なパラメータ数を減少させ、入力あるいは演算の負荷を低減させることができる。
【0151】
なお、以上の説明では、航空写真から3次元モデルを作成するシステムに本発明を適用した例について説明したが、本発明の適用対象は、これに限定されるものではなく、例えばステレオ写真による建物形状の精密計測、3次元モデルの生成等にも本発明を適用することができる。
【0152】
【発明の効果】
本発明に係るステレオマッチング方法では、傾きを有する平面についてもステレオマッチングを行うことできる。これにより、ステレオ画像内に存在する平面領域を精確かつ自動的に計測することができる。
【0153】
また、本発明に係る3次元計測方法及び3次元計測装置では、傾きを有する平面についてもステレオマッチングを行って3次元モデルを生成することができる。ことにより、多角形の厳密な計測位置を、ステレオ画像を実体視することなしに計測することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る3次元計測装置の構成例を示すブロック図である。
【図2】前記3次元計測装置の動作を示すフローチャートである。
【図3】ステレオ画像の例を示す図である。
【図4】エリアセンサの幾何学的特性の例を示す図である。
【図5】エリアセンサの幾何学的特性の例を示す図である。
【図6】画像中の多角形と実際の平面の関係の例を示す図である。
【図7】拘束条件を指定するオプションの入力の例を示す図である。
【図8】拘束条件を指定するオプションの入力の例を示す図である。
【図9】拘束条件を指定するオプションの入力の例を示す図である。
【図10】拘束条件を指定するオプションの入力の例を示す図である。
【図11】拘束条件を指定するオプションの入力の例を示す図である。
【図12】エピポーララインを示す概念図である。
【図13】パラメータDを示す概念図である。
【図14】平面上の点の対応を示す概念図である。
【図15】エピポールを示す概念図である。
【図16】消失点における対応を示す概念図である。
【図17】平面方向を拘束する場合を示す概念図である。
【図18】平面ステレオマッチング処理を示すフローチャートである。
【図19】平面ステレオマッチング処理を示すフローチャートである。
【図20】2平面の決定を示す概念図である。
【符号の説明】
10…ステレオ画像保持部、
20…標定要素保持部、
30…変換関数算出部、
40…画像表示部、
50…モニタ、
60…入力部、
70…不定形窓設定部、
80…拘束条件設定部、
90…ステレオマッチング部、
100…3次元モデル保持部
Claims (9)
- 平坦な面で構成される構造物を含む第1及び第2のステレオ画像中の平面のパラメータを求めるステレオマッチング方法であって、
前記第1及び第2のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する前記第1のステレオ画像中の第1の領域を読み込むステップと、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと
を行うことを特徴とするステレオマッチング方法。 - 前記対応点は、
前記エピポールを結ぶ直線と前記平面の延長面とが交差する点であることを特徴とする請求項1記載のステレオマッチング方法。 - 前記推定は、非線形最小自乗法によって自動的に平面位置及び方向を推定することを特徴とする請求項1又は2記載のステレオマッチング方法。
- 前記拘束条件は、前記平面の向きを含むことを特徴とする請求項1、2又は3記載のステレオマッチング方法。
- 前記拘束条件は、前記平面上の少なくとも1点の位置を含むことを特徴とする請求項1、2、3又は4記載のステレオマッチング方法。
- 平坦な面で構成される構造物を含む第1及び第2のステレオ画像中から前記構造物の3次元モデルを生成する3次元計測方法であって、
前記第1及び第2のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する第1のステレオ画像中の第1の領域を読み込むステップと、
指定された前記平坦な面に対応する前記第1のステレオ画像中の第1の領域を読み込むステップと、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する3次元モデル生成ステップと
を行うことを特徴とする3次元計測方法。 - 平坦な面で構成される構造物を含む第1及び第2のステレオ画像中から前記構造物の3次元モデルを生成する3次元計測装置であって、
前記第1及び第2のステレオ画像の標定要素を読み込む手段と、
指定された前記平坦な面に対応する第1のステレオ画像中の第1の領域を読み込む手段と、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールが前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段と、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する3次元モデル生成手段と
を有することを特徴とする3次元計測装置。 - 平坦な面で構成される構造物を含む第1及び第2のステレオ画像中の平面のパラメータを求めるステレオマッチング方法のプログラムであって、
コンピュータに、
前記第1及び第2のステレオ画像の標定要素を読み込むステップ、
指定された前記平坦な面に対応する前記第1のステレオ画像中の第1の領域を読み込むステップ、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップ
としての機能を実行させるためのステレオマッチング方法のプログラム。 - 平坦な面で構成される構造物を含む第1及び第2のステレオ画像中から前記構造物の3次元モデルを生成する3次元計測のプログラムであって、
コンピュータが、
前記第1及び第2のステレオ画像の標定要素を読み込む手段、
指定された前記平坦な面に対応する第1のステレオ画像中の第1の領域を読み込む手段、
前記第1の領域に対応する前記第2のステレオ画像中の第2の領域を、前記第1及び第2の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する3次元モデル生成手段
としての機能を実行するための3次元計測のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002127512A JP4149732B2 (ja) | 2002-04-26 | 2002-04-26 | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002127512A JP4149732B2 (ja) | 2002-04-26 | 2002-04-26 | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003323603A JP2003323603A (ja) | 2003-11-14 |
JP4149732B2 true JP4149732B2 (ja) | 2008-09-17 |
Family
ID=29541603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002127512A Expired - Fee Related JP4149732B2 (ja) | 2002-04-26 | 2002-04-26 | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4149732B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4635746B2 (ja) * | 2005-07-05 | 2011-02-23 | 株式会社豊田中央研究所 | 画像認識装置 |
JP4807583B2 (ja) * | 2007-03-29 | 2011-11-02 | 本田技研工業株式会社 | 射影変換収束演算処理方法 |
JP5088627B2 (ja) * | 2008-04-30 | 2012-12-05 | 国際航業株式会社 | マルチマッチング方法 |
JP2011169658A (ja) * | 2010-02-17 | 2011-09-01 | Mitsubishi Electric Corp | 撮影位置特定装置および撮影位置特定方法 |
JP5065455B2 (ja) * | 2010-07-30 | 2012-10-31 | アジア航測株式会社 | 地物の3次元データ生成方法及び地物の3次元データ生成システム |
KR102281184B1 (ko) | 2014-11-20 | 2021-07-23 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
CN112344875B (zh) * | 2020-10-15 | 2022-06-14 | 上海交通大学 | 一种涡轮叶片自动测量规划方法 |
KR102520189B1 (ko) * | 2021-03-02 | 2023-04-10 | 네이버랩스 주식회사 | 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템 |
CN113538599A (zh) * | 2021-07-30 | 2021-10-22 | 联合汽车电子有限公司 | 神经网络标定效能评估方法、装置、介质、设备及车辆 |
-
2002
- 2002-04-26 JP JP2002127512A patent/JP4149732B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003323603A (ja) | 2003-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11200734B2 (en) | Method for reconstructing three-dimensional space scene based on photographing | |
JP6057298B2 (ja) | 迅速な3dモデリング | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
JP2013539147A5 (ja) | ||
JPH10221072A (ja) | 写真測量システムおよび写真測量方法 | |
KR20060113514A (ko) | 화상 처리 장치 및 화상 처리 방법, 프로그램, 및 기록매체 | |
JP2005308553A (ja) | 三次元画像計測装置及び方法 | |
JP2011215082A (ja) | 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム | |
JP4149732B2 (ja) | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム | |
JP2002015310A (ja) | 点群に面をフィッティングする方法およびモデリング装置 | |
KR101996226B1 (ko) | 피사체의 3차원 위치 측정 장치 및 그 방법 | |
JP4236202B2 (ja) | モデリング装置およびカメラパラメータの計算方法 | |
JP4282361B2 (ja) | 写真測量方法および写真測量プログラム | |
JP2006300656A (ja) | 画像計測方法、装置、プログラム及び記録媒体 | |
KR100457080B1 (ko) | 영상에 의한 암반사면 절리의 기하학적 특성조사방법 | |
JP2006059165A (ja) | 3次元モデリング装置、幾何学パターン、3次元モデリングデータの生成方法、3次元モデリングプログラム、記録媒体 | |
JP2005140623A (ja) | 画像計測方法、装置、プログラム及び記録媒体 | |
JP2004170277A (ja) | 3次元計測方法、3次元計測システム、画像処理装置、及びコンピュータプログラム | |
JPH10240939A (ja) | カメラキャリブレーション方法 | |
JP2020187626A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US12033406B2 (en) | Method and device for identifying presence of three-dimensional objects using images | |
US20220343661A1 (en) | Method and device for identifying presence of three-dimensional objects using images | |
JP2003177019A (ja) | 自由撮影によるカメラの姿勢算出方法 | |
JP2002015307A (ja) | 形状モデルの生成方法 | |
JP2003177017A (ja) | 写真測量方法および写真測量プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080626 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4149732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |