JPH11306356A - 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体 - Google Patents

画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体

Info

Publication number
JPH11306356A
JPH11306356A JP10111192A JP11119298A JPH11306356A JP H11306356 A JPH11306356 A JP H11306356A JP 10111192 A JP10111192 A JP 10111192A JP 11119298 A JP11119298 A JP 11119298A JP H11306356 A JPH11306356 A JP H11306356A
Authority
JP
Japan
Prior art keywords
dimensional
image
screen
corresponding point
processing step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10111192A
Other languages
English (en)
Inventor
Kazunori Nakano
和典 中野
Junichi Taguchi
順一 田口
Yasue Nomoto
野本　　安栄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP10111192A priority Critical patent/JPH11306356A/ja
Publication of JPH11306356A publication Critical patent/JPH11306356A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 （修正有） 【課題】従来技術では、衛星や航空機などの上空から地
表を撮影した２つの画像より緯度、経度および高度を計
測する場合、一方の画像の座標を基準として他の画像を
射影変換してマッチング処理しており、対応点の視差と
高度が比例関係にはならなかった。このため、大まかな
高度が既知である対応点を容易に探索することができ
ず、また３次元位置からマッチングに失敗した点（間違
った対応点）を見つけ出し修正する際にも、容易に修正
することができなかった。 【解決手段】地球上の地表を原点とし原点の緯度方向お
よび経度方向と同方向の２軸を持つ地表の座標平面とす
るスクリーンを設定して、各々の撮影画像をスクリーン
に投影するスクリーン投影処理を実行する。対応点を探
索するマッチング処理は、そのスクリーンに投影した画
像で行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、衛星画像あるいは
航空写真から地形図を作成する分野や、撮影画像から３
次元位置を算出する３次元形状計測分野に適用する３次
元計測方法および装置、並びに該方法に係るプログラム
を記憶した記憶媒体に関する。
【０００２】
【従来の技術】複数の画像から３次元位置を計測する３
次元計測技術の従来技術としては、高木幹雄、下田陽久
監修「画像解析ハンドブック」、594頁から605頁、（東
京大学出版会、平成３年１月発行）に記載された技術な
どがある。かかる従来技術では、２つ以上の撮影画像を
用いた３次元計測は、各画像の対応点を探索するマッチ
ング処理を行い、その対応点の画像座標より対象物空間
上の３次元座標を計算することにより行っている。
【０００３】図４に、従来の３次元計測方法の概略を示
す。以下、図に従い説明する。図において、画像Ｌ４０
０上の点ＰＬ(uL,vL)４０４および画像Ｒ４０１上の点
ＰＲ(uR,vR)４０５が対応点であるとする。すなわち、
撮影カメラをＯＬ４０２に位置させて撮影した画像Ｌ４
００上の点ＰＬ４０４が点Ｐを映した点であり、撮影カ
メラをＯＲ４０３に位置させて撮影した画像Ｒ４０１上
の点ＰＲ４０５が同じ点Ｐを映した点である。この両点
ＰＬ，ＰＲと撮影カメラの投影中心（撮影位置）ＯＬ４
０２およびＯＲ４０３とがなす線分ＯＬＰＬおよびＯＲ
ＰＲを求め、これらの線分ＯＬＰＬおよびＯＲＰＲが交
わる交点Ｐ(x,y,z)４０６を求めることにより、３次元
位置を計測する。
【０００４】このとき、画像Ｌ４００上の点ＰＬ４０４
に対応するもう一方の画像Ｒ４０１上の点ＰＲ４０５
は、２つの画像の投影中心ＯＬ４０２，ＯＲ４０３とＰ
Ｌ４０４とが作る平面と画像Ｒ４０１とが交わる直線上
にあり、この直線をエピポーラライン４０７とよぶ。
【０００５】画像Ｌ４００上の点ＰＬ４０４と画像Ｒ４
０１上の点ＰＲ４０５すなわち対応点を求めるには、エ
ピポーララインに沿って画像を再配列すれば、対応点の
探索が１次元ですみ、マッチング処理のアルゴリズムが
単純になることが、従来技術として知られている。この
ため、従来は、画像Ｌ４００のなす平面の画像座標(uL,
vL)を基準として画像Ｒ４０１を画像Ｌ４００のなす平
面に射影変換してマッチング処理を行っていた。すなわ
ち、画像Ｌ４００のuL軸方向をエピポーラライン４０７
とし、画像Ｒ４０１のみ再配列した画像Ｒ’４１１を作
成し、マッチング処理を行っていた。
【０００６】
【発明が解決しようとする課題】前記従来技術では、衛
星や航空機などの上空から地表を撮影した２つの画像よ
り緯度、経度、および高度を計測する場合、一方の画像
の座標を基準として他の画像を射影変換してマッチング
処理しており、対応点の視差と高度が比例関係にはなら
なかった。このため、大まかな高度が既知である対応点
を容易に探索することができず、また、３次元位置から
マッチングに失敗した点（間違った対応点）を見つけ出
し修正する際にも、容易に修正することができなかっ
た。
【０００７】本発明の目的は、上述の従来技術における
問題点に鑑み、複数の撮影画像を所定のスクリーンに投
影することにより対応点の視差と高度が比例関係になる
ようにし、大まかな高度が既知である対応点を容易に探
索することができるとともに、マッチングに失敗した点
を見つけ出し容易に修正することができるような３次元
計測方法および装置、並びに該方法に係るプログラムを
記憶した記憶媒体を提供することにある。
【０００８】
【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る３次元計測方法は、複数の位置から
センサで撮影した各撮影画像に映った物体や場所に基づ
いて、各々の画像を撮影した時のセンサの位置を各々求
める標定処理ステップと、地表から任意の高度に設定し
た原点に対し、該原点から地表に平行な平面内にｘ軸お
よびｙ軸の２軸を持つ座標平面を設定してスクリーンと
して定義し、前記各々の撮影画像を該スクリーンに投影
するスクリーン投影処理ステップと、前記スクリーンに
投影した画像から対応点を探索するマッチング処理ステ
ップと、探索した対応点から、該対応点の３次元位置を
算出する３次元位置算出処理ステップとを備えたことを
特徴とする。
【０００９】請求項２に係る３次元計測方法は、複数の
位置からセンサで撮影した各撮影画像に映った物体や場
所に基づいて、各々の画像を撮影した時のセンサの位置
を各々求める標定処理ステップと、地表から任意の高度
に設定した原点に対し、該原点から地表に平行な平面内
にｘ軸およびｙ軸の２軸を持つ座標平面を設定してスク
リーンとして定義し、前記各々の撮影画像を該スクリー
ンに投影するスクリーン投影処理ステップと、前記スク
リーンに投影した画像から対応点を探索するマッチング
処理ステップと、探索した対応点から、該対応点の３次
元位置を算出する３次元位置算出処理ステップと、算出
した対応点の３次元位置を用いて、２次元等間隔に配置
したメッシュの各点における３次元位置を補間推定する
補間処理ステップと、該２次元等間隔に配置したメッシ
ュの各点における３次元位置を用いて３次元モデルを作
成し、該３次元モデルに前記撮影画像を貼り付けて３次
元鳥瞰図を作成する３次元鳥瞰図作成処理ステップと、
作成した３次元鳥瞰図を任意の３次元視点で表示し、前
記マッチング処理ステップにおける対応点の探索間違い
を発見して修正するステップとを備えたことを特徴とす
る。
【００１０】請求項３に係る発明は、請求項１または２
において、前記スクリーン投影処理ステップの後に、エ
ピポーララインを求め、前記スクリーン投影した各画像
を回転して、エピポーララインが前記スクリーンのいず
れかの軸と平行となる画像を作る画像回転処理ステップ
を設けたことを特徴とする。
【００１１】請求項４に係る発明は、請求項１または２
において、前記マッチング処理ステップは、対応点の対
応関係が見やすくなるように前記スクリーンに投影した
各画像の色を変更し重ね合わせて画像表示するステップ
を含むことを特徴とする。例えば、前記スクリーンに投
影した複数の画像の各々に単色の色を割り当て、各画素
の輝度を割り当てた単色の輝度に変え、スクリーンに投
影した画像各々を重ね合わせて画像表示したり、前記ス
クリーンに投影した３つの画像各々に、赤と緑および青
の各々の色を割り当て、各画素の輝度を割り当てた単色
の輝度に変え、該スクリーンに投影した画像各々を重ね
合わせて画像表示するとよい。さらに、前記スクリーン
に投影した２つの画像各々に、赤と緑および青の３つの
色の中から１つずつ色を割り当て、各画素の輝度を割り
当てた色の輝度に変え、３つの色の余りの色を各画素の
輝度の１／２の値をその色の輝度に変え、スクリーンに
投影した画像各々を重ね合わせて画像表示するようにし
てもよい。
【００１２】請求項５に係る発明は、請求項２におい
て、前記３次元鳥瞰図作成処理ステップは、作成した３
次元鳥瞰図で対応点の探索間違いが発見し易くなるよう
に前記各撮影画像の色を変更して３次元鳥瞰図を作成す
るステップを含むことを特徴とする。例えば、前記３次
元鳥瞰図の作成に用いる複数の画像の各々に単色の色を
割り当て、各画素の輝度を割り当てた単色の輝度に変
え、３次元鳥瞰図を作成したり、前記３次元鳥瞰図の作
成に用いる３つの画像各々に、赤と緑および青の各々の
色を割り当て、各画素の輝度を割り当てた単色の輝度に
変え、３次元鳥瞰図を作成するとよい。さらに、３次元
鳥瞰図の作成に用いる２つの画像各々に、赤と緑および
青の３つの色の中から１つずつ色を割り当て、各画素の
輝度を割り当てた色の輝度に変え、３つの色の余りの色
を各画素の輝度の１／２の値をその色の輝度に変え、３
次元鳥瞰図を作成するようにしてもよい。
【００１３】請求項６に係る発明は、請求項２におい
て、前記３次元鳥瞰図作成処理ステップは、前記３次元
モデルに前記撮影画像のそれぞれを貼り付けた画像を交
互にフリックして表示し、あるいは修正前の画像と修正
後の画像を交互にフリックして表示するステップを含む
ことを特徴とする。
【００１４】請求項７に係る３次元計測装置は、複数の
位置からセンサで撮影した各撮影画像に映った物体や場
所に基づいて、各々の画像を撮影した時のセンサの位置
を各々求める標定処理手段と、地表から任意の高度に設
定した原点に対し、該原点から地表に平行な平面内にｘ
軸およびｙ軸の２軸を持つ座標平面を設定してスクリー
ンとして定義し、前記各々の撮影画像を該スクリーンに
投影するスクリーン投影処理手段と、前記スクリーンに
投影した画像から対応点を探索するマッチング処理手段
と、探索した対応点から、該対応点の３次元位置を算出
する３次元位置算出処理手段とを備えたことを特徴とす
る。
【００１５】請求項８に係る３次元計測装置は、複数の
位置からセンサで撮影した各撮影画像に映った物体や場
所に基づいて、各々の画像を撮影した時のセンサの位置
を各々求める標定処理手段と、地表から任意の高度に設
定した原点に対し、該原点から地表に平行な平面内にｘ
軸およびｙ軸の２軸を持つ座標平面を設定してスクリー
ンとして定義し、前記各々の撮影画像を該スクリーンに
投影するスクリーン投影処理手段と、前記スクリーンに
投影した画像から対応点を探索するマッチング処理手段
と、探索した対応点から、該対応点の３次元位置を算出
する３次元位置算出処理手段と、算出した対応点の３次
元位置を用いて、２次元等間隔に配置したメッシュの各
点における３次元位置を補間推定する補間処理手段と、
該２次元等間隔に配置したメッシュの各点における３次
元位置を用いて３次元モデルを作成し、該３次元モデル
に前記撮影画像を貼り付けて３次元鳥瞰図を作成する３
次元鳥瞰図作成処理手段と、作成した３次元鳥瞰図を任
意の３次元視点で表示し、前記マッチング処理手段によ
る対応点の探索間違いを発見して修正する手段とを備え
たことを特徴とする。
【００１６】請求項９に係る発明は、複数の撮影画像か
ら３次元位置を算出する３次元計測方法に係るプログラ
ムを格納した記憶媒体であって、該プログラムは、複数
の位置からセンサで撮影した各撮影画像に映った物体や
場所に基づいて、各々の画像を撮影した時のセンサの位
置を各々求める標定処理ステップと、地表から任意の高
度に設定した原点に対し、該原点から地表に平行な平面
内にｘ軸およびｙ軸の２軸を持つ座標平面を設定してス
クリーンとして定義し、前記各々の撮影画像を該スクリ
ーンに投影するスクリーン投影処理ステップと、前記ス
クリーンに投影した画像から対応点を探索するマッチン
グ処理ステップと、探索した対応点から、該対応点の３
次元位置を算出する３次元位置算出処理ステップとを備
えたことを特徴とする。
【００１７】請求項１０に係る発明は、複数の撮影画像
から３次元位置を算出する３次元計測方法に係るプログ
ラムを格納した記憶媒体であって、該プログラムは、複
数の位置からセンサで撮影した各撮影画像に映った物体
や場所に基づいて、各々の画像を撮影した時のセンサの
位置を各々求める標定処理ステップと、地表から任意の
高度に設定した原点に対し、該原点から地表に平行な平
面内にｘ軸およびｙ軸の２軸を持つ座標平面を設定して
スクリーンとして定義し、前記各々の撮影画像を該スク
リーンに投影するスクリーン投影処理ステップと、前記
スクリーンに投影した画像から対応点を探索するマッチ
ング処理ステップと、探索した対応点から、該対応点の
３次元位置を算出する３次元位置算出処理ステップと、
算出した対応点の３次元位置を用いて、２次元等間隔に
配置したメッシュの各点における３次元位置を補間推定
する補間処理ステップと、該２次元等間隔に配置したメ
ッシュの各点における３次元位置を用いて３次元モデル
を作成し、該３次元モデルに前記撮影画像を貼り付けて
３次元鳥瞰図を作成する３次元鳥瞰図作成処理ステップ
と、作成した３次元鳥瞰図を任意の３次元視点で表示
し、前記マッチング処理ステップにおける対応点の探索
間違いを発見して修正するステップとを備えたことを特
徴とする。
【００１８】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。
【００１９】まず、第１の実施の形態として、本発明を
衛星画像の処理に適用した例について説明する。衛星
は、地球上の周回軌道上を回り、地表上の同一地点を前
後等、別の視点から撮影して複数枚の画像を得ることが
できる。以下、本願で用いる座標および用語の定義を簡
単に述べた後、３次元計測の手順について説明し、さら
にその変形例を説明する。
【００２０】まず、座標および用語の定義について説明
する。
【００２１】地表上の地点は、緯度、経度、および高度
の座標系で表現できる。ある地表上の地点を原点とし
て、原点の緯度方向および経度方向を各々ｙ軸およびｘ
軸とし、ｙ軸およびｘ軸と垂直な軸をｚ軸とすると、地
表上の３次元直交座標系となる。この３次元直交座標系
を地表座標系と定義する。緯度、経度、および高度の座
標系と地表座標系とは、一定の範囲内であれば一対一の
関係がある。ここで、ある地表上の地点を原点とした３
km四方程度の地平面について考える。３km四方程度の地
表面の端の地点では、地表座標系のｚ値と高度値との誤
差が数十cmである。このため、地表座標系のｚ軸は、ほ
ぼ高度と同等であるとみなせる。
【００２２】あらかじめ、緯度、経度、および高度が分
かっている地点は、ＧＣＰ（GroundControl Position）
と呼ばれている。ＧＣＰの緯度、経度、および高度か
ら、ＧＣＰの地表座標系での位置が算出できる。
【００２３】地表座標において、ｚ＝０の平面をスクリ
ーンと定義する。本発明においては、別の撮影位置から
撮影した複数の撮影画像をそれぞれスクリーンに投影す
るが、このスクリーン上に投影した画像では、撮影対象
物のｚ＝０の点が映ったスクリーン上の点を（ｘ0，ｙ
0）とすると、同じ緯度および経度で高度のみ（ｚ座標
のみ）が大きくなった点が投影されたスクリーン上の点
のｘ座標およびｙ座標はそのｚ座標に比例して上記ｘ0
およびｙ0から位置がずれる特徴を持つ。なお、ここで
はｚ＝０の平面をスクリーンと定義したが、任意のｚ座
標の位置にスクリーンを定義してもよい。そのｚ座標を
オフセットとして計算すれば、ｚ＝０の平面をスクリー
ンと定義した場合と同様に処理できる。
【００２４】ある等間隔の緯度および経度のメッシュに
おける高度のデータ列は、ＤＥＭ（digital Elevation
Model）と呼ばれている。本実施の形態では、同一地点
を別々の視点から撮影された複数の画像をもとに、ＤＥ
Ｍを作成することを目的とした処理について述べてい
る。
【００２５】次に、本実施の形態における処理の手順に
ついて説明する。図２に本実施の形態における処理の手
順を示し、図１にスクリーン投影面を示す。
【００２６】図２の衛星画像Ｌ２１０およびＲ２２０の
例を、図５に示す。このような衛星画像から、まずステ
ップ２１１でＧＣＰを決定する。これは、複数のＧＣＰ
が衛星画像Ｌ２１０のどこに映っているか調べ、その画
像Ｌ上での位置をそれぞれ求める処理である。図６に、
ＧＣＰのデータ例を示す。各ＧＣＰにはＧＣＰ番号が付
され、ＧＣＰの衛星画像上での座標と、地表座標系での
座標が保持される。
【００２７】次に、ステップ２１２で標定を行う。標定
とは、複数のＧＣＰの画像Ｌ上での位置と地表座標系で
の位置とから、撮影時のセンサの位置と姿勢を求める処
理である。センサの位置は地表座標系での位置であり、
姿勢は３次元の各軸回りの回転を規定するマトリックス
で表現される。図７に、センサの位置と姿勢のデータ例
を示す。ステップ２１１および２１２の処理は、従来よ
り知られているものである。
【００２８】次に、ステップ２１３で、スクリーン投影
を行う。これは、撮影時のセンサ位置と姿勢から、衛星
画像をスクリーンに投影する処理である。図１に示すよ
うに、衛星画像Ｌ２１０を地表上のスクリーン投影面１
０２に投影し、スクリーン投影面１０２上での画像Ｌ１
００(x,y)を求める。スクリーン投影には次式を用い
る。
【００２９】［数１］ x = xL0 + zL0*(a11*UL + a12*VL - a13*CL)/(a31*UL + a32*VL - a33*CL) y = yL0 + zL0*(a21*UL + a22*VL - a23*CL)/(a31*UL + a32*VL - a33*CL) ここで、a11,a12,a13,a21,a22,a23,a31,a32,a33：セン
サの姿勢を規定する回転マトリックスの要素、 xL0,yL0,zL0：センサの位置、 CL：画像から投影中心までの距離、 UL,VL：画像座標 である。図８に、スクリーン投影された画像の例を示
す。
【００３０】上記のようにスクリーン投影された画像Ｌ
１００においては、撮影対象物のｚ＝０の点ではｘ座標
およびｙ座標が正しく（すなわち、スクリーン投影され
た位置とその撮影対象物のｚ＝０の点の地表座標系での
位置とが一致する）、ｚ座標値が大きくなるにつれてｘ
座標およびｙ座標が上記の正しい座標値からずれる特徴
がある。ｘ座標およびｙ座標のそれぞれについて、上記
の正しい座標値からのずれ量はｚ座標値に比例してい
る。
【００３１】次に、ステップ２２１〜２２３で、衛星画
像Ｒ２２０について、ステップ２１１〜２１３と同様の
処理を行う。
【００３２】ここで、スクリーン投影された画像Ｌ１０
０と画像Ｒ１０１の両画像について述べる。上述したよ
うに、両画像における撮影対象物のｚ＝０の点ではｘ座
標およびｙ座標が一致して映り、ｚ座標が大きくなるに
つれてｘ,ｙがずれる特徴がある。つまり、撮影対象物
のｚ座標の大きさで両画像の対応する点の視差が変わ
り、ｚ座標の大きさと視差には比例関係が生じている。
地表座標系のｚ軸は、ほぼ高度と同等であるとみなせる
ため、視差の大きさと高度には比例関係が生じると言い
換えることができる。
【００３３】次に、ステップ２３１で、回転角算出（エ
ピポーララインを横軸）を行う。これは、ステップ２１
２およびステップ２２２にて求めた撮影時のセンサの位
置および姿勢から、エピポーラライン４０７が横軸とな
るような回転角を求める処理である。回転角は次式より
求める。
【００３４】［数２］θ = tan^-1((yR0/zR0 - yL0/zL
0) / (xR0/zR0 - xL0/zL0)) ここで、θ：回転角、 xL0,yL0,zL0：衛星画像Ｌ２１０に対するセンサの位
置、 xR0,yR0,zR0：衛星画像Ｒ２２０に対するセンサの位置 である。tan^-1はアークタンジェントを示す。
【００３５】次に、ステップ２１４で、画像回転（エピ
ポーララインを横軸）を行う。これは、ステップ２３１
にて求めた回転角により、画像Ｌ１００の座標(x,y)を
エピポーラ回転面１０４の座標(xe,ye)に回転変換し、
マッチング用の画像を作成する処理である。さらにステ
ップ２２４で、画像Ｒ１０１について、ステップ２１４
と同様の処理を行う。
【００３６】次に、ステップ２３２で、マッチング処理
を行う。これは、エピポーラ回転面１０４での画像Ｌ１
００および画像Ｒ１０１から対応点を求める処理であ
る。具体的には、人が目視で確認しながら対応点を指定
していく方法や、微小な範囲で比較することにより対応
点を自動的に判別するチップマッチングの方法などを用
いる。上述したように各画像を投影したスクリーン上で
は対応点の視差が高度に比例するため、撮影対象物の大
きさがおおまかに分かっている場合、一方の画像におけ
る対象物の特徴となる点と、その点に対応するもう一方
の画像の特徴となる点を見つけ出すことは容易となる。
図９に、求めた対応点のデータ例を示す。
【００３７】次に、ステップ２３３で３次元位置算出を
行う。これは、求めた対応点の座標および撮影時のセン
サ位置と姿勢から、共線方程式により地表座標系の３次
元位置を求める処理である。共線方程式については、例
えば、高木幹雄、下田陽久監修「画像解析ハンドブッ
ク」、594頁から605頁、（東京大学出版会、平成３年１
月発行）などに記載されており、本実施の形態では省略
する。図１０に、求めた３次元位置のデータ例を示す。
さらにステップ２３３では、対応点における地表座標系
の３次元位置から、対応点における、緯度、経度、およ
び高度を算出する。
【００３８】次に、ステップ２３４で補間処理を行う。
これは、ステップ２３３で求めた複数の対応点における
緯度、経度、および高度を用いて、等間隔の緯度および
経度のメッシュにおける高度を補間により求め、ＤＥＭ
を作成する処理である。図１１に、ＤＥＭのデータ例を
示す。等間隔の緯度および経度のメッシュにおける高度
のデータが配列で並べられている。
【００３９】以上の第１の実施の形態では、地表にスク
リーンを定義し各々の撮影画像を該スクリーン上に投影
することにより、マッチング処理を容易にすることがで
きるという効果がある。
【００４０】前記第１の実施の形態の変形例を説明す
る。前記実施の形態では２つの衛星画像を用いた３次元
計測の処理例を説明したが、３つ以上の衛星画像を用い
ることもできる。３つの衛星画像を用いる場合には、ス
テップ２３１、ステップ２１４、およびステップ２２４
を省略し、３つ目の衛星画像Ｃについてステップ２１１
〜２１３と同様な処理を行えばよい。マッチング処理は
スクリーンに投影された３つの画像を用いて行う。ま
た、３つ以上の衛星画像を用いる場合には、３つの衛星
を用いた場合と同様に、衛星画像の増分だけ、３つの衛
星画像を用いた場合と同様の処理を行えばよい。
【００４１】３つ以上の衛星画像を用いた場合の効果に
ついて、図１２を例として説明する。スクリーン投影し
た画像Ｌおよび画像Ｒにおいて、画像Ｌに映し出された
対象物Ａ１２００は、画像Ｒでは対象物Ｂ１２１１に隠
れてしまい、画像Ｒ上での対象物Ａの対応点を見つけ出
すことは困難である。この現象は一般にオクルージョン
（隠蔽）と呼ばれている。画像Ｌ上の対象物Ａ１２００
については、画像Ｃ上の対象物Ａ１２２０により対応点
探索するというように、画像Ｒあるいは画像Ｌ上でオク
ルージョンの生じた対象物については、画像Ｃあるいは
その他の画像を用いて対象物の対応点を見つけ出せばよ
い。
【００４２】以上述べた第１の実施の形態の変形例で
も、地表にスクリーンを定義し各々の画像をスクリーン
投影することにより、マッチング処理を容易にすること
ができるという効果がある。
【００４３】次に、本発明の第２の実施の形態を説明す
る。第２の実施の形態はマッチングの修正を伴う場合の
例であり、まずその手順を説明し、さらにその変形例を
説明する。
【００４４】図３に基づき、図の番号をステップ番号と
して、本実施の形態における手順を以下に説明する。ス
テップ２１１〜２３４は、上述した第１の実施の形態と
同様である。ステップ３３１を設け、その間のステップ
２３２〜２３４を繰り返し実行し、ＤＥＭ２３５を修正
できるようにしたのが、図２と異なる点である。以下、
第１の実施の形態と異なる処理のみについて説明する。
【００４５】ステップ３３１は３次元鳥瞰図作成処理で
ある。これは、ＤＥＭ２３５の高度データから３次元モ
デリングにて３次元モデルを作成し、衛星画像Ｌ２１０
および衛星画像Ｒ２２０をテクスチャマッピングにて、
３次元モデル上に貼り付けて３次元鳥瞰図とする処理で
ある。３次元モデリングおよびテクスチャマッピングに
ついては、例えば、James D.Foley著、岩見淳美訳、
「コンピュータ・グラフィックス」、275頁から394頁、
（日本コンピュータ協会、昭和５９年７月発行）などに
記載されている。
【００４６】この３次元鳥瞰図では、ＤＥＭ２３５で不
正確な高度は、衛星画像Ｌ２１０および衛星画像Ｒ２２
０のテクスチャのずれとして表示される特徴をもつ。そ
こで、前記特徴から、テクスチャのずれている場所をス
テップ２３２のマッチングにて再処理し、ステップ２３
３〜２３４を行うことで、ＤＥＭ２３５を修正する。以
上の手順を３次元鳥瞰図のテクスチャのずれがなくなる
まで繰り返し、ずれがなくなったところで終了する。
【００４７】以上述べた第２の実施の形態では、３次元
鳥瞰図を作成することにより、マッチングに失敗した箇
所を見つけ出し修正することができるという効果があ
る。
【００４８】次に、上記第２の実施の形態の変形例を３
つ説明する。
【００４９】第１の変形例は、フリック表示により修正
箇所を発見する例である。すなわち、ステップ３３１の
３次元鳥瞰図作成において、衛星画像Ｌ２１０および衛
星画像Ｒ２２０のテクスチャを交互に表示する。これに
より、複雑なテクスチャであっても修正箇所を容易に発
見することができる。また、修正前の鳥瞰図と修正後の
鳥瞰図を交互に表示する。これにより、修正によりかえ
って悪い結果となる場合を防ぐことができる。
【００５０】第２の変形例は、カラー合成表示により修
正箇所を発見する例である。すなわち、ステップ３３１
の３次元鳥瞰図作成において、衛星画像Ｌ２１０の輝度
に赤色の１および青色の１／２を割り当て、衛星画像Ｒ
２２０の輝度に緑色の１および青色の１／２を割り当
て、鳥瞰図を作成する。赤色の１、あるいは青色の１／
２などは、当該色の輝度の割り当ての割り合いを示すも
のである。例えば、赤色の１および青色の１／２を割り
当てるとは、各画素について、その画素の輝度と同じ輝
度の赤色と、その画素の輝度の１／２の輝度の青色と
で、表すということである。このような色および輝度の
割り当てを行うことにより、正しい点は赤、青、および
緑のそれぞれの輝度が１となり白色になる。したがっ
て、テクスチャのずれの部分が識別しやすくなる。
【００５１】なお、２つの衛星画像に対して、それぞれ
単色の色を割り当てて各画素をその単色で表す（単色で
表示する各画素の輝度はその画素の輝度と同じにする）
ようにしてもよい。それぞれ単色で表された２つの衛星
画像から３次元鳥瞰図を作成すれば、色ずれにより、マ
ッチングに失敗した箇所を見つけ出することが容易にな
る。また、３つの衛星画像を用いる場合は、各衛星画像
にそれぞれ赤、青、および緑を割り当ててもよい（単色
で表示する各画素の輝度はその画素の輝度と同じにす
る）。それぞれ単色で表された３つの衛星画像から３次
元鳥瞰図を作成すれば、色ずれにより、マッチングに失
敗した箇所を見つけ出することが容易になる。
【００５２】さらに、ここでは３次元鳥瞰図の作成の際
に用いる衛星画像の色を変更する場合について説明した
が、スクリーンに投影した画像に対して上述したように
色を変えて重ね合わせて表示してもよい。例えば、ステ
ップ２３２のマッチング処理において、スクリーン投影
された画像Ｌ１００の輝度に赤色の１および青色の１／
２を割り当て、スクリーン投影された画像Ｒ１０１の輝
度に緑色の１および青色の１／２を割り当て、重ねて表
示する。また、２つのスクリーン投影画像に対して、そ
れぞれ単色の色を割り当てて各画素をその単色で表す
（単色で表示する各画素の輝度はその画素の輝度と同じ
にする）ようにしてもよい。３つのスクリーン投影画像
を用いる場合は、各画像にそれぞれ赤、青、および緑を
割り当ててもよい（単色で表示する各画素の輝度はその
画素の輝度と同じにする）。以上のように、スクリーン
投影された画像の段階で色を変えて重ね合わせ表示する
ことにより、ずれた対応点を見つけ出しやすくなる。
【００５３】第３の変形例は、正射画像作成を行う例で
ある。すなわち、ステップ３３１の３次元鳥瞰図作成
を、真上から見た正射画像を作成する正射画像作成処理
とする。衛星画像Ｌ２１０を基にした正射画像と衛星画
像Ｒ２２０を基にした正射画像では、高度の不正確な箇
所で両画像の対応点がずれ、カラー合成表示やフリック
表示等をして重ねて表示すると、容易に高度の不正確な
箇所をずれとして発見できる。ずれている所を指定する
ことで、容易に本来の高度を計算でき、正確な高度を求
める処理を行うことができる。
【００５４】以上述べた第２の実施の形態の変形例で
は、マッチングに失敗した箇所を見つけ出し修正するこ
とができるという効果がある。なお、これらの変形例
は、３次元鳥瞰図作成において適用する代りに、２次元
画像の段階で適用してもよい。
【００５５】
【発明の効果】本発明によれば、地表上（あるいは任意
の高度の位置でもよい）にスクリーンを設定し、上空か
ら地表を撮影した複数の画像をスクリーンに投影する。
このことにより、対応点の視差と高度が比例関係にな
り、大まかな高度が既知である対応点を容易に探索する
ことができ、また３次元位置からマッチングに失敗した
点（間違った対応点）を容易に見つけ出し修正すること
ができる。
【図面の簡単な説明】
【図１】第１の実施の形態のスクリーン投影面を示す図
である。
【図２】第１の実施の形態の３次元計測の処理ブロック
を示す図である。
【図３】第２の実施の形態の３次元計測の処理ブロック
を示す図である。
【図４】従来技術の概要を示す図である。
【図５】衛星画像の例を示す図である。
【図６】ＧＣＰのデータ例を示す図である。
【図７】センサの位置と姿勢のデータ例を示す図であ
る。
【図８】スクリーン投影された画像の例を示す図であ
る。
【図９】求めた対応点のデータ例を示す図である。
【図１０】求めた３次元位置のデータ例を示す図であ
る。
【図１１】ＤＥＭのデータ例を示す図である。
【図１２】３つ以上の衛星画像を用いた場合の例を示す
図である。
【符号の説明】
１００…画像Ｌ、１０１…画像Ｒ、１０２…スクリーン
投影面、１０４…エピポーラ回転面、２１０…衛星画像
Ｌ、２１１…ＧＣＰ決定、２１２…標定、２１３…スク
リーン投影、２１４…画像回転、２２０…衛星画像Ｒ、
２２１…ＧＣＰ決定、２２２…標定、２２３…スクリー
ン投影、２２４…画像回転、２３１…回転角算出、２３
２…マッチング、２３３…３次元位置算出、２３４…補
間、２３５…ＤＥＭ、３３１…３次元鳥瞰図作成、４０
０…画像Ｌ、４０１…画像Ｒ、４０２…投影中心ＯＬ、
４０３…投影中心ＯＲ、４０４…点ＰＬ、４０５…点Ｐ
Ｒ、４０６…点Ｐ、４０７…エピポーラライン。

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】複数の位置からセンサで撮影した各撮影画
    像に映った物体や場所に基づいて、各々の画像を撮影し
    た時のセンサの位置を各々求める標定処理ステップと、 地表から任意の高度に設定した原点に対し、該原点から
    地表に平行な平面内にｘ軸およびｙ軸の２軸を持つ座標
    平面を設定してスクリーンとして定義し、前記各々の撮
    影画像を該スクリーンに投影するスクリーン投影処理ス
    テップと、 前記スクリーンに投影した画像から対応点を探索するマ
    ッチング処理ステップと、 探索した対応点から、該対応点の３次元位置を算出する
    ３次元位置算出処理ステップとを備えたことを特徴とす
    る画像による３次元計測方法。
  2. 【請求項２】複数の位置からセンサで撮影した各撮影画
    像に映った物体や場所に基づいて、各々の画像を撮影し
    た時のセンサの位置を各々求める標定処理ステップと、 地表から任意の高度に設定した原点に対し、該原点から
    地表に平行な平面内にｘ軸およびｙ軸の２軸を持つ座標
    平面を設定してスクリーンとして定義し、前記各々の撮
    影画像を該スクリーンに投影するスクリーン投影処理ス
    テップと、 前記スクリーンに投影した画像から対応点を探索するマ
    ッチング処理ステップと、 探索した対応点から、該対応点の３次元位置を算出する
    ３次元位置算出処理ステップと、 算出した対応点の３次元位置を用いて、２次元等間隔に
    配置したメッシュの各点における３次元位置を補間推定
    する補間処理ステップと、 該２次元等間隔に配置したメッシュの各点における３次
    元位置を用いて３次元モデルを作成し、該３次元モデル
    に前記撮影画像を貼り付けて３次元鳥瞰図を作成する３
    次元鳥瞰図作成処理ステップと、 作成した３次元鳥瞰図を任意の３次元視点で表示し、前
    記マッチング処理ステップにおける対応点の探索間違い
    を発見して修正するステップとを備えたことを特徴とす
    る画像による３次元計測方法。
  3. 【請求項３】前記スクリーン投影処理ステップの後に、
    エピポーララインを求め、前記スクリーン投影した各画
    像を回転して、エピポーララインが前記スクリーンのい
    ずれかの軸と平行となる画像を作る画像回転処理ステッ
    プを設けた請求項１または２の何れか１つに記載の画像
    による３次元計測方法。
  4. 【請求項４】前記マッチング処理ステップは、対応点の
    対応関係が見やすくなるように前記スクリーンに投影し
    た各画像の色を変更し重ね合わせて画像表示するステッ
    プを含む請求項１または２の何れか１つに記載の画像に
    よる３次元計測方法。
  5. 【請求項５】前記３次元鳥瞰図作成処理ステップは、作
    成した３次元鳥瞰図で対応点の探索間違いが発見し易く
    なるように前記各撮影画像の色を変更して３次元鳥瞰図
    を作成するステップを含む請求項２に記載の画像による
    ３次元計測方法。
  6. 【請求項６】前記３次元鳥瞰図作成処理ステップは、前
    記３次元モデルに前記撮影画像のそれぞれを貼り付けた
    画像を交互にフリックして表示し、あるいは修正前の画
    像と修正後の画像を交互にフリックして表示するステッ
    プを含む請求項２に記載の画像による３次元計測方法。
  7. 【請求項７】複数の位置からセンサで撮影した各撮影画
    像に映った物体や場所に基づいて、各々の画像を撮影し
    た時のセンサの位置を各々求める標定処理手段と、 地表から任意の高度に設定した原点に対し、該原点から
    地表に平行な平面内にｘ軸およびｙ軸の２軸を持つ座標
    平面を設定してスクリーンとして定義し、前記各々の撮
    影画像を該スクリーンに投影するスクリーン投影処理手
    段と、 前記スクリーンに投影した画像から対応点を探索するマ
    ッチング処理手段と、 探索した対応点から、該対応点の３次元位置を算出する
    ３次元位置算出処理手段とを備えたことを特徴とする画
    像による３次元計測装置。
  8. 【請求項８】複数の位置からセンサで撮影した各撮影画
    像に映った物体や場所に基づいて、各々の画像を撮影し
    た時のセンサの位置を各々求める標定処理手段と、 地表から任意の高度に設定した原点に対し、該原点から
    地表に平行な平面内にｘ軸およびｙ軸の２軸を持つ座標
    平面を設定してスクリーンとして定義し、前記各々の撮
    影画像を該スクリーンに投影するスクリーン投影処理手
    段と、 前記スクリーンに投影した画像から対応点を探索するマ
    ッチング処理手段と、 探索した対応点から、該対応点の３次元位置を算出する
    ３次元位置算出処理手段と、 算出した対応点の３次元位置を用いて、２次元等間隔に
    配置したメッシュの各点における３次元位置を補間推定
    する補間処理手段と、 該２次元等間隔に配置したメッシュの各点における３次
    元位置を用いて３次元モデルを作成し、該３次元モデル
    に前記撮影画像を貼り付けて３次元鳥瞰図を作成する３
    次元鳥瞰図作成処理手段と、 作成した３次元鳥瞰図を任意の３次元視点で表示し、前
    記マッチング処理手段による対応点の探索間違いを発見
    して修正する手段とを備えたことを特徴とする画像によ
    る３次元計測装置。
  9. 【請求項９】複数の撮影画像から３次元位置を算出する
    ３次元計測方法に係るプログラムを格納した記憶媒体で
    あって、 該プログラムは、 複数の位置からセンサで撮影した各撮影画像に映った物
    体や場所に基づいて、各々の画像を撮影した時のセンサ
    の位置を各々求める標定処理ステップと、 地表から任意の高度に設定した原点に対し、該原点から
    地表に平行な平面内にｘ軸およびｙ軸の２軸を持つ座標
    平面を設定してスクリーンとして定義し、前記各々の撮
    影画像を該スクリーンに投影するスクリーン投影処理ス
    テップと、 前記スクリーンに投影した画像から対応点を探索するマ
    ッチング処理ステップと、 探索した対応点から、該対応点の３次元位置を算出する
    ３次元位置算出処理ステップとを備えたことを特徴とす
    る３次元計測方法に係るプログラムを記憶した記憶媒
    体。
  10. 【請求項１０】複数の撮影画像から３次元位置を算出す
    る３次元計測方法に係るプログラムを格納した記憶媒体
    であって、 該プログラムは、 複数の位置からセンサで撮影した各撮影画像に映った物
    体や場所に基づいて、各々の画像を撮影した時のセンサ
    の位置を各々求める標定処理ステップと、 地表から任意の高度に設定した原点に対し、該原点から
    地表に平行な平面内にｘ軸およびｙ軸の２軸を持つ座標
    平面を設定してスクリーンとして定義し、前記各々の撮
    影画像を該スクリーンに投影するスクリーン投影処理ス
    テップと、 前記スクリーンに投影した画像から対応点を探索するマ
    ッチング処理ステップと、 探索した対応点から、該対応点の３次元位置を算出する
    ３次元位置算出処理ステップと、 算出した対応点の３次元位置を用いて、２次元等間隔に
    配置したメッシュの各点における３次元位置を補間推定
    する補間処理ステップと、 該２次元等間隔に配置したメッシュの各点における３次
    元位置を用いて３次元モデルを作成し、該３次元モデル
    に前記撮影画像を貼り付けて３次元鳥瞰図を作成する３
    次元鳥瞰図作成処理ステップと、 作成した３次元鳥瞰図を任意の３次元視点で表示し、前
    記マッチング処理ステップにおける対応点の探索間違い
    を発見して修正するステップとを備えたことを特徴とす
    る３次元計測方法に係るプログラムを記憶した記憶媒
    体。
JP10111192A 1998-04-21 1998-04-21 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体 Pending JPH11306356A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10111192A JPH11306356A (ja) 1998-04-21 1998-04-21 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10111192A JPH11306356A (ja) 1998-04-21 1998-04-21 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体

Publications (1)

Publication Number Publication Date
JPH11306356A true JPH11306356A (ja) 1999-11-05

Family

ID=14554838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10111192A Pending JPH11306356A (ja) 1998-04-21 1998-04-21 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体

Country Status (1)

Country Link
JP (1) JPH11306356A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
GR20050100502A (el) * 2005-09-30 2007-04-25 Χριστακης Νικολαου Φελλας Δορυφορικο συστημα ταυτοχρονης τηλεαποτυπωσης γεωγραφικου χωρου και συνθεση εικονας για τρισδιαστατη αντιληψη συμβαντων πραγματικου χρονου
JP2015124560A (ja) * 2013-12-27 2015-07-06 五洋建設株式会社 水中構造物の据え付け作業支援装置及びそれを使用した水中構造物の据え付け方法
CN107843240A (zh) * 2017-09-14 2018-03-27 中国人民解放军92859部队 一种海岸带区域无人机影像同名点信息快速提取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
GR20050100502A (el) * 2005-09-30 2007-04-25 Χριστακης Νικολαου Φελλας Δορυφορικο συστημα ταυτοχρονης τηλεαποτυπωσης γεωγραφικου χωρου και συνθεση εικονας για τρισδιαστατη αντιληψη συμβαντων πραγματικου χρονου
JP2015124560A (ja) * 2013-12-27 2015-07-06 五洋建設株式会社 水中構造物の据え付け作業支援装置及びそれを使用した水中構造物の据え付け方法
CN107843240A (zh) * 2017-09-14 2018-03-27 中国人民解放军92859部队 一种海岸带区域无人机影像同名点信息快速提取方法

Similar Documents

Publication Publication Date Title
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
US10789673B2 (en) Post capture imagery processing and deployment systems
US7773799B2 (en) Method for automatic stereo measurement of a point of interest in a scene
AU2008322565B2 (en) Method and apparatus of taking aerial surveys
KR100728377B1 (ko) 레이저 스캐너 및 무선인터넷을 이용한 변경된 지역시설물의 ｇｉｓ 실시간 업데이트 방법
JP4448187B2 (ja) 映像の幾何補正方法およびその装置
US20060215935A1 (en) System and architecture for automatic image registration
US20050220363A1 (en) Processing architecture for automatic image registration
US7149346B2 (en) Three-dimensional database generating system and method for generating three-dimensional database
JP5134784B2 (ja) 空中写真測量方法
JPH10221072A (ja) 写真測量システムおよび写真測量方法
US7015967B1 (en) Image formation system
JP2014106118A (ja) 数値表層モデル作成方法、及び数値表層モデル作成装置
JP3490774B2 (ja) ジオスペシフィックテクスチャ生成の方法
CN117274338A (zh) 一种无人机高光谱图像对齐方法、装置、终端及存储介质
JPH11306356A (ja) 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体
CN109579796B (zh) 一种投影后影像的区域网平差方法
US11210840B1 (en) Transform method for rendering post-rotation panoramic images
Karslioglu et al. A new differential geometric method to rectify digital images of the Earth's surface using isothermal coordinates
Tjahjadi et al. Photogrammetric stereo image rectification
Deltsidis et al. Orthorectification of World View 2 stereo pair using a new rigorous orientation model
JP2004127322A (ja) ステレオ画像形成方法及び装置
CN111561949B (zh) 机载激光雷达和高光谱成像仪一体机的坐标匹配方法
JPH09179967A (ja) 地図データ修正方法
Lewis et al. Extracting Building Facades for Textured 3D Urban Models

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees