JP3922646B2 - ステレオ写真画像の検索方法及び表示方法並びに管理システム - Google Patents

Description

本発明は、同一被写体を重複して撮影した複数の写真画像群からステレオ写真画像を検索し表示し管理するステレオ写真画像の検索方法及び表示方法並びに管理システムに関する。

図１８は空中写真測量における空中写真撮影の一般的な重複撮影の概念を説明する図である。図１８において、Ａは飛行コース、Ｂは撮影時のカメラの位置で、Ｂ−１１〜Ｂ−１３、Ｂ−２１〜Ｂ−２３、Ｂ−３１〜Ｂ−３３は経時的に異なるそれぞれの撮影点を示す。空中写真測量用の空中写真は、撮影する工程において、図１８に示すように飛行コース１の進行方向に隣接する空中写真（Ｂ−１１とＢ−１２とＢ−１３、Ｂ−２１とＢ−１２とＢ−２３、Ｂ−３１とＢ−３２とＢ−３３）で略６０％の重複を有し、飛行コース１の進行方向と直交する方向に隣接する空中写真（Ｂ−１１とＢ−２１とＢ−３１、Ｂ−１２とＢ−２２と２−３２、Ｂ−１３とＢ−２３とＢ−３３）で略３０％の重複を有するように、略鉛直下方向に撮影される。そして、それらの空中写真の中で、建物や地形などの三次元形状の測定では、飛行コースの方向に並ぶ左右一対の写真（ステレオペアと呼ばれる）が利用される（例えば、特許文献１、２、３参照）。そのため、標定図と呼ばれる地図の上に、飛行コース１の進行方向に隣接する写真同士のみその中心を結んだ図にコース番号及び写真番号を付して管理してきた。
特開２００１−２８０４９号公報 特開２００２−５６５９号公報 特開２００３−３２３６４０号公報

近年において、アナログの空中写真の画像は、デジタル画像データに変換され、容易にコンピュータのモニタ上に該空中写真画像を見ることができるようになった。しかし、ステレオ写真画像対を選択する場合、いずれのステレオ写真画像対が希望する場所に対応するかを確認するには、前記の標定図を参考にしてコース番号及び写真番号から適切なステレオ写真画像対を探索しなければならなかった。このため、必要な位置及び対象範囲に対して、ステレオ写真画像対を検索するのに、標定図によるステレオ写真画像対の特定段階とステレオ写真画像対を呼び出すリンクをファイルあるいはリスト内から探し出す段階の少なくとも２つの段階を含む一連の作業が必要であり、煩雑な手続きと時間を要していた。

従来、空中写真測量においては、飛行コースの進行方向に隣接するステレオ写真画像対が図化対象であり、飛行コースに直交する方向に隣接するステレオ写真画像対は、特殊な目的以外に使用されることは滅多になかった。しかし、最近は、デジタル写真測量が新たに登場し、デジタルオルソフォトの作成等のように、すべての隣接するステレオ写真画像対で利用される機会が極めて多くなってきた。このため、容易で迅速なデジタルステレオ写真画像対の検索方法の開発が望まれていた。

地上写真測量の分野においても、市販デジタルカメラが写真測量に使用可能なことが立証されており、従来のアナログ写真測量の時代と異なり、写真撮影の際に略平行に撮影しなければならない等の制約はなくなり、自由な方向でかつ多数枚の写真撮影が可能になった。このため、撮影された後の写真画像群の適切な管理方法と検索方法の開発が望まれていた。また、デジタルカメラを使用した最近の地上写真測量においては、空中写真撮影に比べて撮影方向に制約が少なくなったために、撮影された写真が略同一の方向を向いているとは限らなくなった。このため、ステレオ写真画像対を探索することは、空中写真に比べてさらに煩雑になり、多数枚の地上写真の検索方法についても合理的な方法の開発が望まれていた。

本発明は、ステレオ写真画像の管理、検索を容易に行え立体視及び三次元計測できるようにするものであり、同一被写体を重複して撮影した複数の写真画像群を、撮影時の状態と相対的に略等しい状態に再現して配置し、各写真画像が互いに重複するステレオ写真画像対の主点と該主点間を結んだ基線をステレオペア情報として関係付けて記憶して表示することにより、前記主点又は基線のクリックに応じて前記ステレオペア情報から前記ステレオ写真画像対を検索することを特徴とするものである。

本発明は、多数枚の写真がカバーする全体の撮影範囲の中で、着目する写真がどこに位置するかを、容易に目で判断でき、一般に撮影方向が異なって撮影されている原写真画像群から構成される略モザイク（サムネイル画像）を、一定の撮影方向に統一することでより見やすくし、検索の効率を向上させるものである。そして、撮影範囲において、着目する小範囲に対応するすべての組み合わせのステレオ写真画像対を、効率よく検索し、検索したステレオ写真画像対を立体視及び三次元計測できるように写真画像に適切な処理を実施するものである。

また、写真測量において、重複撮影された写真画像群の中から必要とするステレオ写真画像対を迅速に検索でき、標定、偏位修正及び再現配列を実施することにより、一定の方向に統一して見た写真画像群から形成される略モザイクをコンピュータのモニタ上に視覚化するものである。

さらに、重複して撮影されたすべてのステレオ写真画像対に対して、該写真の主点を互いに直線で結んで基線を描画し、視覚的にどの写真画像対がステレオ対になっているかを判断できるようにし、コンピュータのモニタ上で該基線又は主点をクリックすることで容易に必要なステレオ写真画像対を検索できるようにするものである。

また、ステレオ写真画像対の基線に平行な方向に写真画像の画素を再配列し、いわゆる縦視差のない状態にし、立体視及び三次元計測を可能な状態に前処理するものである。ここで縦視差とは、再配列した２枚のステレオ写真画像対の基線方向をＸ軸とし、直交する方向をＹ軸とした時、ステレオ対応点のｙ座標の差をいい、縦視差がない状態とは該ｙ座標の差が０又は無視できるほど極小の値であることを意味する。

本発明によって以下の効果を得ることができる。
（１）コンピュータのモニタ上に描画された基線入り写真画像群の基線をクリックするだけで、容易に希望するステレオ写真画像対を検索でき、更に立体視又は三次元測定の工程に入ることができる。
（２）コンピュータのモニタ上に描画された写真画像群の主点のクリックを続けることにより、迅速に主点を含む写真画像と対をなすすべてのステレオ写真画像対を検索できる。
（３）従来の写真の検索方法に比較して、迅速かつ正確にステレオ写真画像対を検索特定し呼び出すことができる。
（４）すべてのステレオ写真画像対を容易に検索し、立体視できるようになるため、高層ビルなどにより写真の一部が隠蔽されている箇所を精細に調べることが容易になる。
（５）写真画像の管理を合理化できるのみでなく、写真測量工程全体の効率を向上させることができる。

図１は本発明に係る写真画像データのステレオ写真画像対処理システムの実施の形態を説明する図、図２はデータ記憶部に格納されるデータの構造例を示す図である。本発明に係る写真画像データのステレオ写真画像対処理システムは、図１に示す標定図処理部１、写真画像処理部２、ステレオペア処理部３、立体表示連携処理部４の各処理部を備える。これらのうち、標定図処理部１は、標定図の中に、被写体を１枚の写真で見るのに近い状態で撮影した写真群を表示し、被写体の全体を容易に把握できるようにし、また、ステレオ立体視を行うのに必要な画像のペアを選択するものであり、写真画像処理部２は、標定図で使用するサムネイル画像（略モザイク）の作成に伴い、カメラに依存する歪みを補正するものであり、ステレオペア処理部３は、ステレオペアの生成、登録、左右画像へのリンク情報の検索を行うものであり、立体表示連携処理部４は、ステレオ立体視を可能にするシステム、例えば三次元立体視ビューワなどの立体表示処理装置６と通信を行うものである。データ記憶部５は、画像データ、標定図データを格納するものである。

標定図処理部１では、写真画像を地理座標系に従い配置し、写真が撮影された状態を解析的に再現する、いわゆる写真測量学で標定とよばれる工程によって、すべての重複撮影された写真群に対して、撮影された時のカメラの三次元位置及び撮影方向の傾き（一般に三軸の傾きとしてロール角（ω）、ピッチ角（φ）、及びヨー角（κ）で表現される）を解析的に求める。そして、一定の縮尺の下に、原写真画像の主点がカメラの撮影位置になるようにし、更に、写真の傾きの内、鉛直軸の回転角に対応するヨー角（κ）のみを考慮して平面的に傾けて該写真群を撮影された時と相対的に同じ状態に再現配置する。また、隣接するステレオ写真画像対に対して基線を描画する。さらに、撮影方向が異なって撮影されている原写真画像群においては、いわゆる写真測量で偏位修正と呼ばれる工程によって一定の方向及び一定の撮影対象への撮影距離を有する投影面に対して主点を中心にロール角、ピッチ角、ヨー角の三軸の回転を適用して射影変換する。該偏位修正済み写真画像を再現配置した略モザイクをコンピュータのモニタ上に視覚化する。なお、この場合の一定の方向として、空中写真では、一般に鉛直下方向に取られ、地上写真では、一般に撮影対象の正面に直角な方向に統一されることが多い。

ステレオペア処理部３では、偏位修正済み略モザイク（サムネイル画像群）で、重複した撮影範囲を有する写真対をすべてステレオ写真画像対であると認識して、該ステレオ写真画像対の主点同士を結んで得られる直線（写真測量学で基線と呼ばれる）を形成し、着目する写真に対してすべての組み合わせの基線を表示する。主点とは、カメラの光軸が写真面に投影される点をいい、ほぼ写真の中心と等しく、投影中心を与えるものであり、この主点又は基線がクリック（選択）されると、着目するステレオ写真画像対を検索する。さらに、標定及び偏位修正を実施したステレオ写真画像対を更に基線方向に平行になるように再現配列し、いわゆる写真測量学で縦視差がない状態にする。

データ記憶部５には、ステレオペア用画像データ、標定図データなどが格納される。ステレオペア用画像データでは、例えば図２（Ａ）に示すように原画像リンク情報ＩＤ、サムネイル画像ｉ、カメラ主点情報として位置情報Ｘ、Ｙ、Ｚと回転角ω、φ、κ、サムネイル画像枠形状Ｆ、カメラ情報として焦点距離ｃと主点位置ＰＰ（ｘ、ｙ）とわい曲収差ｄ（ｒ）と受光面サイズＷ、Ｄ、内部標定標定点ｑ１、ｑ２、ｑ３、ｑ４、撮影縮尺Ｓ、補正画像Ｉ′などが記憶される。標定図データでは、例えば図２（Ｂ）に示すように補正画像リンクリストＬ１、Ｌ２、……、ステレオペアリストＳ１、Ｓ２、……が格納される。

次に、標定図処理部１の処理について説明する。図３は標定図処理の例を説明する図、図４はサムネイル作成処理の例を説明する図、図５はサムネイル画像表示例を示す図、図６は地理座標の３軸に対して回転角を適用して再現配置する例を説明する図、図７は地理座標に対してヨー角（κ）の角度で再現配置する例を説明する図である。

標定図処理では、例えば図３に示すようにまず標定図に写真画像を登録する（１００１）。登録の際には、各写真画像に付随する情報も同時に登録する。次に画像と同時に登録した撮影時の条件をもとにサムネイルを作成して（１００２）、作成したサムネイルを表示する（１００３）。さらに、サムネイルが表している写真で構成されたステレオペアも表示する（１００４）。

サムネイルの表示では、さらに、背景図の表示（１００６）を必要に応じて適宜行い、写真では分からない行政境界などのベクトル型のデータを表示し、あるいは、水涯線、道路データ、地形図などを背景として表示してもよい。ステレオペアの表示では、表示されたステレオペアが選択されると、選択されたペア情報をそのまま他の処理に送り（１００７）、ステレオペアの処理状況や選択状態を強調表示する（１００８）。また、表示されたステレオペアに対しては、拡大・縮小（１００９）、移動、回転などの表示範囲の変更処理や、ステレオ立体視を実現しているシステムから送られてくる情報に基づきステレオ表示範囲の表示処理を行う（１０１０）。

サムネイルの作成処理では、例えば図４に示すようにまずサムネイル画像枠の大きさを決定する（１０１１）。ここで、受光面のｘ方向の大きさＷとｙ方向の大きさＤの四角形をｘｙ平面上に作成し、その四角形を、カメラの焦点距離ｃ、基準面標高ｈとカメラの主点の標高Ｚの差である標高差（基準面までの距離）ＨからＨ／ｃ倍に拡大して画像枠の大きさとする。次に画像枠の中心をカメラ主点座標上の位置（Ｘ，Ｙ）に決定し（１０１２）、地理座標軸のＸＹＺ軸のそれぞれ３軸回りの回転を順にω、φ、κとして、画像枠の配置角度を撮影された写真の光軸が基準面の法線とのなす角度に決定する（１０１３）。地上写真においては基準面を撮影対象の位置におくので、標高差Ｈは単純に撮影対象までの距離となることが多い。カメラ主点情報（Ｘ、Ｙ、Ｚ、ω、φ、κ）は、従来の空中写真測量では標定と空中三角測量により解析的に求めるが、ＧＰＳなどの測位観測衛星と慣性計測装置での計測結果と重力データを使用するなど、どのような手段で取得してもよい。最後に画像処理部で作成したサムネイル画像と、決定した大きさ及び位置、角度のサムネイル画像枠とを結合させる（１０１４）。

このようにして表示されるサムネイルは、例えば図５に示すようにサムネイル画像枠１１、主点１２、写真名称１３、サムネイル画像１４を構成要素とし、サムネイル画像枠は、標定図の中に３軸の回転要素を適用して再現配置する場合には、図６の三次元表示の例に示すように主点座標（Ｘ、Ｙ、Ｚ）を中心に、各軸について画像の回転角（ω、φ、κ）をそれぞれ回転させる。また、地理座標に対して標定図の中にＺ軸の回転要素を適用して再現配置する場合には、図７の二次元表示の例に示すように主点座標（Ｘ、Ｙ）を中心に、Ｚ軸について画像の回転角（ヨー角κ）を回転させる。

空中写真のように、一定の対地高度で、傾きが３〜５度以内の角度で略鉛直下方向に撮影されている場合、ヨー角（κ）の回転き基準面までの距離Ｈを考慮して再現配置された原写真画像群は、略モザイクを形成し、違和感なく撮影範囲全体を、あたかも画像地図のように、認識することができる。この様な場合には、偏位修正の工程を省略することも可能である。しかし、一般的には、重複撮影される写真の撮影方向が一定以上の角度の傾きで撮影されると、原写真画像を、撮影位置とヨー角（κ）の傾きのみを補正して再現配置してなる画像群は、良好な画像地図としてのモザイクを構成できない。

前記偏位修正及び縮尺変換は、一定の方向かつ一定の縮尺の投影面に統一するようにすべての写真画像群に対して実施するものである。偏位修正とは、標定によって算出されたロール角（ω）、ピッチ角（φ）、及びヨー角（κ）を用いて、鉛直下方向など一定の方向の角度を有するように射影変換を実施する工程を言う。縮尺変換とは、参照対象物又は面が一定の縮尺に統一されるように、画面距離を変更して前記偏位修正を実施する工程を言う。

図８は写真の中心投影に関する幾何学を説明する図である。Ｘ，Ｙ，Ｚの地上座標系を有する地上被写体Ｐから反射された光線は、カメラの投影中心Ｏに向かって直進し、投影面Ｓにおいて写真像点ｐに結像する。写真座標は、主点Ｏを原点とする平面座標（ｘ，ｙ）で与えられる。投影中心と光軸が交わる点が主点であり、主点を原点とし、写真座標系と平行なｘ軸及びｙ軸を有する三次元直交座標系（ｘ，ｙ，ｚ）がカメラ座標系である。カメラ座標系（ｘ，ｙ，ｚ）が地上座標系（Ｘ，Ｙ，Ｚ）に対して有する傾きを三軸の回りの回転角（ω、φ、κ）で表現する。ωはロール角、φはピッチ角、κはヨー角に対応する。

写真測量においては、基本的にカメラ投影中心Ｏ（Ｘ０，Ｙ０，Ｚ０）、写真像点ｐ（ｘ，ｙ，ｚ）および地上被写体Ｐ（Ｘ，Ｙ，Ｚ）を結ぶ線が直線をなすという次の共線条件式を利用する。

ここで、ａｉは、ω、φ、κに関する回転行列の積が作る３×３の行列の９つの要素であり、次の行列で与えられる。

偏位修正とは、ω、φ、κの傾きのある写真画像（ｘ，ｙ）を傾きのない写真画像（ｘ′，ｙ′）に変換することを意味しており、数学的には、次の式で投影変換される。

ここで、Ｓは縮尺係数であり、原写真画像と等しくする場合は、Ｓは画面距離ｃとすればよい。

図９は偏位修正の概念を説明する図であり、修正前の傾いて撮影された写真、修正前の傾いて撮影された写真の光軸をそれぞれ実線で、修正後の傾きのない偏位修正写真、傾きのない偏位修正写真の光軸をそれぞれ点線で示し、傾いた写真の像点ｐ（ｘ，ｙ，ｚ）は偏位修正写真の像点ｐ′（ｘ′，ｙ′，ｚ′）に偏位修正される。

サムネイル画像枠の大きさを決定する際に用いる基準面標高ｈは、計画時に決定するが、計画時の基準面標高を使用してもよいし、基準面標高を便宜的に規定してもよい。また、標高差Ｈは便宜的に標高０ｍとしてもよい。基準面標高が撮影高度と比較して十分に標高０ｍに近ければ、サムネイルを配置したときの写真同士のオーバーラップは実際のオーバーラップと変わらないものとなる。さらに、Ｈ／ｃ倍する代わりに撮影縮尺の逆数１／Ｓ倍してもよい。撮影縮尺は、撮影計画時に基準面と共に決定するものであり、１／Ｓ倍すれば、基準面標高を０ｍとするよりも実際のオーバーラップに近くなる。サムネイル画像の大きさを適切に決めれば、写真が再現配置された写真群を見たときに１枚の写真を見た状態に非常に近いものとなる。

次に、写真画像処理部２、ステレオペア処理部３、立体表示連携処理部４によるそれぞれの処理について説明する。図１０は写真画像処理の例を説明する図、図１１は写真中心と主点の位置ズレを説明する図、図１２は補正の概念を示す図、図１３はステレオペア処理の例を説明する図、図１４はステレオペアの組み合わせ表示の例を説明する図、図１５は立体表示連携処理の例を説明する図、図１６はステレオ立体視の概念を示す図、図１７はステレオ表示範囲のリアルタイム表示の例を示す図である。

写真画像処理では、例えば図１０に示すように標定図表示に使用する為のサムネイル画像作成機能（２００１）及び原画像を立体表示部で使用可能とする為の画像補正機能（２００２）の両機能を持つ。サムネイル画像を作成し（２００１）、標定図処理部にサムネイル画像を渡し、サムネイル枠を結合する（１０１４）。小さくしたサムネイル画像でその画像歪みを補正する（２００２）。ステレオ立体視に使用する写真画像は非常に大きい場合が多いが、標定図に配置する写真は全部表示される必要はないので、サムネイル画像により十分に画像を小さくする。

例えば、ステレオ立体視の際の作業軽減の為に前処理として原画像の補正をここで行う。写真画像は何らかの歪みを持っているので、ステレオ立体視や計測を行い際には誤差要因となる。この画像の歪みの補正として、アフィン変換補正（２００４）、主点位置補正（２００５）、放射方向わい曲収差補正（２００６）を行う。

それぞれの補正のうち、アフィン変換補正では、使用する画像がアナログ由来であれば、スキャニングなどでデジタル化する際に画像が伸び縮みするため、内部標定点の画像座標ｑ１〜ｑ４と受光面の大きさＷ、Ｄをもとにアフィン変換補正を行い、主点位置補正では、図１１に示すようにカメラを通ってくる光束の中心と受光面の中心のずれを補正し、放射方向わい曲収差補正では、図１２に示すように光束の中心を軸にして同心円状に生じる結像位置のずれを補正する。

ステレオペア処理では、例えば図１３に示すように各写真の主点からある距離内に位置する近傍の主点を見つけ出して、その右画像と左画像の組み合わせをステレオペアとして生成する（３００１）。なお、このステレオペアの方向は、図１４（Ｂ）に示す従来のように飛行コースの方向に隣接する写真画像対のみステレオペアを組むだけでなく、図１４（Ａ）に示すように縦方向及び斜め方向にもすべての組み合わせで主点間を基線で描画してステレオペアとして生成してもよい。また、個別に画像を選択することによりステレオペアを生成する場合には、右画像と左画像のサムネイル画像（３００６）や画像枠（３００７）、主点（３００８）をそれぞれ選択指定することにより生成する（３００２）。このようにして自動または個別に選択指定することにより生成したステレオペアを構成する右画像と左画像へのリンク情報を例えば標定図情報（図２Ｂ）の中に記録保存する（３００３）。登録されたステレオペアは標定図処理部において、標定図中に表示される（１００４）。標定図の中で表示されているステレオペアが選択される（１００７）と、データ記録部５にあるステレオペアリストから左右の画像を特定し、補正画像リンクリストから右画像と左画像へのリンク情報を検索する（３００４）。この検索において、ステレオペアの指定が主点である場合には、その対応する画像が構成要素となっているステレオペアのすべてについて画像へのリンクを検索し（３００９）、ステレオペアの指定が基線である場合には、その対応するステレオペアの２枚の画像へのリンクを検索する（３０１０）。

立体表示連携処理では、例えば図１５に示すように標定図処理部で選択されたステレオペアに対して、ステレオペア処理部から受け取った画像リンク情報をもとに左右の画像の情報を取得し（４００１）、その取得した画像の情報をステレオ立体視を可能にするシステム、例えば三次元立体視ビューワに送信する（４００２）。この送信では、補正画像へのリンク情報（４００３）、左右のカメラ情報（４００４）をあわせて送信する。その送信により、ステレオペアの画像の情報、補正画像へのリンク情報、左右のカメラ情報をもとに立体表示処理装置６などの他のシステムにおいて図１６に示すステレオ立体視が実現される。そして、その他のシステムからステレオ視表示範囲（三次元表示範囲）が送信されてくると、それを受信して標定図に図１７に示すようにステレオ視表示範囲を表示する（４００５）。このようにステレオ立体視するシステムと連携すると、どこの範囲が立体視されているかを標定図の中のステレオ視表示範囲でリアルタイムに確認することができる。

本実施形態では、原写真画像群又は偏位修正済み写真画像群を白黒又はカラーで、所定の位置及び傾きで表示し、主点には小さな円を付し、基線は白、黄色、橙色など識別しやすい色で描画する。修正済み写真画像群に対して主点及び修正後の写真画像枠を、一定の縮尺で再現配置し、標定、偏位修正及び再現配列を実施した重複写真画像群を中で、ステレオ写真画像対を形成する組み合わせに対して、それぞれ主点と基線を描画する。

また、描画された基線入りの写真画像群で構成された略モザイク画像をコンピュータのモニタ上に視覚化し、ステレオ写真画像群を主点及び基線を付加して可視化するとき、基線の描画は、通常は煩雑さを防止するため、通常は最近隣の隣接ステレオ写真画像対のみ実施し、煩雑な表現を排除してもよい。

基線をクリックすると、該ステレオ写真画像対が検索され、該写真画像対が表示され、着目する写真と対をなすすべてのステレオ写真画像対を検索する場合には、該写真画像の主点の円のクリックを続けることにより、順次異なるすべてのステレオ写真画像対及び基線が順次検索され、該写真画像対が表示される。順次表示する順番は任意でよいが、時計回りなど一定の規則で表示されるのが望ましい。このように任意の主点又は基線をクリックするだけで、該ステレオ写真画像対を容易、迅速に検索できるようにしている。

基線又は主点のクリックにより検索され選別されたステレオ写真画像対は、基線が水平方向に向き、縦視差のない状態のステレオ写真画像対に再現配列して、立体視及び三次元計測を可能にする。写真測量の原理から、偏位修正済みのステレオ写真画像対においては、主点を結ぶ直線及びその平行線上にステレオ対応点が存在することが理論上知られており、これらの平行線は、共役線又はエピポラーラインと呼ばれている。本実施形態においては、該共役線あるいはエピポラーラインに平行になるように、検索された写真画像対の画素を再配列し、立体視を可能にするだけでなく、画像相関による自動三次元計測の作業の前準備を行う。

本発明においては、画面距離１５０ｍｍ、画面寸法２３ｃｍのフイルムを有する航測カメラを用いて、対地高度１，２００ｍから、東京都世田谷区太子堂三軒茶屋地区にあるキャロットタワーが略中心になるようにして、平成１５年８月に、東西方向のコース及び直交する方向にそれぞれ略約７０％の重複をするように、５行５列、合計２５枚の空中写真を撮影した。写真縮尺は、約８，０００分の１であった。

撮影された空中写真を目視により、良好に撮影されていることを確認した上で、２５枚の該空中写真を、１７００ｄｐｉ（１インチあたり１７００ドット）の密度（地上で約１２ｃｍに対応する）で、デジタル写真画像に変換した。

合計２５枚の写真画像に対して、共通の基準点を利用して、バンドル法と呼ばれる空中三角測量（いわゆる標定と略称される）を実施し、更に偏位修正及び縮尺補正を実施した。

上記標定によって得られた写真測量もパラメータを利用して、原写真画像群及び偏位修正済み写真画像群にそれぞれ主点位置に小さな円を描画し、さらに隣接するステレオ写真画像対に対してそれぞれ基線を描画した。

原写真画像群に対して、任意の基線をクリックしてステレオ写真画像対が迅速に検索できることを確認した。また、キャロットタワーが略中心に撮影された写真の主点のクリックを続けることで、すべての組み合わせのステレオ写真画像対が時計回りで検索及び表示されることを確認した。

原写真画像群に代わって、偏位修正済み写真画像群を用いて、上記の工程と同じ工程を実施し、検索及び表示が正しく実施されていることを確認した。

上記ステレオ写真画像対を１組選択して、基線に平行な共役線あるいはエピポラーラインに平行な写真画像対にすべての画素を再配列して、立体視可能なようにした。目視による立体視により、縦視差がないことを確認した。

なお、本発明は、上記実施の形態に限定されるものではなく、種々の変形が可能である。上記実施の形態では、立体視及び三次元測定に適用して説明したが、写真測量学及び地理学の教育の分野においても幅広く利用することができ、新しいステレオ写真の利用方法を開拓できる。

本発明に係る写真画像データのステレオ写真画像対処理システムの実施の形態を説明する図である。 データ記憶部に格納されるデータの構造例を示す図である。 標定図処理の例を説明する図である。 サムネイル作成処理の例を説明する図である。 サムネイル画像表示例を示す図である。 地理座標の３軸に対して回転角を適用して再現配置する例を説明する図である。 地理座標に対してヨー角（κ）の角度で再現配置する例を説明する図である。 写真の中心投影に関する幾何学を説明する図である。 偏位修正の概念を説明する図である。 写真画像処理の例を説明する図である。 写真中心と主点の位置ズレを説明する図である。 補正の概念を示す図である。 ステレオペア処理の例を説明する図である。 ステレオペアの組み合わせ表示の例を説明する図である。 立体表示連携処理の例を説明する図である。 ステレオ立体視の概念を示す図である。 ステレオ表示範囲のリアルタイム表示の例を示す図である。 空中写真測量における空中写真撮影の一般的な重複撮影の概念を説明する図である。

符号の説明

１…標定図処理部、２…写真画像処理部、３…ステレオペア処理部、４…立体表示連携処理部、５…データ格納部、６…立体表示処理部

Claims (8)

1. 同一被写体を重複して撮影した複数の写真画像群を、撮影時の状態と相対的に略等しい状態に再現して配置し、各写真画像が互いに重複するステレオ写真画像対の主点と該主点間を結んだ基線をステレオペア情報として関係付けて記憶して表示することにより、前記主点又は基線の選択に応じて前記ステレオペア情報から前記ステレオ写真画像対を検索することを特徴とするステレオ写真画像の検索方法。
2. 同一被写体を重複して撮影した複数の写真画像群を、一定の撮影方向及び一定の投影面に射影変換し、該写真画像群を、一定の縮尺で撮影時の状態に再現した状態に配置し、前記各写真画像が互いに重複するステレオ写真画像対の主点と該主点間を結んだ基線をステレオペア情報として関係付けて記憶して表示することにより、前記基線又は主点を選択して前記ステレオ写真画像対を検索することを特徴とするステレオ写真画像の検索方法。
3. 同一被写体を重複して撮影した複数の写真画像群を、一定の撮影方向及び一定の投影面に射影変換し、該写真画像群を、一定の縮尺で撮影時の状態に再現した状態に配置し、前記各写真画像が互いに重複するステレオ写真画像対の主点と該主点間を結んだ基線をステレオペア情報として関係付けて記憶して表示することにより、前記基線又は主点を選択して前記ステレオ写真画像対を検索して立体視及び三次元計測するためステレオ写真画像対を再配列して表示することを特徴とするステレオ写真画像の表示方法。
4. 同一被写体を重複して撮影した複数の写真画像群からなるデジタルの画像データと標定図データを格納するデータ記憶手段と、
   標定図の中に前記写真画像群のそれぞれの主点及びステレオ立体視を行うのに必要な写真画像のペアとしてステレオ写真画像対の主点同士を結ぶ基線を表示する標定図処理手段と、
   ステレオペアの生成、登録、左右画像へのリンク情報の検索を行うステレオペア処理手段と、
   ステレオ立体視を可能にするシステムとの通信を行い前記検索されたステレオペアの画像の情報を送信する立体表示連携処理手段と
   を備え、前記基線又は主点を選択して前記ステレオ写真画像対を検索して立体視及び三次元計測するためステレオ写真画像対を再配列して表示することを特徴とするステレオ写真画像の管理システム。
5. 前記標定図処理手段は、前記標定図の中に前記写真画像群のそれぞれのサムネイルを生成して表示し又は背景図を表示することを特徴とする請求項４記載のステレオ写真画像の管理システム。
6. 前記標定図処理手段は、前記写真画像群を、撮影された時のカメラ位置及び撮影方向と相対的に等しくなるように再現し、該原写真画像群又は偏位修正・縮尺補正済み写真画像群を再現配置することを特徴とする請求項４記載のステレオ写真画像の管理システム。
7. 前記標定図処理手段は、前記写真画像群を、一定の撮影方向及び一定の投影面に射影変換し、一定の縮尺で撮影時の状態に再現した状態に配置することを特徴とする請求項４記載のステレオ写真画像の管理システム。
8. 前記標定図処理手段は、前記標定図の中に回転要素を適用し主点座標の中心に画像を回転させて再現配置することを特徴とする請求項４記載のステレオ写真画像の管理システム。
   

Images