JP4112077B2

JP4112077B2 - Image measurement processing method and apparatus, and recording medium recording image measurement processing program

Info

Publication number: JP4112077B2
Application number: JP16391898A
Authority: JP
Inventors: 忠之伊藤; 仁志大谷; 伸夫高地
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 1998-06-11
Filing date: 1998-06-11
Publication date: 2008-07-02
Anticipated expiration: 2018-06-11
Also published as: JPH11351865A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体に係る。本発明は、特に、近接・地上測量分野における測量及び図化に利用され、ディジタル写真測量及びパーソナルコンピュータによるディジタル処理を用いたポータブルでシンプルな画像計測処理技術に関する。
本発明は、ステレオ画像に対してはもちろん、例えば広範囲を小さい画像で互いに重複領域をもたせて分割して撮影した画像に対して適用できる。
【０００２】
【従来の技術】
図５に、従来の画像計測撮影の説明図を示す。
通常、図示のように、ステレオ画像撮影による測量において、２枚以上のオーバーラップした画像を撮影することにより、三角測量の原理によって三次元座標が取得される。対象範囲が広い場合は、撮影精度や撮影レンズとの兼ね合いにより、複数枚の画像を撮影することになる。例えば簡単な現場においても、通常１０枚〜２０枚は撮影の必要がある。その際、各ステレオペア（モデル）に対して標定（カメラの位置、傾き等を求めること）ができなければ、ステレオ画像を作成することができず、また、三次元計測を行うことができない。
【０００３】
また、これら画像は中心投影画像とよばれるものであるが、最終的に求めたい図面は正射投影画像であり、詳細な画像図面を作成するには、画像を中心投影から正射投影（オルソ）画像に作成し直さなければならない。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。
【０００４】
【発明が解決しようとする課題】
従来の地上測量においては、撮影現場の測量・図化を行う際に、膨大な数の点を測量したり、三次元計測をする必要があったため、かなりの人手と労力を有していた。一方、近接・地上写真測量技術を使えば、写真撮影を行うだけで、面的な測量三次元データが得られるが、従来フィルム用カメラしかなかったため、その現像やスキャンニングに時間を有し（２〜３日）、更に解析作業にも数日を要していた。また、フィルムを現像した後に、さらに解析までの処理を行わないと、撮影された画像データが解析可能なものか、また、安定かつ確実で、信頼性が高い解析ができるかどうかはわからなかった。従来は、結果的に、撮影をやり直す等の作業が生ずることもあり、この手法はあまり用いられていなかった。
【０００５】
近年、デジタルカメラの普及拡大に伴い、従来のフィルムやアナログ式でないデジタルカメラによるデジタル近接・地上写真測量が可能になった。この技術を用いればフィルムの現像、スキャンニングの手間が無くなり、かつコンピュータによる解析を行うために、撮影から解析まで１〜２日で行えるようになった。
【０００６】
しかしながら、撮影データを取得後、解析装置（コンピュータ）のあるところに撮影データを持ち込み解析・計測する必要があった。そのために、解析に適切な撮影が行えていないと、やはり結果的に撮影し直し等の作業が生ずることがあり、必ずしも安定確実な解析が行えていたとはいえなかった。
また、画像により解析・計測する場合、基準点・標定点配置、撮影範囲、撮影オーバーラップ等が適切でないと、安定かつ信頼性の高い解析が行えず、不安定な結果や、場合によっては解析できないといったことも発生した。
【０００７】
本発明は、以上の点に鑑み、撮影現場において簡易オルソ画像を作成し、チェック・修正を行うことによって、計測範囲の確認、図化範囲の確認、基準点配置の確認及び標定確認等を、撮影直後にその現場にて行えるようにすることを目的とする。
本発明は、主にデジタルカメラなどのディジタル画像入力手段とパーソナルコンピュータを利用してディジタル写真測量を行うことにより、いつでも失敗のない確実で信頼性の高い解析及び計測を行うための画像を取得し、高精度・高解像度の計測・解析・図化を行うことを目的とする。
【０００８】
本発明は、詳細なオルソ画像を作成する前の簡易オルソ画像（正射画像）を現場で作成することにより、その撮影現場において、撮影結果の確認を行い、必要に応じて再撮影等の修正を行うことができるようにすることを目的とする。また、本発明は、詳細なオルソ画像を作成する前の簡易オルソ画像を確認することになるので、この後の一層正確な詳細解析及び詳細オルソ画像の作成を確実に達成できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明では、撮影現場において、以下のような動作及び確認を行うことができる。
（１）ステレオ解析における計測範囲（オーバーラップ）の確認、
（２）複数画像を統合したオルソ画像の作成及び確認、
（３）全体の計測（撮影）範囲及び図化範囲の確認、
（４）全体の基準点・標定点配置の確認、及び、
（５）標定確認、ステレオ法解析の際のモデル形成確認。
【００１０】
本発明の第１の解決手段によると、
基準点又は標定点が含まれ、互いにオーバーラップした複数の画像が入力される画像入力機能と、
基準点又は標定点の地上座標値が予め記憶された記憶機能と、
上記画像入力機能により入力された複数の画像から、基準点又は標定点の画像座標値又は写真座標値、及び、地上座標値に基づきオルソ画像を形成するオルソ画像形成機能と、
上記オルソ画像形成機能で形成されたオルソ画像に基づき、再撮影の要否、及び、撮影位置又は基準点若しくは標定点位置の変更の要否を判定する判定機能とを備えた画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体を提供する。
【００１１】
【発明の実施の形態】
図１に、本発明に係る画像計測処理装置の構成図を示す。画像計測処理装置は、制御部１、記憶部２、入出力インターフェース３、画像入力部４、表示部５、入出力部６を備える。
【００１２】
制御部１は、オルソ画像形成部１１、判定部１２、修正データ形成部１３を含む。記憶部（記憶機能）２には、基準点又は標定点のデータが予め記憶されるとともに、各種座標系での画像データ等が記憶される。基準点又は標定点のデータは、例えば地上座標値で記憶される。入出力インターフェース３は、共通バス等で構成され、各種装置（機能）を接続する。
画像入力部（画像入力機能）４は、例えばディジタルカメラ、ＣＣＤ等の２次元又は３次元画像を得るものである。画像入力部４には、基準点又は標定点が含まれ、且つ、例えば６０％程度が互いにオーバーラップした複数のステレオ画像が入力される。
【００１３】
表示部（表示機能）５は、ＣＲＴ、液晶ディスプレイ又はプラズマディスプレイ等の２次元又は３次元表示を行うものである。表示部５は、制御部１のオルソ画像形成部１１で形成されたオルソ画像を表示する。また、表示部５は、制御部１の判定部１２により判定された非重複領域又は非撮影領域、又は、基準点若しくは標定点の不足若しくは位置不良等を、オルソ画像の表示画面上において、識別可能に表示する。
入出力部６は、各種画像データや判定結果等の情報を他の装置と入出力するものである。入出力部６としては、例えば、フロッピーディスクドライブ、ターミナル、キーボード、マウス、ＣＤ−ＲＯＭディスクドライブ等の各種入力装置・出力装置を備えることができる。
【００１４】
オルソ画像形成部（オルソ画像形成機能）１１は、画像入力部４により入力された複数のステレオ画像に基づき、基準点又は標定点の画像座標値（又は写真座標値）及び地上座標値からオルソ画像を形成する。オルソ画像形成部１１は、判定部１２により判定された非重複領域又は非撮影領域、又は、基準点若しくは標定点の不足若しくは位置不良を、オルソ画像の表示画面上において、識別可能に表示する機能を含む。また、オルソ画像形成部１１は、複数のステレオ画像に基づき接続標定又は相互標定等の標定処理を実行する機能を含む。
【００１５】
判定部（判定機能）１２は、オルソ画像形成部１１で形成されたオルソ画像に基づき、撮影位置の変更や基準点又は標定点位置の変更を要するか否かを判定する。判定部１２は、オルソ画像において、少なくとも２つのステレオ画像によりオーバーラップされていない非重複領域を抽出する機能を含む。また、判定部１２は、オルソ画像において、測定対象領域でステレオ画像によりカバーされていない非撮影領域を抽出する機能を含む。さらに、判定部１２は、オルソ画像において、少なくとも２つのステレオ画像によるオーバーラップ部分に含まれる基準点又は標定点が不足又は位置不良しているかどうかを判定する機能を備える。さらに、判定部１２は、オルソ画像形成部１１による標定処理の結果が収束しない場合に、基準点又は標定点の設定を変更する指示をオルソ画像形成部１１及び／又は修正データ形成部１３に出力する機能を備える。
【００１６】
修正データ形成部（修正データ形成機能）１３は、判定部１２が、オルソ画像において、非重複領域又は非撮影領域、又は、基準点若しくは標定点の不足若しくは位置不良を検出した場合、再撮影のためのデータを形成する。この再撮影のためのデータとしては、検出された不良を解消するために必要なデータであり、例えば、撮影位置に関するデータ、撮影範囲に関するデータ、基準点・標定点の選択に関するデータ、再配置すべき基準点・標定点の特定のためのデータ等がある。これらのデータは、オルソ画像形成部１１にフィードバックされる。
【００１７】
上述のような各手段（機能）は、例えばポータブルコンピュータ（ＰＣ）により実現することができる。また各手段により、以下に詳細に説明するような画像計測処理方法が実現される。
【００１８】
図２に、本発明に係る画像計測処理方法のフローチャートを示す。以下に、この図に従って、画像計測処理について説明する。
【００１９】
まず、基準点又は標定点を設置し、測量機などによって計測したデータを設定する（ステップＳ１１０）。基準点は、地上座標系（絶対座標系）（Ｘ、Ｙ、Ｚ）で予め測量機等により正確に測定されたものである。標定点は、撮影画像上に均等に（離散的に）配置されていれば、その位置が計測されている必要はない。もちろん、位置が計測されている基準点と兼ねることもできる。なお、地上座標系（Ｘ、Ｙ、Ｚ）とは、モデルの実空間を定めた３次元の直交座標系である。
【００２０】
つぎに、各画像が十分オーバーラップし、且つ、基準点又は標定点が例えば少なくとも６点以上重複するよう撮影する（ステップＳ１２０）。ここでは、一例として、各画像に基準点又は標定点が最低６点以上ということであるが、必要に応じて適宜の数をそれぞれ用いることができる。例えば、仮にバンドル調整等を使えば、基準点の計測は３点まで減らすことが可能である。また、基準点ではなく標定点であっても、標定できるターゲットが６箇所程度あればよい。あるいは、標定点が平面状に配置していると仮定できれば４点でもよい。
【００２１】
撮影後、ポータブルコンピュータ（ＰＣ）に、オルソ画像作成範囲及び／又は解像度等の画像処理に必要な各種設定値を設定する（ステップＳ１３０）。つぎに、ＰＣ上で各画像の基準点又は標定点を計測する（ステップＳ１４０）。ここで、オルソ画像形成機能により、標定計算及びオルソ画像作成がプログラムに従い自動的に行われる（ステップＳ１５０）。この具体的な処理については、詳細に後述する。
オルソ画像形成機能による計算処理の後、ディスプレイ上に標定結果及びオルソ画像を画面表示する（ステップＳ１６０）。つぎに、ステップＳ１６０の結果より、測定された画像についての各チェック項目が確認される（ステップＳ１７０）。
【００２２】
ここで、表示機能には、オルソ画像により全体および各画像の配置が表示され、また、各種表示情報により標定結果の不十分なことが識別可能に表示されることにより、チェック項目が確認される。チェック項目としては、標定結果が不十分であれば（目的の精度に達していない、収束しない等）、基準点・標定点の選択又は配置が不適当ということが判定される。撮影忘れ等による非撮影領域が存在する場合のような全計測範囲の不良については、作成されたオルソ画像により確認される。画像の重複不良等による非重複領域が存在するような場合、オーバーラップ部分の可否が確認される。このようなオーバーラップ不良の場合、作成されたオルソ画像において、隣り合った画像でオーバーラップしてある部分のみ抽出し、表示することにより、オルソ画像上の各画像間の接合部に隙間が生じるので即座に判断できる。
【００２３】
測定者による表示画面の確認に加えて、制御機能（特に、判定機能）により自動的にチェック項目を確認することもできる。標定点の配置又は位置が不良のときのように、標定計算の計算結果が収束しない場合又は接続標定が正常に行われなかった場合は、ステップＳ１６０における標定結果でエラーを出力し、どこの画像が不適当であるか等の不良が識別可能に表示される。例えば、制御機能は、標定結果として目的の精度に達していないこと又は収束しないことを、表示機能に識別子又はフラグ等で自動的に表示したり、適当な範囲をカラーやパターンにより識別可能に表示することもできる。また、非撮影領域や非重複領域が存在する場合等についても、制御機能により画像処理技術を用いて自動的に適宜認識することができる。具体的には、例えば、画像の空白箇所を検出し、その面積・位置等を識別することにより、これら不良を判断することができる。
【００２４】
これらのチェック結果により修正が必要な場合、基準点・標定点の不足又は位置不良等により、再撮影の際にその配置を再度決定する必要があるか否かが判定される（ステップＳ１７２）。
ここで、例えば非撮影領域や非重複領域が存在するときのように、例えば画像の撮影位置だけが不適切であるため基準点・標定点の再配置を要しない場合は、修正データ形成機能により再撮影のためのデータが形成され、このデータに従い再度の撮影が行われる（ステップＳ１８６）。その後、ステップＳ１４０から再び処理が行われる。
【００２５】
一方、例えば標定計算の計算結果が収束しない場合又は接続標定が正常に行われなかった場合のように、基準点・標定点の配置変更を行う必要がある場合は、それらの再配置を検討する（ステップＳ１７４）。画像上に別の基準点又は標定点があり且つ再撮影を行わなくてもそれらの画像座標が得られる場合は、すでに撮影された画像から基準点・標定点の選択を変更して（ステップＳ１７６）、ステップＳ１５０から上述のような計算を繰り返す。この処理を自動的に行うようにしても良い。一方、画像上に別の適当な基準点又は標定点がない場合は、基準点又は標定点の配置を移動したりすることで配置変更を行なう（ステップＳ１８４）。その後、修正データ形成機能により、再配置された基準点・標定点を含む画像を再撮影するためのデータが形成され、これに従い再撮影が行われる（ステップＳ１８６）。さらに、ステップＳ１４０から処理が実行される。
【００２６】
なお、ステップＳ１８６の再撮影処理及びステップＳ１４０における計測処理等は、各不良に対処するのに必要な基準点・標定点を含む画像だけについて実行するようにしても良いし、全体の撮影対象画像について実行するようにしても良い。
また、チェック結果により再撮影が必要かどうかという判断、及び再撮影が必要な場合にどのステップまで戻るかという判断は、表示画面に基づき操作者がマニュアルで行っても良いし、また、ＰＣにより自動的に判断されても良いし、マニュアルとＰＣとを適宜組み合わせて判断しても良い。
以上のようにして、ステップＳ１７０のチェック結果により、修正が必要ないと判断された場合は、所望のオルソ画像が求められたと判断され、処理を終了する。
【００２７】
次に、図３に、標定計算及びオルソ画像作成処理のフローチャートを示す。これは、図２のフローチャートの主にステップＳ１５０に相当する処理である。
【００２８】
まず、図２に示されたステップＳ１４０により得られた各画像の三次元座標に基づき、各モデル画像に写し込まれた基準点・標定点等の計測点（例えば６点以上の計測点）から標定計算を順次行う（ステップＳ２０１）。標定計算は、ステップＳ１７０のチェックにおいて用いるデータであり、詳細に後述する。
計測点は、ディジタルカメラ等の固体撮像素子（ＣＣＤ）上に画像座標として求められたものである。そこで、この画像座標を、写真画像（ｘ、ｙ）に変換する（ステップＳ２０３）。写真座標系とは、主点を原点とする２次元座標系である。
【００２９】
つぎに、直接線形変換法（Direct Linier Transformation,ＤＬＴ）法を利用して、基準点などから得られた地上座標（Ｘ、Ｙ、Ｚ）と画像上で計測されて得られた写真座標（ｘ、ｙ）との変換パラメータを計算する（ステップＳ２０５）。ここで、ＤＬＴ法とは、極端に斜め撮影された画像であっても、正射投影画像に変換することのできる画像変換方法である。ＤＬＴ法は、写真座標と被写体の３次元座標（対象点座標）との関係を３次の射影変換式で近似したものである。（ＤＬＴ法の詳細については、「村井俊治：解析写真測量、pp４６−５１、pp１４９−１５５」等を参照。）
【００３０】
以下に、ステップＳ２０５のＤＬＴ法について説明する。これはオルソ画像上のピクセル位置を求めるための変換パラメータを算出する処理である。ここでは、主に、基準点・標定点の既知の座標及び計測された画像（写真）座標に基づいて処理が行われる。
まず、次式にＤＬＴ法の基本式を示す。
【００３１】
【数１】

ここで、（ｘ、ｙ）：写真座標、
（Ｘ、Ｙ、Ｚ）：地上座標、
Ｌ_１〜Ｌ_１１：ＤＬＴ法の未知変量。
【００３２】
数式１に対し、分母を消去すると、次の線形式を導き出せる。
【００３３】
【数２】

さらに、数式２を変形すると、以下の式となる。
【００３４】
【数３】

【００３５】
このような数式３を、基準点・標定点のデータに基づき最小二乗法を用いて解くと、写真座標（ｘ、ｙ）と地上座標（Ｘ、Ｙ、Ｚ）との関係を決定するＬ_１〜Ｌ_１１の１１個の未知変量（変換パラメータ）を取得することができる。
【００３６】
つぎに、オルソ画像上の各画素（ピクセル）の地上座標を計算する（ステップＳ２０７）。この処理では、オルソ画像作成のために、オルソ画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先にステップＳ２０５で求められた変換パラメータを用いて計算される。即ち、オルソ画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、オルソ画像上の各ピクセルの取得位置を求めることができる。
【００３７】
【数４】

ここで、
（Ｘ_０、Ｙ_０）：地上座標系でのオルソ画像の左上の位置、
（ΔＸ、ΔＹ）：地上座標系での１画素の大きさ（例：ｍ／pixel）、
（ｘ、ｙ）：オルソ画像の画像座標、
（Ｘ、Ｙ、Ｚ）：地上画像、
ａ，ｂ，ｃ，ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数。この係数は、例えば、三角形内挿処理（Triangulated Irraguler Network,ＴＩＮ）の平面の方程式の係数である。ＴＩＮは、３次元座標を内挿する方法として三角形を構成単位とするメッシュを生成するもので、三角網とも呼ばれる。ＴＩＮについての詳細は、「伊理正夫、腰塚武志：計算幾何学と地理情報処理、pp１２７」、Franz Aurenhammer,杉原厚吉訳：Voronoi図、一つの基本的な幾何データ構造に関する概論、ACM Computing Surveys, Vol.23,pp345-405」等を参照。）
【００３８】
今度は、ステップＳ２０５で求めた変換パラメータを使用して、数式１により、ステップＳ２０７で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（ステップＳ２０９）。
このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、オルソ画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、オルソ画像のすべてのピクセルに対して行うことにより、画像合成が行なわれる。
【００３９】
これらの処理をコンピュータ上で自動的に計算処理することにより、標定計算及びオルソ画像作成が行われ、つぎに、ステップＳ１６０に示されるように、標定結果及びオルソ画像表示がなされる。尚、これら処理は、ポータブルコンピュータ上ではわずかな時間で（例えば、数分もかからずに）終了する。
【００４０】
次に、ステップＳ２０１に示された、各モデルの標定計算の詳細について説明する。まず、一例として、相互標定について説明する。相互標定は、２つのカメラの傾きと位置とを撮影時の状態に相対的に等しくする処理である。ステレオ画像においては、以下のような計算により、左右それぞれのカメラの位置等が求められる。
【００４１】
図４に、カメラ座標及びモデル座標の説明図を示す。
カメラ座標系では、レンズ中心（投影中心、主点）を原点とし、ｘ軸及びｙ軸は、写真画像のｘ軸及びｙ軸と平行とする。画面距離をｃ（ｃ＞０）とすると、写真平面上の点は（ｘ、ｙ、−ｃ）で表される。また、モデル座標系（Ｘ、Ｙ、Ｚ）では、２枚１組の立体写真から形成される立体像を定義するための３次元座標系であり、原点は左写真の投影中心をとる。
まず、次式のような共面条件式によりそれらパラメータを求める。
【００４２】
【数５】

ここで、
Ｘ_０１、Ｙ_０１、Ｚ_０１：モデル座標系で表した左画像の投影中心座標、
Ｘ_０１、Ｙ_０１、Ｚ_０１：モデル座標系で表した右画像の投影中心座標、
Ｘ_１、Ｙ_１、Ｚ_１：モデル座標系で表した左画像の像座標、
Ｘ_２、Ｙ_２、Ｚ_２：モデル座標系で表した右画像の像座標
である。
【００４３】
いま、図示のように、モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。また、縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側カメラのＺ軸の回転角κ_１及びＹ軸の回転角φ_１、また、右側カメラのＺ軸の回転角κ_２及びＹ軸の回転角φ_２及びＸ軸の回転角ω_２、の５つの回転角となる。この場合左側カメラのＸ軸の回転角ω_１は０なので、考慮する必要ない。
このような条件にすると、数式５の共面条件式は、次式のようになり、この式を解けば各パラメータが求まる。
【００４４】
【数６】

ここで、モデル座標系（Ｘ、Ｙ、Ｚ）とカメラ座標系（ｘ、ｙ、ｚ）の間には、次に示すような座標変換の関係式が成り立つ。
【００４５】
【数７】

【００４６】
これらの式を用いて、次の手順により、未知パラメータを求める。
1.初期近似値は通常０とする。
2.共面条件式（数式４）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数式７により求め、観測方程式をたてる。
3.最小二乗法をあてはめ、近似値に対する補正量を求める。
4.近似値を補正する。
5.補正された近似値を用いて、2.〜5.までの操作を収束するまで繰り返す。
【００４７】
仮に、標定点の配置が不適当なときのように、収束しない場合がありうる。その際に、図２のステップＳ１６０の標定結果表示において、どこの画像が不適当かが識別され、表示される。
ここで、未知パラメータの計算が収束した場合、更に、例えば接続標定を行なう。接続標定は、単写真標定がなされた各モデル間の傾きや縮尺等を統一して複数の画像を接続することにより、同一座標系とする処理である。接続標定では、一対の実体写真において一方の標定要素は固定し他方の標定要素だけを操作して接続する処理が実行される。この処理を行なった場合、以下の式であらわされる接続較差を算出する。
【００４８】
【数８】

【００４９】
算出した結果、ΔＺｊ及びΔＤｊが、所定値（例えば０．０００５（１／２０００））以下なら接続標定が正常に行われたと判定される。
計算結果が収束しない場合又は接続標定が正常に行われなかった場合は、図２のステップＳ１６０における標定結果表示でエラーを出力し、どこの画像が悪いか等の不良を識別可能に表示する。
【００５０】
以上のような本発明の画像計測処理方法を実行する画像計測処理プログラムは、ＣＤ−ＲＯＭ、フロッピーディスク等の記録媒体により提供されることができる。
【００５１】
【発明の効果】
本発明は、以上のように、撮影現場において簡易オルソ画像を作成し、チェック・修正を行うことによって、計測範囲の確認、図化範囲の確認、基準点配置の確認及び標定確認等を撮影直後にその現場にて行えるという顕著な効果を奏する。
本発明によると、主にデジタルカメラなどのディジタル画像入力手段とパーソナルコンピュータを利用してディジタル写真測量を行うことにより、いつでも失敗のない確実で信頼性の高い解析及び計測を行うための画像を取得し、高精度・高解像度の計測・解析・図化を行うことができる。
【００５２】
本発明によると、詳細なオルソ画像を作成する前の簡易オルソ画像（正射画像）を現場で作成することにより、その撮影現場において、撮影結果の確認を行い、必要に応じて再撮影等の修正を行うことができる。また、本発明によると、詳細なオルソ画像を作成する前の簡易オルソ画像を確認することになるので、この後のより正確な詳細解析及び詳細オルソ画像の作成を可能とする。
【図面の簡単な説明】
【図１】本発明に係る画像計測処理装置の構成図。
【図２】本発明に係る画像計測処理方法のフローチャート。
【図３】自動標定計算及びオルソ画像処理のフローチャート。
【図４】カメラ座標及びモデル座標の説明図。
【図５】従来の画像計測撮影の説明図。
【符号の説明】
１制御部
１１オルソ画像形成部
１２判定部
１３修正データ形成部
２記憶部
３入出力インターフェース
４画像入力部
５表示部
６入出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image measurement processing method and apparatus, and a recording medium on which an image measurement processing program is recorded. The present invention particularly relates to a portable and simple image measurement processing technique that is used for surveying and plotting in the field of proximity and ground surveying, and uses digital photogrammetry and digital processing by a personal computer.
The present invention can be applied not only to a stereo image, but also to, for example, an image obtained by dividing a wide range and capturing images by dividing each other with overlapping regions.
[0002]
[Prior art]
FIG. 5 is an explanatory diagram of conventional image measurement and photographing.
Usually, as shown in the figure, three-dimensional coordinates are acquired by the principle of triangulation by photographing two or more overlapping images in surveying by stereo image photographing. When the target range is wide, a plurality of images are taken depending on the taking precision and taking lens. For example, even in a simple field, usually 10 to 20 images need to be taken. At that time, unless orientation (determining the camera position, tilt, etc.) can be performed for each stereo pair (model), a stereo image cannot be created, and three-dimensional measurement cannot be performed.
[0003]
These images are called central projection images, but the final drawing to be obtained is an orthographic projection image. To create a detailed image drawing, an image is projected from the central projection to an orthographic projection (orthoscope). ) Must be recreated in the image. An ortho image is an orthographic projection image obtained by correcting distortion due to camera tilt, specific height, etc. based on photogrammetry technology.
[0004]
[Problems to be solved by the invention]
In conventional ground surveying, it was necessary to survey a large number of points or perform three-dimensional measurement when surveying and plotting at the shooting site. On the other hand, using proximity and ground photogrammetry technology, plane surveying 3D data can be obtained just by taking a photo, but since there was only a film camera in the past, it took time to develop and scan ( 2 to 3 days), and the analysis work also took several days. In addition, after developing the film, it was not known if the captured image data could be analyzed without further processing until analysis, or if the analysis could be stable, reliable and reliable. . Conventionally, as a result, work such as re-shooting may occur, and this method has not been used so much.
[0005]
In recent years, with the widespread use of digital cameras, digital proximity and terrestrial photogrammetry using conventional film and non-analog digital cameras has become possible. If this technique is used, there is no need for film development and scanning, and since the analysis is performed by a computer, it is possible to perform from the photographing to the analysis in one to two days.
[0006]
However, after obtaining the photographic data, it is necessary to bring the photographic data to an analysis device (computer) and analyze and measure it. For this reason, if photographing appropriate for analysis is not performed, work such as re-shooting may occur as a result, and it cannot always be said that stable and reliable analysis has been performed.
Also, when analyzing and measuring from images, stable and reliable analysis cannot be performed unless the reference point / control point arrangement, shooting range, and shooting overlap are appropriate, resulting in unstable results and, in some cases, analysis. Something that couldn't be done happened.
[0007]
In view of the above points, the present invention creates a simple ortho image at the shooting site, and checks and corrects, thereby confirming the measurement range, confirming the plotting range, confirming the reference point arrangement, and determining the orientation, etc. The purpose is to be able to perform at the scene immediately after shooting.
The present invention mainly obtains an image for performing reliable and reliable analysis and measurement without any failure by performing digital photogrammetry mainly using a digital image input means such as a digital camera and a personal computer. The purpose is to measure, analyze, and plot with high accuracy and high resolution.
[0008]
The present invention creates a simple ortho image (orthogonal image) before creating a detailed ortho image on the spot, confirms the shooting result at the shooting spot, and corrects re-shooting as necessary. The purpose is to be able to perform. In addition, since the present invention confirms a simple ortho image before creating a detailed ortho image, it is possible to reliably achieve more accurate detailed analysis and creation of a detailed ortho image after this. Objective.
[0009]
[Means for Solving the Problems]
In the present invention, the following operations and confirmations can be performed at the shooting site.
(1) Confirmation of measurement range (overlap) in stereo analysis,
(2) Creation and confirmation of ortho image by integrating multiple images,
(3) Confirmation of overall measurement (shooting) range and plotting range,
(4) Confirmation of overall reference point / control point arrangement, and
(5) Confirmation of orientation and confirmation of model formation during stereo method analysis.
[0010]
According to the first solution of the present invention,
An image input function that includes a reference point or a control point and inputs a plurality of overlapping images;
A storage function in which the ground coordinate value of the reference point or control point is stored in advance;
An ortho image forming function for forming an ortho image from a plurality of images input by the image input function based on the image coordinate value or photo coordinate value of the reference point or orientation point, and the ground coordinate value;
An image measurement processing method provided with a determination function for determining the necessity of re-photographing and the necessity of changing the photographing position or reference point or orientation point position based on the orthoimage formed by the orthoimage forming function, and Provided is a recording medium on which an apparatus and an image measurement processing program are recorded.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration diagram of an image measurement processing apparatus according to the present invention. The image measurement processing apparatus includes a control unit 1, a storage unit 2, an input / output interface 3, an image input unit 4, a display unit 5, and an input / output unit 6.
[0012]
The control unit 1 includes an ortho image forming unit 11, a determination unit 12, and a correction data forming unit 13. The storage unit (storage function) 2 stores reference point or orientation point data in advance, and also stores image data and the like in various coordinate systems. The reference point or orientation point data is stored as ground coordinate values, for example. The input / output interface 3 includes a common bus and connects various devices (functions).
The image input unit (image input function) 4 obtains a two-dimensional or three-dimensional image such as a digital camera or a CCD. The image input unit 4 receives a plurality of stereo images that include reference points or orientation points and that overlap each other by, for example, about 60%.
[0013]
The display unit (display function) 5 performs two-dimensional or three-dimensional display such as a CRT, a liquid crystal display, or a plasma display. The display unit 5 displays the ortho image formed by the ortho image forming unit 11 of the control unit 1. Further, the display unit 5 identifies a non-overlapping area or a non-photographing area determined by the determination unit 12 of the control unit 1 or a deficiency or a poor position of a reference point or orientation point on the ortho image display screen. Display as possible.
The input / output unit 6 inputs / outputs information such as various image data and determination results to / from other devices. The input / output unit 6 may include various input devices / output devices such as a floppy disk drive, a terminal, a keyboard, a mouse, and a CD-ROM disk drive.
[0014]
The ortho image forming unit (ortho image forming function) 11 is based on a plurality of stereo images input by the image input unit 4 and generates an ortho image from the image coordinate values (or photographic coordinate values) of the reference points or orientation points and the ground coordinate values. Form. The ortho image forming unit 11 has a function of displaying the non-overlapping area or the non-photographing area determined by the determination unit 12 or the deficiency or position defect of the reference point or the orientation point in an identifiable manner on the display screen of the ortho image. including. The ortho image forming unit 11 includes a function of executing orientation processing such as connection orientation or mutual orientation based on a plurality of stereo images.
[0015]
The determination unit (determination function) 12 determines whether it is necessary to change the shooting position or the reference point or the orientation point position based on the ortho image formed by the ortho image forming unit 11. The determination unit 12 includes a function of extracting non-overlapping regions that are not overlapped by at least two stereo images in the ortho image. Further, the determination unit 12 includes a function of extracting a non-photographing region that is not covered by the stereo image in the measurement target region from the ortho image. Furthermore, the determination unit 12 has a function of determining whether or not a reference point or orientation point included in an overlap portion of at least two stereo images is insufficient or poor in the ortho image. Further, the determination unit 12 outputs an instruction to change the setting of the reference point or the orientation point to the ortho image forming unit 11 and / or the corrected data forming unit 13 when the result of the orientation processing by the ortho image forming unit 11 does not converge. It has a function to do.
[0016]
The correction data forming unit (corrected data forming function) 13 performs re-photographing when the determination unit 12 detects a non-overlapping region or a non-photographing region, or a deficiency or a poor position of a reference point or orientation point in the ortho image. Form data for. The data for this re-shooting is data necessary for eliminating the detected defect. For example, data related to the shooting position, data related to the shooting range, data related to the selection of the reference point / control point, and rearrangement. There are data for identifying the control points and ground control points. These data are fed back to the ortho image forming unit 11.
[0017]
Each means (function) as described above can be realized by, for example, a portable computer (PC). Each means implements an image measurement processing method as described in detail below.
[0018]
FIG. 2 shows a flowchart of the image measurement processing method according to the present invention. Hereinafter, the image measurement process will be described with reference to FIG.
[0019]
First, a reference point or a control point is set, and data measured by a surveying instrument or the like is set (step S110). The reference point is accurately measured in advance by a surveying instrument or the like in the ground coordinate system (absolute coordinate system) (X, Y, Z). If the orientation points are evenly (discretely) arranged on the captured image, the positions thereof need not be measured. Of course, it can also serve as a reference point whose position is measured. The ground coordinate system (X, Y, Z) is a three-dimensional orthogonal coordinate system that defines the real space of the model.
[0020]
Next, photographing is performed so that the images overlap sufficiently and at least six reference points or orientation points overlap, for example (step S120). Here, as an example, the minimum number of reference points or orientation points is 6 or more for each image, but an appropriate number can be used as necessary. For example, if bundle adjustment or the like is used, the reference point measurement can be reduced to three points. Moreover, even if it is an orientation point instead of a reference point, it is sufficient if there are about 6 targets that can be oriented. Alternatively, four points may be used if it can be assumed that the orientation points are arranged in a plane.
[0021]
After shooting, various setting values necessary for image processing such as an ortho image creation range and / or resolution are set in the portable computer (PC) (step S130). Next, the reference point or orientation point of each image is measured on the PC (step S140). Here, orientation calculation and ortho image creation are automatically performed according to the program by the ortho image forming function (step S150). This specific process will be described later in detail.
After the calculation process by the ortho image forming function, the orientation result and the ortho image are displayed on the screen on the display (step S160). Next, each check item for the measured image is confirmed from the result of step S160 (step S170).
[0022]
Here, in the display function, the entire image and the arrangement of each image are displayed by the ortho image, and the check items are confirmed by displaying that the orientation result is insufficient in various display information. . As a check item, if the orientation result is insufficient (the target accuracy has not been reached or does not converge, etc.), it is determined that the selection or arrangement of the reference points / location points is inappropriate. A defect in the entire measurement range, such as when there is a non-photographing area due to forgetting to photograph or the like, is confirmed by the created ortho image. When there is a non-overlapping area due to image duplication failure or the like, whether or not an overlapping portion is possible is confirmed. In the case of such an overlap defect, by extracting and displaying only the overlapped portion of adjacent images in the created ortho image, a gap is generated at the joint between the images on the ortho image. So you can judge immediately.
[0023]
In addition to confirmation of the display screen by the measurer, check items can be automatically confirmed by a control function (particularly, a judgment function). If the calculation result of the orientation calculation does not converge or the connection orientation is not performed normally, such as when the location or position of the orientation point is defective, an error is output as the orientation result in step S160, and the image of which Is displayed in an identifiable manner. For example, the control function automatically indicates that the target accuracy has not been reached or does not converge as an orientation result, and automatically displays an identifier or flag on the display function, or displays an appropriate range that can be identified by color or pattern. You can also Further, even when there is a non-photographing region or a non-overlapping region, it can be automatically recognized appropriately using an image processing technique by the control function. Specifically, for example, these defects can be determined by detecting a blank portion of the image and identifying its area, position, and the like.
[0024]
If correction is necessary based on these check results, it is determined whether or not it is necessary to determine the arrangement again at the time of re-imaging due to a shortage of reference points or orientation points or poor position (step S172).
Here, for example, when there is a non-photographing area or a non-overlapping area, for example, when only the photographing position of the image is inappropriate and the rearrangement of the reference points / control points is not required, the correction data forming function is used. Data for re-shooting is formed, and shooting is performed again according to this data (step S186). Thereafter, the process is performed again from step S140.
[0025]
On the other hand, if it is necessary to relocate the reference points / orientation points, for example, when the calculation results of orientation calculation do not converge or when connection orientation is not performed normally, consider relocation of those (Step S174). If there are other reference points or orientation points on the image and those image coordinates can be obtained without re-photographing, the selection of the reference points and orientation points is changed from the already taken image (step S176). ), The above calculation is repeated from step S150. This process may be performed automatically. On the other hand, if there is no other appropriate reference point or orientation point on the image, the location is changed by moving the location of the reference point or orientation point (step S184). Thereafter, data for re-imaging the image including the rearranged reference point / orientation point is formed by the correction data forming function, and re-imaging is performed according to this (step S186). Further, processing is executed from step S140.
[0026]
Note that the re-photographing process in step S186 and the measuring process in step S140 may be executed only for images including reference points and orientation points necessary for dealing with each defect, or the entire image to be captured. You may make it perform about.
Further, the determination of whether or not re-photographing is necessary based on the check result, and the determination of which step to return to when re-photographing is necessary may be made manually by the operator based on the display screen, or by the PC. It may be determined automatically, or may be determined by appropriately combining a manual and a PC.
As described above, if it is determined from the check result in step S170 that correction is not necessary, it is determined that a desired ortho image has been obtained, and the process ends.
[0027]
Next, FIG. 3 shows a flowchart of orientation calculation and ortho image creation processing. This is a process mainly corresponding to step S150 in the flowchart of FIG.
[0028]
First, based on the three-dimensional coordinates of each image obtained in step S140 shown in FIG. 2, from the measurement points (for example, six or more measurement points) such as reference points and orientation points that are imprinted in each model image. The orientation calculation is sequentially performed (step S201). The orientation calculation is data used in the check in step S170 and will be described later in detail.
The measurement points are obtained as image coordinates on a solid-state imaging device (CCD) such as a digital camera. Therefore, the image coordinates are converted into a photographic image (x, y) (step S203). The photographic coordinate system is a two-dimensional coordinate system having a principal point as an origin.
[0029]
Next, using the direct linear transformation (DLT) method, the ground coordinates (X, Y, Z) obtained from the reference point and the photographic coordinates (x) obtained by measurement on the image. , Y) and a conversion parameter are calculated (step S205). Here, the DLT method is an image conversion method that can convert an image taken extremely obliquely into an orthographic projection image. The DLT method approximates the relationship between the photograph coordinates and the three-dimensional coordinates (target point coordinates) of the subject by a cubic projective transformation equation. (For details on the DLT method, see “Shunji Murai: Analytical Photogrammetry, pp46-51, pp149-155”, etc.)
[0030]
Hereinafter, the DLT method in step S205 will be described. This is a process of calculating a conversion parameter for obtaining a pixel position on the ortho image. Here, the processing is mainly performed based on the known coordinates of the reference points and orientation points and the measured image (photograph) coordinates.
First, the following formula shows the basic formula of the DLT method.
[0031]
[Expression 1]

Where (x, y): photo coordinates,
(X, Y, Z): ground coordinates,
L _{1 to} L ₁₁ : Unknown variables of the DLT method.
[0032]
If the denominator is deleted from Equation 1, the following line form can be derived.
[0033]
[Expression 2]

Furthermore, when Formula 2 is transformed, the following formula is obtained.
[0034]
[Equation 3]

[0035]
When such Equation 3 is solved using the method of least squares based on the reference point / control point data, L ₁ determines the relationship between the photographic coordinates (x, y) and the ground coordinates (X, Y, Z). ₁₁ unknown variables (conversion parameters) of L ₁₁ can be acquired.
[0036]
Next, the ground coordinates of each pixel (pixel) on the ortho image are calculated (step S207). In this process, the image coordinates (x, y) of the ortho image are converted to the ground coordinates (X, Y, Z) in order to create the ortho image. The ground coordinates (X, Y, Z) are calculated using the conversion parameters previously obtained in step S205. That is, the ground coordinates (X, Y, Z) corresponding to the image coordinates (x, y) of the ortho image are given by the following equations. In this way, the acquisition position of each pixel on the ortho image can be obtained.
[0037]
[Expression 4]

here,
(X ₀ , Y ₀ ): Upper left position of the ortho image in the ground coordinate system,
(ΔX, ΔY): the size of one pixel in the ground coordinate system (eg, m / pixel),
(X, y): image coordinates of the ortho image,
(X, Y, Z): ground image,
a, b, c, d: coefficients of a plane equation formed by a plurality of reference points for interpolating a certain image coordinate (x, y). This coefficient is, for example, a coefficient of a plane equation of triangle interpolation processing (Triangulated Irraguler Network, TIN). TIN generates a mesh having triangular units as a method for interpolating three-dimensional coordinates, and is also called a triangular network. For more information on TIN, see “Masao Iri, Takeshi Koshizuka: Computational Geometry and Geographic Information Processing, pp 127”, Franz Aurenhammer, Atsuyoshi Sugihara: Voronoi Diagram, Introduction to a Basic Geometric Data Structure, ACM Computing Surveys, Vol.23, pp345-405 "etc. )
[0038]
This time, using the transformation parameters obtained in step S205, the image coordinates (x, y) corresponding to the ground coordinates (X, Y, Z) obtained in step S207 are calculated by Equation 1 (step S209). ).
From the image coordinates (x, y) thus determined, the density value on the ground coordinates (X, Y, Z) of the corresponding image is acquired. This density value is the density of the pixel at the two-dimensional position (X, Y) on the ortho image. In this manner, the image density to be pasted at the position (X, Y) on the ground coordinates is acquired. Image synthesis is performed by performing the above processing on all the pixels of the ortho image.
[0039]
By automatically calculating these processes on the computer, orientation calculation and creation of an ortho image are performed. Next, as shown in step S160, an orientation result and an ortho image are displayed. Note that these processes are completed on the portable computer in a short time (for example, in a few minutes).
[0040]
Next, the details of the orientation calculation of each model shown in step S201 will be described. First, as an example, mutual orientation will be described. The relative orientation is a process for making the inclination and position of the two cameras relatively equal to the state at the time of photographing. In the stereo image, the positions of the left and right cameras are obtained by the following calculation.
[0041]
FIG. 4 is an explanatory diagram of camera coordinates and model coordinates.
In the camera coordinate system, the lens center (projection center, principal point) is the origin, and the x-axis and y-axis are parallel to the x-axis and y-axis of the photographic image. If the screen distance is c (c> 0), the point on the photographic plane is represented by (x, y, −c). The model coordinate system (X, Y, Z) is a three-dimensional coordinate system for defining a stereoscopic image formed from a set of two stereoscopic photographs, and the origin is the projection center of the left photograph.
First, these parameters are obtained by a coplanar conditional expression such as the following expression.
[0042]
[Equation 5]

here,
X ₀₁ , Y ₀₁ , Z ₀₁ : Projection center coordinates of the left image expressed in the model coordinate system,
X ₀₁ , Y ₀₁ , Z ₀₁ : Projection center coordinates of the right image expressed in the model coordinate system,
X ₁ , Y ₁ , Z ₁ : Image coordinates of the left image expressed in the model coordinate system,
X ₂ , Y ₂ , Z ₂ : Image coordinates of the right image expressed in the model coordinate system.
[0043]
As shown in the figure, the origin of the model coordinate system is taken as the left projection center, and the line connecting the right projection centers is taken as the X axis. The scale is based on the base line length as a unit length. Parameters to determine this time, the rotation angle phi ₁ of the rotation angle kappa ₁ and Y-axis of the Z-axis of the left _camera, and the rotation of the rotation angle phi ₂ and the X-axis of the rotation angle kappa ₂ and Y-axis of the Z-axis of the right camera There are five rotation angles of angle ω ₂ . In this case, the X-axis rotation angle ω ₁ of the left camera is 0, so it is not necessary to consider.
Under such conditions, the coplanar conditional expression of Expression 5 is as follows, and each parameter can be obtained by solving this expression.
[0044]
[Formula 6]

Here, between the model coordinate system (X, Y, Z) and the camera coordinate system (x, y, z), the following relational expression for coordinate transformation is established.
[0045]
[Expression 7]

[0046]
Using these equations, unknown parameters are obtained by the following procedure.
1. The initial approximate value is normally 0.
2. The coplanar conditional expression (Formula 4) is Taylor-expanded around the approximate value, and the value of the differential coefficient when linearized is obtained by Formula 7, and the observation equation is established.
3. Apply the least squares method to find the correction amount for the approximate value.
4. Correct the approximate value.
5. Repeat steps 2-5 using the corrected approximation until convergence.
[0047]
There may be a case where convergence does not occur as in the case where the location of the orientation points is inappropriate. At that time, in the orientation result display in step S160 of FIG. 2, which image is inappropriate is identified and displayed.
Here, when the calculation of the unknown parameter converges, for example, connection orientation is performed. The connection orientation is a process in which the same coordinate system is established by connecting a plurality of images by unifying the inclination, scale, and the like between the models on which the single photograph orientation is made. In connection orientation, processing is performed in which one orientation element is fixed in a pair of entity photographs and only the other orientation element is operated and connected. When this process is performed, a connection range represented by the following equation is calculated.
[0048]
[Equation 8]

[0049]
As a result of the calculation, if ΔZj and ΔDj are equal to or less than a predetermined value (for example, 0.0005 (1/2000)), it is determined that the connection orientation has been performed normally.
If the calculation result does not converge or the connection orientation is not normally performed, an error is output in the orientation result display in step S160 of FIG. 2, and a defect such as which image is bad is displayed so that it can be identified.
[0050]
The image measurement processing program for executing the image measurement processing method of the present invention as described above can be provided by a recording medium such as a CD-ROM or a floppy disk.
[0051]
【The invention's effect】
As described above, the present invention creates a simple ortho image at the shooting site, and checks and corrects it, thereby confirming the measurement range, checking the plotting range, checking the reference point arrangement, checking the orientation, etc. It has a remarkable effect that it can be done at the site.
According to the present invention, by performing digital photogrammetry mainly using a digital image input means such as a digital camera and a personal computer, an image for performing reliable and reliable analysis and measurement at any time is obtained. In addition, high-precision and high-resolution measurement, analysis, and plotting can be performed.
[0052]
According to the present invention, by creating a simple ortho image (orthogonal image) before creating a detailed ortho image on the spot, the shooting result is confirmed at the shooting spot, and re-shooting is performed if necessary. Corrections can be made. In addition, according to the present invention, since a simple ortho image before creating a detailed ortho image is confirmed, more accurate detailed analysis and creation of a detailed ortho image can be performed thereafter.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image measurement processing apparatus according to the present invention.
FIG. 2 is a flowchart of an image measurement processing method according to the present invention.
FIG. 3 is a flowchart of automatic orientation calculation and ortho image processing.
FIG. 4 is an explanatory diagram of camera coordinates and model coordinates.
FIG. 5 is an explanatory diagram of conventional image measurement and photographing.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Control part 11 Ortho image formation part 12 Determination part 13 Correction data formation part 2 Memory | storage part 3 Input / output interface 4 Image input part 5 Display part 6 Input / output part

Claims

An image input function that includes a reference point or a control point and inputs a plurality of overlapping images;
A storage function in which the ground coordinate value of the reference point or control point is stored in advance;
The ground coordinate value of each pixel on the ortho image is obtained based on the ground coordinate value of the reference point or the control point , the image coordinate values on the plurality of images corresponding to the ground coordinate value are calculated, and the plurality of images can be simply calculated. An ortho image forming function for forming an ortho image;
An image measurement processing method having a determination function for determining whether or not re-photographing is necessary and whether or not a photographing position or a reference point or orientation point position needs to be changed based on the simple orthoimage formed by the orthoimage forming function .

The image measurement processing method according to claim 1,
An image measurement processing method further comprising a display function for displaying an ortho image formed by the ortho image forming function.

The image measurement processing method according to claim 1 or 2,
The above image input function inputs a stereo image as a plurality of images,
The determination function includes a function of extracting a non-overlapping area that is not overlapped by a stereo image in the ortho image.

The image measurement processing method according to claim 3,
The image measurement processing method according to claim 1, wherein the determination function includes a function of determining whether a reference point or orientation point included in an overlap portion of the stereo image in the ortho image is insufficient or poorly positioned.

The image measurement processing method according to any one of claims 1 to 4,
The determination function includes a function of extracting a non-photographing region in a measurement target region that is not covered by an image in the ortho image.

The image measurement processing method according to any one of claims 3 to 5,
The ortho image forming function can identify the non-overlapping area or the non-photographing area determined by the determination function, or the deficiency or poor position of the reference point or orientation point on the display screen of the ortho image. The image measurement processing method characterized by including the function for displaying on.

The image measurement processing method according to any one of claims 3 to 6,
Correction data forming function for forming data for re-photographing when the determination function detects the non-overlapping area or the non-photographing area, or the deficiency or poor position of the reference point or orientation point in the ortho image. An image measurement processing method characterized by further comprising:

The image measurement processing method according to any one of claims 3 to 7,
The ortho image forming function includes a function of executing orientation processing such as connection orientation or mutual orientation based on a plurality of images,
The image measurement processing method, wherein the determination function includes a function of outputting an instruction to change the setting of the reference point or the orientation point to the ortho image forming function when the result of the orientation process does not converge.

An image measurement processing apparatus comprising means for realizing the image measurement processing method according to claim 1.

A computer-readable recording medium on which an image measurement processing program for realizing the image measurement processing method according to claim 1 is recorded.