JP4488804B2 - ステレオ画像の関連付け方法及び3次元データ作成装置 - Google Patents

ステレオ画像の関連付け方法及び3次元データ作成装置 Download PDF

Info

Publication number
JP4488804B2
JP4488804B2 JP2004184692A JP2004184692A JP4488804B2 JP 4488804 B2 JP4488804 B2 JP 4488804B2 JP 2004184692 A JP2004184692 A JP 2004184692A JP 2004184692 A JP2004184692 A JP 2004184692A JP 4488804 B2 JP4488804 B2 JP 4488804B2
Authority
JP
Japan
Prior art keywords
point
image
pass
imaging device
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004184692A
Other languages
English (en)
Other versions
JP2006010376A (ja
Inventor
文夫 大友
仁志 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2004184692A priority Critical patent/JP4488804B2/ja
Priority to US11/114,728 priority patent/US7804996B2/en
Priority to EP05011531A priority patent/EP1610090A3/en
Priority to CN200510078664.0A priority patent/CN1712891B/zh
Publication of JP2006010376A publication Critical patent/JP2006010376A/ja
Application granted granted Critical
Publication of JP4488804B2 publication Critical patent/JP4488804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Description

本発明は、写真測量に於いてステレオ画像を利用して、3次元測定を行う場合に複数の画像の関連付けを行うステレオ画像の関連付け方法及び複数の画像から3次元データを作成する3次元データ作成装置に関するものである。
ステレオ画像は対象物を立体的に捉える画像であり、同一対象物を撮影方向を変えて撮影した複数の画像から構成され、複数の画像は、それぞれの画像上の対応する点が関連付けられている必要があり、関連付けがなされることで画像中の任意の点の3次元データを求めることができる。
3次元データが得られるステレオ画像とするには、画像間の対応付け(ステレオマッチング)がなされる必要がある。従って、写真測量に供せられる画像としてはステレオマッチング可能な画像、画像間の条件が必要である。
ステレオマッチングを行う為には、各画像について画像を撮像したカメラの位置、画像倍率、傾き(カメラ光軸の水平角ω、カメラ光軸の鉛直角φ、カメラ光軸を中心とする捻転角r)のパラメータを求める必要がある。これらパラメータを画像(デジタル画像)からの情報のみで処理する場合は、複数の画像上で同一を示す点(標定点又はパスポイントと言う)を6点以上を必要とする。
ステレオ画像が作成されることで、各画像について撮像した時のカメラの位置のデータ、方位のデータを加えることで、画像中の任意の点を画像上の座標系から地上の座標系に変換すること、即ち3次元測定が可能となる。
ステレオ画像を構成する複数の画像は、同一対象物を撮影方向を変えて撮影した画像である。3次元データを得ようとするには、ステレオマッチングが容易な様に、撮影方向を変えても撮影条件が一定であるのが望ましいが、カメラの高さやカメラの光軸の傾きを一定にして撮影するのは人手では難しく、大掛かりな装置を必要とする。
人手により第1地点O1 から第2地点O2 に距離Dを隔てて撮影した場合、撮影倍率や撮影姿勢はまちまちとなることが普通であり、図8にみられる様に撮像された対象物1の画像2,3は画像倍率、傾き(カメラ光軸の水平角ω、カメラ光軸の鉛直角φ、カメラ光軸を中心とする捻転角r)がそれぞれ異なったものとなる。この様な場合、画像2,3間でステレオマッチングを可能にするには、パスポイントの選出を各画像について手動で精度よく行わなければならない。更に、撮影条件がまちまちの為、画像2と画像3のパスポイントPの選出や対応付けは、最も時間を必要とする作業であり熟練を要するものであった。
本発明は斯かる実情に鑑み、複数画像間のパスポイントの対応付けが簡単に行える様にし、ステレオマッチングの効率向上、更にステレオマッチングの自動化を可能とするものである。
本発明は、対象物の画像を第1地点と第2地点から取得し、第1地点の画像と第2地点の画像との関連付けに於いて、第1地点から第2地点迄前記対象物を撮像しつつ移動し、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付けるステレオ画像の関連付け方法に係り、又相対的に移動する複数の対象物を移動しつつ撮像し、同一対象物を捉えた画像の1つを第1地点の画像とし、移動により離れた地点での画像を第2地点の画像とし、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付けるステレオ画像の関連付け方法に係り、又移動中、前記対象物が連続的に撮像されるステレオ画像の関連付け方法に係り、又移動中、前記対象物が所定時間間隔で撮像されるステレオ画像の関連付け方法に係り、又第1地点の画像と第2地点の画像とを高解像度で撮像し、第1地点から第2地点迄の移動途中は低解像度で撮像するステレオ画像の関連付け方法に係り、又経時的に後の画像のパスポイントを基に前の画像のパスポイントを検索する工程が付加されるステレオ画像の関連付け方法に係るものである。
又本発明は、第1地点から第2地点迄移動しつつ対象物を撮像可能な撮像装置と、該撮像装置の位置座標を検出するGPS装置と、前記撮像装置の撮影方向を検出する方位センサと、前記撮像装置の捉えた画像を処理する制御演算部とを備え、該制御演算部は前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から第2地点の画像迄順次行い、前記第1地点の画像と前記第2地点の画像とをパスポイントを介して関連付け、前記GPS装置が検出した撮像装置の座標位置データ、前記方位センサが検出した撮像装置の撮像方向データとに基づき前記対象物の3次元データを演算する3次元データ作成装置に係り、又相対的に移動する複数の対象物を移動しつつ撮像可能な撮像装置と、該撮像装置の位置座標を検出するGPS装置と、前記撮像装置の撮影方向を検出する方位センサと、前記撮像装置の捉えた画像を処理する制御演算部とを備え、同一対象物を捉えた画像の1つを第1地点の画像とし、移動により離れた地点での画像を第2地点の画像とし、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付け、前記GPS装置が検出した撮像装置の座標位置データ、前記方位センサが検出した撮像装置の撮像方向データとに基づき前記対象物の3次元データを演算する3次元データ作成装置に係り、又前記制御演算部は、第1地点の画像のエッジ処理により得られるクロスポイントをパスポイントに設定する3次元データ作成装置に係り、又前記撮像装置は全周囲撮影可能である3次元データ作成装置に係り、更に又前記撮像装置は、第1地点と、第2地点は高解像度で撮像し、移動途中は低解像度で撮像する3次元データ作成装置に係るものである。
本発明によれば、対象物の画像を第1地点と第2地点から取得し、第1地点の画像と第2地点の画像との関連付けに於いて、第1地点から第2地点迄前記対象物を撮像しつつ移動し、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付けるので、第1地点の画像と第2地点の画像迄の画像比較でパスポイントのトラッキングが可能になり、ステレオマッチングの自動処理が可能となる。
又本発明によれば、相対的に移動する複数の対象物を移動しつつ撮像し、同一対象物を捉えた画像の1つを第1地点の画像とし、移動により離れた地点での画像を第2地点の画像とし、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付けるので、第1地点の画像と第2地点の画像迄の画像比較でパスポイントのトラッキングが可能になり、ステレオマッチングの自動処理が可能となる。
又本発明によれば、第1地点の画像と第2地点の画像とを高解像度で撮像し、第1地点から第2地点迄の移動途中は低解像度で撮像するので、パスポイントのトラッキング途中の画像処理が簡単になり、処理の高速化ができる。
又本発明によれば、経時的に後の画像のパスポイントを基に前の画像のパスポイントを検索する工程が付加されるので、パスポイント特定の精度が向上する。
又本発明によれば、第1地点から第2地点迄移動しつつ対象物を撮像可能な撮像装置と、該撮像装置の位置座標を検出するGPS装置と、前記撮像装置の撮影方向を検出する方位センサと、前記撮像装置の捉えた画像を処理する制御演算部とを備え、該制御演算部は前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から第2地点の画像迄順次行い、前記第1地点の画像と前記第2地点の画像とをパスポイントを介して関連付け、前記GPS装置が検出した撮像装置の座標位置データ、前記方位センサが検出した撮像装置の撮像方向データとに基づき前記対象物の3次元データを演算するので、第1地点の画像と第2地点の画像迄の画像比較でパスポイントのトラッキングが可能になり、ステレオマッチングの自動処理が可能となると共にステレオマッチングされた画像を構成する点を地上座標系に変換でき、画像中の任意の対象物についての3次元データの取得が可能となる。
又本発明によれば、相対的に移動する複数の対象物を移動しつつ撮像可能な撮像装置と、該撮像装置の位置座標を検出するGPS装置と、前記撮像装置の撮影方向を検出する方位センサと、前記撮像装置の捉えた画像を処理する制御演算部とを備え、同一対象物を捉えた画像の1つを第1地点の画像とし、移動により離れた地点での画像を第2地点の画像とし、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付け、前記GPS装置が検出した撮像装置の座標位置データ、前記方位センサが検出した撮像装置の撮像方向データとに基づき前記対象物の3次元データを演算するので、第1地点の画像と第2地点の画像迄の画像比較でパスポイントのトラッキングが可能になり、ステレオマッチングの自動処理が可能となると共にステレオマッチングされた画像を構成する点を地上座標系に変換でき、画像中の任意の対象物についての3次元データの取得が可能となる等の優れた効果を発揮する。
以下、図面を参照しつつ本発明を実施する為の最良の形態を説明する。
図1、図2に於いて本発明に係る3次元データ作成装置4について説明する。
図1中、5はデジタルカメラ、デジタルビデオカメラ等撮像画像をデジタル画像信号として出力可能な撮像装置であり、該撮像装置5はCCD、CMOSセンサ等多数の画素(ピクセル)の集合体から成る撮像素子6を具備し、該撮像素子6は個々のピクセルの番地(撮像素子上の位置)が特定可能となっている。
前記撮像装置5で撮像された対象物1の画像は、前記撮像素子6よりデジタル画像信号として制御演算部7を介して記憶部8に記憶される。該記憶部8としては前記撮像装置5が内蔵する半導体メモリ、或は撮像装置5に着脱可能な記憶媒体、例えばメモリカード、前記撮像装置5に対して着脱可能な外部記憶装置、例えば、FD、MO、CD、DVD、HDD等がある。
前記撮像装置5には、該撮像装置5の位置を測定するGPS装置9、撮像方向を検出する方位センサ11、表示部12及び前記制御演算部7が設けられている。
前記記憶部8には、画像処理例えば画像からラブラシアン法、ソーベル法等によりエッジ抽出(特にコーナ部又はクロスポイント(パスポイント)の抽出)処理を行う画像処理プログラム、後述する様に所定の領域を検索してパスポイントを特定する処理等を行う画像処理プログラム、又前記GPS装置9により得られた位置データ、前記方位センサ11により得られた方位データに基づき画像中の任意の点についての地上座標系での3次元データを演算する演算プログラム等が格納され、又前記記憶部8は前記撮像素子6からの画像データを1フレームデータ毎に或は所要時間毎の1フレームデータ毎に経時的に格納する画像データ格納エリア、更に前記GPS装置9の位置データ、前記方位センサ11の方位データ及び演算された3次元データを格納する測量データ格納エリアを具備している。
前記表示部12には、撮像画像或は測量データ等が表示される。
以下、図3から図5を参照して作用について説明する。
図3に示される様に、前記撮像装置5により第1の位置:O1 (x1 ,y1 )の位置から第2の位置:O2 (x2 ,y2 )の位置迄移動しながら、例えば対象物1について連続して撮像する(STEP:01)。撮像画像の取得間隔については、例えば1秒間に24フレーム分の画像データ、或は1秒間に10フレーム分の画像データを取得する。1秒間に何フレームの画像データを取得するかは、画像の倍率、移動速度によって適宜選択する。
各フレームの画像データは前記記憶部8に記憶され、又少なくとも第1の位置での画像データ、第2の位置での画像データについては前記GPS装置9で測定された位置データ、前記方位センサ11で測定された方位データが関連付けられて記憶される。
前記第1の画像データが取得されると、前記画像処理プログラムによってコーナ部又はクロスポイントが特徴点として所要数抽出される(図4(A)中、白丸で示される点)。抽出された特徴点はパスポイントとして設定される(STEP:02)。建物等ではコーナ部を特徴点とすることで、特徴点は画面全体に分布する多数点となるので、後述する相互標定の精度が向上する。
設定されたパスポイントの撮像素子6上での位置が検索中心位置として記憶され、経時的に次に取得された次画像データについて前記検索中心位置を中心として設定した検索範囲に亘って前記次画像データ中でパスポイントが検索される。上記した様に、移動中連続して撮像しているので、前画像データと次画像データとのずれは僅かであり、パスポイントは次画像データの検索範囲に存在し、直ちに次画像データ中のパスポイントが特定される。前記検索範囲内での検索は、SSDA(Sequential Similarity Detection Algorithm)法、若しくは面積相関法等が用いられる(STEP:04)。
尚、次画像データで特定されたパスポイントを検索中心位置として、前画像データのパスポイントを逆検索(バックマッチング)でチェックする。逆検索で得られたパスポイントが既に得られたパスポイントと一致していない時は該パスポイントは削除される。逆検索を実施することで、影(オクルージョン)或は障害物を回避することができる。又、3以上の画像データのパスポイントが求められると、複数画像によるバンドル調整計算により、重複して座標のチェックを実行し、精度の悪いパスポイントについては削除する。精度の悪いパスポイントを削除することで全体としてパスポイントの特定精度が向上する。
前画像データと次画像データとを比較し、上記したパスポイントを時系列に従って順次検索し(パスポイントのトラッキング)、最後に第2の位置の画像データ中のパスポイントを検索し、特定する。而して、第1の画像データで特定したパスポイントが第2の画像データ中に特定できる(図4(B))(STEP:05)。
第1の画像データのパスポイントと第2の画像データのパスポイントから相互標定が行われ、画像の傾き、倍率が算出される(STEP:06)。
算出された傾き、倍率を基に第1の画像データと第2の画像データの偏位修正を行いステレオ画像を作成し、2画像データの対応付け(ステレオマッチング)を実行する(STEP:07)。
2画像データの対応付けを行うことで、片方の画像光軸を基準とした画像座標系の3次元データが取得可能となる(STEP:08)。
次に、前記GPS装置9で得られた位置データ、前記方位センサ11で得られた方位データを画像座標系に加えることにより地上座標系のデータに変換する(STEP:09)。
画像中の任意の点を指摘することで、地上座標系の3次元データが直ちに得られる(STEP:10)。
ステレオ画像を元にした3次元データ計測では、測定対象物の画像を構成する個々の点の位置関係が得られる。第1の画像、第2の画像の内片方の光軸を基準とした座標系(画像座標系)が形成される。この画像座標系に基づいて、2次元のディスプレイ等に3次元表示が可能となる。座標系は容易に変換できることから、例えば測量で使用される地上座標系に変換可能である。
ステレオ撮影した場所と撮影方向をGPS装置9や方位センサ11で求め、そのデータに基づいて地上座標系に変換される。測定対象物が建築物である場合はその位置が求められる。又、画像上に基準点がある場合、実際の座標が既知である基準点の情報を加えることにより、画像から得られる3次元データの精度を上げることができる。
尚、画像座標系の3次元データ(STEP:08)を基にTINを作成し、テクスチャマッピングなどの処理を行いTINによる3次元データを取得する様にしてもよい(STEP:11〜STEP:13)。
尚、上記パスポイントのトラッキングに於いて、最初の画像(第1画像)と最後の画像(第2画像)については高解像度、トラッキング途中の画像についてはパスポイントの特定だけであるので低解像度とすれば、画像処理が高速となり、パスポイントのトラッキングが高速となる。
又、バンドル調整とステレオマッチングを同時に行うことで、パスポイントの確実な検出が行える。
尚、前記制御演算部7はPC等の別装置とし、前記記憶部8をメモリカード、外部記憶装置とし、前記撮像装置5で撮像した画像データを前記記憶部8に蓄積し、後で前記制御演算部7で演算する様にしてもよい。
図6、図7に於いて、他の実施の形態、応用の形態について説明する。
該他の実施の形態では、3次元データ作成装置14を自動車15等移動可能な移動手段に搭載したものであり、前記3次元データ作成装置14の設置位置は好ましくは屋根等周囲全体が見渡せる位置が選択される。
該3次元データ作成装置14は、撮像装置5の光軸に中心線が合致された円錐ミラー16を具備し、該円錐ミラー16を介して撮像する様に構成されている。該円錐ミラー16を介することから、前記撮像装置5は全周囲を撮像できる。画像データは制御演算部7に送出される。該制御演算部7は歪み修正プログラムを有し、送出された画像の歪みを修正し、歪みのない全周画像として記憶部8(図2参照)に記憶させる。
全周画像を取得した場合についても、第1画像、第2画像を関連付ける為の第1画像でのパスポイントの設定、第1画像から第2画像へのパスポイントのトラッキング等の処理については上記した実施の形態と同様である。
前記3次元データ作成装置14は、例えば市販品の全周の映像を撮る映像装置、例えばCCDカメラが使用される。撮像装置5(CCDカメラ)は円錐状の円錐ミラー16の下方に位置され、該円錐ミラー16で反射された周囲の映像を取得する。映像を取得した位置は、前記円錐ミラー16の上方又は既知の間隔に置いたGPS装置9より求める。又、移動方向については、該GPS装置9で得られる2地点の位置座標から求めることができる。
撮像された映像データ及び撮像地点データは、例えばパーソナルコンピュータに移され
3次元データ作成の作業をする。
測定対象物、第1撮像地点及び第2撮像地点を特定することにより、上記した実施の形態と同様な経過で3次元データが作成される。作成された画像座標データに基づいて、GPS装置9により得られた撮像装置の座標と方向を加えることにより地上座標系に変換される。
本発明の実施の形態を示す概略図である。 本発明の実施の形態を示す概略ブロック図である。 画像データの取得状態を示す説明図である。 第1画像と第2画像とのステレオマッチングの状態を示す説明図である。 本発明の実施の形態の作用を示すフローチャートである。 本発明の他の実施の形態を示す概略図である。 本発明の他の実施の形態に於ける画像修正部を示す概略図である。 対象物を2つの地点で撮像した場合の2つの画像の状態を示す説明図である。
符号の説明
1 対象物
4 3次元データ作成装置
5 撮像装置
6 撮像素子
7 制御演算部
8 記憶部
9 GPS装置
11 方位センサ
12 表示部
14 3次元データ作成装置
16 円錐ミラー

Claims (10)

  1. 対象物の画像を第1地点と第2地点から取得し、第1地点の画像と第2地点の画像との関連付けに於いて、第1地点から第2地点迄前記対象物を撮像しつつ移動すると共に、第1地点の画像と第2地点の画像とを高解像度で撮像し、第1地点から第2地点迄の移動途中は低解像度で撮像し、
    前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付けることを特徴とするステレオ画像の関連付け方法。
  2. 数の対象物を移動しつつ撮像し、同一対象物を捉えた画像の1つを第1地点の画像とし、移動により離れた地点での画像を第2地点の画像とし、第1地点の画像と第2地点の画像とを高解像度で撮像し、第1地点から第2地点迄の移動途中は低解像度で撮像し、
    前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付けることを特徴とするステレオ画像の関連付け方法。
  3. 経時的に後の画像のパスポイントを基に前の画像のパスポイントを逆検索し、逆検索で得られたパスポイントが既に得られたパスポイントと一致していない時は該パスポイントを削除し、影或は障害物を回避する工程が付加される請求項1又は請求項2のステレオ画像の関連付け方法。
  4. 第1地点から第2地点迄移動しつつ対象物を撮像可能な撮像装置と、該撮像装置の位置座標を検出するGPS装置と、前記撮像装置の撮影方向を検出する方位センサと、前記撮像装置の捉えた画像を処理する制御演算部とを備え、前記撮像装置は第1地点と第2地点は高解像度で撮像し、移動途中は低解像度で撮像し、前記制御演算部は前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から第2地点の画像迄順次行い、前記第1地点の画像と前記第2地点の画像とをパスポイントを介して関連付け、前記GPS装置が検出した撮像装置の座標位置データ、前記方位センサが検出した撮像装置の撮像方向データとに基づき前記対象物の地上座標系の3次元データを演算することを特徴とする3次元データ作成装置。
  5. 数の対象物を移動しつつ撮像可能な撮像装置と、該撮像装置の位置座標を検出するGPS装置と、前記撮像装置の撮影方向を検出する方位センサと、前記撮像装置の捉えた画像を処理する制御演算部とを備え、前記撮像装置は第1地点と第2地点は高解像度で撮像し、移動途中は低解像度で撮像し、同一対象物を捉えた画像の1つを第1地点の画像とし、移動により離れた地点での画像を第2地点の画像とし、前記第1地点の画像に複数のパスポイントを設定し、経時的に前後する2つの画像を比較し、前画像のパスポイントを後画像中に検索特定し、パスポイントの検索特定を前記第1地点の画像から前記第2地点の画像迄順次行い、該第2地点の画像のパスポイントを特定し、パスポイントを介して前記第1地点の画像と前記第2地点の画像とを関連付け、前記GPS装置が検出した撮像装置の座標位置データ、前記方位センサが検出した撮像装置の撮像方向データとに基づき前記対象物の地上座標系の3次元データを演算することを特徴とする3次元データ作成装置。
  6. 前記制御演算部は、第1地点の画像のエッジ処理により得られるクロスポイントをパスポイントに設定する請求項又は請求項の3次元データ作成装置。
  7. 前記撮像装置は全周囲撮影可能である請求項又は請求項の3次元データ作成装置。
  8. 移動中、前記対象物が連続的に撮像される請求項4又は請求項5の3次元データ作成装置。
  9. 移動中、前記対象物が所定時間間隔で撮像される請求項4又は請求項5の3次元データ作成装置。
  10. 経時的に後の画像のパスポイントを基に前の画像のパスポイントを検索する工程が付加される請求項4又は請求項5の3次元データ作成装置。
JP2004184692A 2004-06-23 2004-06-23 ステレオ画像の関連付け方法及び3次元データ作成装置 Expired - Fee Related JP4488804B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004184692A JP4488804B2 (ja) 2004-06-23 2004-06-23 ステレオ画像の関連付け方法及び3次元データ作成装置
US11/114,728 US7804996B2 (en) 2004-06-23 2005-04-26 Method for associating stereo image and three-dimensional data preparation system
EP05011531A EP1610090A3 (en) 2004-06-23 2005-05-27 Method for associating stereo images and three-dimensional data preparation system
CN200510078664.0A CN1712891B (zh) 2004-06-23 2005-06-23 立体图像的关联方法和三维数据作成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004184692A JP4488804B2 (ja) 2004-06-23 2004-06-23 ステレオ画像の関連付け方法及び3次元データ作成装置

Publications (2)

Publication Number Publication Date
JP2006010376A JP2006010376A (ja) 2006-01-12
JP4488804B2 true JP4488804B2 (ja) 2010-06-23

Family

ID=34981257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004184692A Expired - Fee Related JP4488804B2 (ja) 2004-06-23 2004-06-23 ステレオ画像の関連付け方法及び3次元データ作成装置

Country Status (4)

Country Link
US (1) US7804996B2 (ja)
EP (1) EP1610090A3 (ja)
JP (1) JP4488804B2 (ja)
CN (1) CN1712891B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933001B2 (en) 2005-07-11 2011-04-26 Kabushiki Kaisha Topcon Geographic data collecting system
JP4944462B2 (ja) * 2006-03-14 2012-05-30 株式会社トプコン 地理データ収集装置
TW200806027A (en) * 2005-11-11 2008-01-16 Sony Corp Imaging/reproducing device
JP4809134B2 (ja) * 2006-06-05 2011-11-09 株式会社トプコン 画像処理装置及びその処理方法
JP4813263B2 (ja) * 2006-06-05 2011-11-09 株式会社トプコン 画像処理装置及びその処理方法
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
JP5150307B2 (ja) 2008-03-03 2013-02-20 株式会社トプコン 地理データ収集装置
JP5150310B2 (ja) 2008-03-04 2013-02-20 株式会社トプコン 地理データ収集装置
CN102016910B (zh) * 2008-04-30 2012-11-28 公立大学法人大阪府立大学 三维物体识别用图像数据库的制作方法、处理装置以及处理方法
JP5337658B2 (ja) 2009-10-02 2013-11-06 株式会社トプコン 広角撮像装置及び測定システム
JP2011080845A (ja) * 2009-10-06 2011-04-21 Topcon Corp 3次元データ作成方法及び3次元データ作成装置
US9879992B2 (en) * 2009-12-29 2018-01-30 Trimble Inc. Virtual perspective center aligned with measurement center
CN101995244B (zh) * 2010-08-30 2013-06-26 中国测绘科学研究院 一种地物坐标的获取方法
JP5698480B2 (ja) 2010-09-02 2015-04-08 株式会社トプコン 測定方法及び測定装置
JP5690539B2 (ja) 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
JP5775354B2 (ja) 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
JP5882693B2 (ja) 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP5787695B2 (ja) 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
JP5937799B2 (ja) 2011-09-28 2016-06-22 株式会社トプコン スペクトル画像取得装置
US9541495B2 (en) 2011-09-28 2017-01-10 Kabushiki Kaisha Topcon Image pickup device
US9035745B2 (en) 2012-02-01 2015-05-19 International Business Machines Corporation Biometric authentication
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
JP6041535B2 (ja) 2012-05-29 2016-12-07 株式会社トプコン 画像取得方法及び撮影装置
JP6122591B2 (ja) 2012-08-24 2017-04-26 株式会社トプコン 写真測量用カメラ及び航空写真装置
JP6055274B2 (ja) 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
JP6367522B2 (ja) 2013-02-28 2018-08-01 株式会社トプコン 航空写真システム
JP6181388B2 (ja) 2013-03-08 2017-08-16 株式会社トプコン 計測装置
EP2787319A1 (de) 2013-04-05 2014-10-08 Leica Geosystems AG Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät
US20150338447A1 (en) 2014-05-20 2015-11-26 Allied Telesis Holdings Kabushiki Kaisha Sensor based detection system
US10084871B2 (en) * 2013-05-23 2018-09-25 Allied Telesis Holdings Kabushiki Kaisha Graphical user interface and video frames for a sensor based detection system
JP5882951B2 (ja) 2013-06-14 2016-03-09 株式会社トプコン 飛行体誘導システム及び飛行体誘導方法
US9679227B2 (en) 2013-08-02 2017-06-13 Xactware Solutions, Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
JP6316568B2 (ja) 2013-10-31 2018-04-25 株式会社トプコン 測量システム
JP6326237B2 (ja) 2014-01-31 2018-05-16 株式会社トプコン 測定システム
JP6490401B2 (ja) 2014-11-12 2019-03-27 株式会社トプコン 傾斜検出システム及び傾斜検出方法
JP6188750B2 (ja) * 2015-07-28 2017-08-30 株式会社トプコン 画像取得装置
JP2018084528A (ja) 2016-11-25 2018-05-31 株式会社トプコン 航空写真測量装置及び航空写真測量方法
CN107560603B (zh) * 2017-08-29 2020-06-09 南宁慧视科技有限责任公司 一种无人机倾斜摄影测量系统及测量方法
US11094113B2 (en) 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp 3次元形状計測装置および方法、並びに記録媒体
JP2001280956A (ja) * 2000-03-30 2001-10-10 Topcon Corp ステレオ画像の測定装置
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
JP2003256806A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 全方位画像型特徴点探索処理方法,装置,そのプログラムおよびそのプログラムの記録媒体
JP2004046574A (ja) * 2002-07-12 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体
US20040105579A1 (en) * 2001-03-28 2004-06-03 Hirofumi Ishii Drive supporting device
JP2005332177A (ja) * 2004-05-19 2005-12-02 Etsuji Kitagawa 3次元情報処理装置、3次元情報処理方法、及び3次元情報処理プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
EP0197341B1 (en) * 1985-03-13 1993-02-17 Kabushiki Kaisha TOPCON Method of and apparatus for measuring coordinates
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
EP0633546B1 (en) * 1993-07-02 2003-08-27 Siemens Corporate Research, Inc. Background recovery in monocular vision
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3481430B2 (ja) * 1997-09-11 2003-12-22 富士通株式会社 移動体追跡装置
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP3777067B2 (ja) * 1999-07-07 2006-05-24 ペンタックス株式会社 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
DE60124604T2 (de) 2000-03-30 2007-09-13 Kabushiki Kaisha Topcon Stereobildmessvorrichtung
US6489922B1 (en) * 2000-04-22 2002-12-03 American Gnc Corporation Passive/ranging/tracking processing method for collision avoidance guidance and control
JP4672175B2 (ja) 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
AUPR419901A0 (en) 2001-04-04 2001-05-03 Commonwealth Scientific And Industrial Research Organisation Automated corridor mapping
TW503650B (en) * 2001-04-13 2002-09-21 Huper Lab Co Ltd Method using image screen to detect movement of object
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
JP4596224B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
US7400344B2 (en) * 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
IL155034A0 (en) 2003-03-23 2004-06-20 M A M D Digital Data Proc Syst Automatic aerial digital photography and digital data processing systems
US7050909B2 (en) * 2004-01-29 2006-05-23 Northrop Grumman Corporation Automatic taxi manager

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp 3次元形状計測装置および方法、並びに記録媒体
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
JP2001280956A (ja) * 2000-03-30 2001-10-10 Topcon Corp ステレオ画像の測定装置
US20040105579A1 (en) * 2001-03-28 2004-06-03 Hirofumi Ishii Drive supporting device
JP2003256806A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 全方位画像型特徴点探索処理方法,装置,そのプログラムおよびそのプログラムの記録媒体
JP2004046574A (ja) * 2002-07-12 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体
JP2005332177A (ja) * 2004-05-19 2005-12-02 Etsuji Kitagawa 3次元情報処理装置、3次元情報処理方法、及び3次元情報処理プログラム

Also Published As

Publication number Publication date
JP2006010376A (ja) 2006-01-12
CN1712891B (zh) 2011-02-16
EP1610090A3 (en) 2009-12-30
EP1610090A2 (en) 2005-12-28
CN1712891A (zh) 2005-12-28
US20050286760A1 (en) 2005-12-29
US7804996B2 (en) 2010-09-28

Similar Documents

Publication Publication Date Title
JP4488804B2 (ja) ステレオ画像の関連付け方法及び3次元データ作成装置
US10807236B2 (en) System and method for multimodal mapping and localization
JP4889351B2 (ja) 画像処理装置及びその処理方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US9697607B2 (en) Method of estimating imaging device parameters
CN1987353B (zh) 位置数据内插法及位置检测传感器以及位置测定装置
JP6632232B2 (ja) 自立移動装置によって部屋を掃除または処理するための方法および自立移動装置
JP5362189B2 (ja) 画像処理装置及びその処理方法
JP4783620B2 (ja) 3次元データ作成方法及び3次元データ作成装置
US20140363048A1 (en) Interactive and automatic 3-d object scanning method for the purpose of database creation
WO2021129305A1 (zh) 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN111288891B (zh) 非接触式三维测量定位系统、方法及存储介质
CN110926330A (zh) 图像处理装置和图像处理方法
US20200394809A1 (en) 3 Dimensional Coordinates Calculating Apparatus and 3 Dimensional Coordinates Calculating Method Using Photo Images
JP2018155664A (ja) 撮像システム、撮像制御方法、画像処理装置および画像処理プログラム
JP2003304561A (ja) ステレオ画像処理装置
JP4361913B2 (ja) 動き量計算装置
TWI471821B (zh) A system, a method, and a recording medium for establishing a correlation for a plurality of images
JPWO2013062087A1 (ja) 3次元測定装置
JP2009266155A (ja) 移動体追跡装置及びその方法
JPH1194527A (ja) 画像処理を用いたステレオ計測方法及び装置
Ghuffar et al. Relative orientation of videos from range imaging cameras
JP2008123142A (ja) 対応点探索方法および3次元位置計測方法
Craciun et al. Image-Laser Fusion for In Situ 3D Modeling of Complex Environments: A 4D Panoramic-Driven Approach
CN116883492A (zh) 一种基于摄像机的三维动态捕捉处理方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4488804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees