WO2011030771A1 - 変位計測方法、変位計測装置及び変位計測プログラム - Google Patents

変位計測方法、変位計測装置及び変位計測プログラム Download PDF

Info

Publication number
WO2011030771A1
WO2011030771A1 PCT/JP2010/065370 JP2010065370W WO2011030771A1 WO 2011030771 A1 WO2011030771 A1 WO 2011030771A1 JP 2010065370 W JP2010065370 W JP 2010065370W WO 2011030771 A1 WO2011030771 A1 WO 2011030771A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
tracking
displacement
stereo
Prior art date
Application number
PCT/JP2010/065370
Other languages
English (en)
French (fr)
Inventor
秀樹 島村
下村　博之
菊生 橘
林 朱
和範 藤澤
Original Assignee
株式会社パスコ
独立行政法人土木研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社パスコ, 独立行政法人土木研究所 filed Critical 株式会社パスコ
Priority to EP10815366.9A priority Critical patent/EP2476999B1/en
Priority to US13/394,737 priority patent/US20120183205A1/en
Publication of WO2011030771A1 publication Critical patent/WO2011030771A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Definitions

  • the present invention relates to a displacement measuring method, a displacement measuring apparatus, and a displacement measuring program for measuring a displacement in an object using a stereo image.
  • Displacement measurement technology is important in, for example, landslide analysis / measures, earth work and construction / management of earth structures.
  • displacement measurement with respect to landslides is used for grasping a series of motion forms and mechanisms from the occurrence to the end of landslide collapse.
  • landslide phenomena for example, a reflector is installed in advance on the object to be surveyed, and the distance is measured by irradiating light and observing reflected light. Etc. are known. Also known are those that use photogrammetry technology. The method using photogrammetry technology is suitable for landslide observation in a wide range or a place where it is difficult to approach because it does not require a reflector or the like. Conventionally, when landslide analysis is performed using photogrammetry technology, topographic changes due to landslides are grasped using aerial photographs before and after the landslide, ground photographs, and terrain data.
  • a human finds a displacement tracking point from an image by visual observation, and associates a displacement feature point between images by manual operation to obtain a displacement vector.
  • the present invention has been made to solve the above-described problems, and efficiently detects a three-dimensional displacement of a target portion of an object based on images obtained by continuously capturing the object and measures it with good accuracy. It is an object to provide a displacement measurement method, a displacement measurement device, and a displacement measurement program.
  • the displacement measurement method is a method for obtaining a three-dimensional displacement vector between the time points with respect to a target portion of the target object based on stereo images of the target object at a plurality of times, and includes at least one of the stereo images.
  • a tracking process for performing a pattern matching between the times on the tracking image based on the image and tracking a two-dimensional image of the target portion on the tracking image with respect to the target portion set at a certain time Three-dimensional coordinate calculation processing for obtaining three-dimensional coordinates of the target portion based on the position of the two-dimensional image on the tracking image by stereo measurement on the stereo image, and the target portion at each time Displacement vector calculation processing for obtaining the three-dimensional displacement vector based on the three-dimensional coordinates.
  • the tracking process uses an orthographic image of the object as the tracking image, tracks the two-dimensional image of the target portion in an orthographic image plane
  • the three-dimensional coordinate calculation process includes: Processing for generating three-dimensional shape information of the object represented by the orthographic image and the position and height on the orthographic image plane, and the tertiary of the target portion using the three-dimensional shape information And a process for obtaining original coordinates.
  • the tracking process uses one image of the stereo image as the tracking image, obtains a tracking point corresponding to the position of the two-dimensional image of the target portion on the one image,
  • the three-dimensional coordinate calculation process extracts a corresponding point on the other image of the stereo image corresponding to the tracking point at each time, performs the stereo measurement on the tracking point and the corresponding point, and
  • the three-dimensional coordinates can be obtained.
  • the displacement measuring apparatus obtains a three-dimensional displacement vector between the time points with respect to a target portion of the target object based on stereo images of the target object at a plurality of times, and includes at least one of the stereo images.
  • a tracking unit that performs pattern matching between the times of the tracking image based on the image and tracks a two-dimensional image of the target portion on the tracking image with respect to the target portion set at a certain time
  • Three-dimensional coordinate calculation means for obtaining three-dimensional coordinates of the target portion based on the position of the two-dimensional image on the tracking image by stereo measurement on the stereo image, and the target portion at each time Displacement vector calculation means for obtaining the three-dimensional displacement vector based on the three-dimensional coordinates.
  • a displacement measurement program causes a computer to function as a displacement measurement unit that obtains a three-dimensional displacement vector between the time points of a target portion of the object based on a stereo image of the object at a plurality of times.
  • a program that performs a pattern matching between the times on a tracking image based on at least one of the stereo images on a computer, and relates to the attention portion set at a certain time,
  • a tracking function for tracking a two-dimensional image on the tracking image, and a tertiary that obtains the three-dimensional coordinates of the target portion based on the position of the two-dimensional image on the tracking image by stereo measurement on the stereo image
  • a displacement vector calculation function of obtaining is used for realizing the.
  • the three-dimensional displacement of the target portion of the target object is efficiently detected based on images obtained by continuously shooting the target object, and is measured with good accuracy.
  • FIG. 1 is a schematic block diagram of a displacement measurement system according to an embodiment of the present invention. It is a rough processing flow figure of the processing part in a 1st embodiment. It is a schematic diagram explaining the process of image tracking. It is a schematic diagram which shows the two-dimensional displacement vector obtained from the process of FIG. It is a schematic diagram of three-dimensional mesh data. It is a schematic diagram explaining the conversion process from a two-dimensional displacement using a three-dimensional mesh data to a three-dimensional displacement. It is a rough processing flow figure of the processing part in a 2nd embodiment.
  • FIG. 1 is a schematic block diagram of a displacement measurement system 10. The configuration shown in FIG. 1 is common to the first and second embodiments described below.
  • the displacement measurement system 10 includes a plurality of cameras 12 and a displacement measurement device 14.
  • the plurality of cameras 12 are composed of at least two cameras, and are arranged so as to be able to take a stereo image of a displacement measurement object.
  • a landslide is taken as an event to be measured as an example, and the camera 12 faces a slope or a cliff that is a landslide monitoring point, and is located at a safe point where the entire monitoring area can be photographed.
  • the plurality of cameras 12 are basically arranged with a distance in the horizontal direction, and the monitoring points are photographed from different viewpoints, and a stereo image composed of a pair of still images is acquired.
  • Each camera 12 performs continuous photographing in synchronization with each other, and the photographed image is input to the displacement measuring device 14.
  • the frame rate for continuous shooting is high enough to enable tracking processing between consecutive frames in consideration of the speed of landslide and the distance from the camera 12 to the monitoring point. It is also possible to use a video camera as the camera.
  • the camera 12 that outputs an image as digital data is suitable for processing by the displacement measuring device 14, but may be an analog signal that is output by the displacement measuring device 14. D conversion is performed.
  • the displacement measuring device 14 includes a processing unit 20, a display unit 22, a storage unit 24, and an operation unit 26.
  • the processing unit 20 includes a tracking processing unit 30, a three-dimensional coordinate calculation processing unit 32, and a displacement vector calculation processing unit 34.
  • the displacement measuring device 14 can be configured using a computer, and the CPU constitutes the processing unit 20, and the tracking processing unit 30, the three-dimensional coordinate calculation processing unit 32, and the displacement vector calculation processing unit 34 are included in the CPU. It can be realized by a program executed by.
  • the storage unit 24 is configured by a hard disk or the like built in the computer.
  • the storage unit 24 holds stereo image data input from the camera 12 at least while it is required for stereo measurement processing and tracking processing.
  • the orientation elements relating to the photographing by the camera 12 necessary for the stereo measurement process are stored in advance.
  • the orientation elements include external orientation elements (projection center position / posture) and internal orientation elements (principal point position / focal length / image resolution, etc.). Using these, real space coordinates and image coordinates where the monitoring area exists are used. Functions that convert between and are given.
  • the display unit 22 is an image display device such as a liquid crystal monitor, and the operation unit 26 includes a keyboard, a mouse, and the like.
  • the tracking processing unit 30 performs, for example, a pattern matching process between successive capturing times on the tracking image based on at least one of the stereo images captured by the camera 12, and the attention set on the target object at a certain time.
  • a two-dimensional image on the tracking image of the portion of interest is tracked.
  • the setting of the attention portion can be performed on the tracking image, for example, and a plurality of attention portions may be set on the image.
  • the setting is performed by the operator operating the operation unit 26 while viewing the tracking image displayed on the display unit 22.
  • the feature on the image of the target portion is stored in the storage unit 24 in advance, and the processing unit 20 extracts the portion that matches the feature at the start of tracking or the like and sets it as the target portion. Also good. For example, trees, rocks, ground structures, etc. are considered as attention parts.
  • the three-dimensional coordinate calculation processing unit 32 performs three-dimensional measurement of the target portion at the photographing time corresponding to the tracking image based on the position of the two-dimensional image of the target portion on the tracking image by stereo measurement processing on the stereo image. Find the coordinates.
  • the displacement vector calculation processing unit 34 obtains a three-dimensional displacement vector based on the three-dimensional coordinates of the target portion at each time.
  • the configuration common to the first and second embodiments has been described above.
  • the displacement measurement system 10 according to the first and second embodiments is different in processing in the processing unit 20. Hereinafter, the processing will be described for each embodiment.
  • FIG. 2 is a schematic process flow diagram of the processing unit 20 in the first embodiment.
  • the processing unit 20 generates 3D model data based on the stereo image captured by the camera 12 (S40).
  • the three-dimensional coordinate calculation processing unit 32 of the processing unit 20 performs the generation process.
  • 3D model data consists of 3D mesh data (3D shape information) and orthographic images (ortho images).
  • the three-dimensional mesh data is a three-dimensional coordinate of the surface of the object obtained from a stereo image by a stereo matching process, and is represented using, for example, an xyz orthogonal coordinate system. For example, grids represented by x-coordinate and y-coordinate that are discretized at regular intervals are set on the xy plane that forms a horizontal plane, and a z-coordinate value that represents the height is associated with each grid.
  • An orthographic image is an image of an object projected onto a horizontal plane.
  • the three-dimensional coordinate calculation processing unit 32 processes the stereo image at each time taken by the camera 12, and generates three-dimensional model data at each time.
  • the tracking processing unit 30 uses the orthographic image as a tracking image to track the two-dimensional image of the target portion in the orthographic image plane (S42), and obtains a two-dimensional displacement vector (S44).
  • FIG. 3 is a schematic diagram for explaining the orthographic image tracking process S42.
  • 3 (a) is two-dimensional image 62a of the target portion in orthoimage 60a at time t 0 the preceding, it represents 64a.
  • pattern matching processing is performed on the orthographic image 60b at the subsequent time t 0 + ⁇ t. As a result, as shown in FIG.
  • the two-dimensional images 62b and 64b of the portion of interest in the orthographic image 60b at the time t 0 + ⁇ t are searched. For example, in the pattern matching process, it is determined which part of the subsequent orthographic image 60b the luminance distribution pattern of the correlation template is similar to.
  • the target portion corresponding to the two-dimensional image 62a corresponds to the two-dimensional image 62b in the orthographic image 60b at the subsequent time
  • the target portion corresponding to the two-dimensional image 64a corresponds to the two-dimensional image 64b. It is judged. That is, the correspondence of the two-dimensional image at two times t 0 and t 0 + ⁇ t is obtained for each target portion. As a result, the coordinates of the two-dimensional image at time t 0 as the start point of the two-dimensional displacement vector and the coordinates of the two-dimensional image at time t 0 + ⁇ t as the end point are obtained (S44).
  • Figure 4 is a two-dimensional image 62a at time t 0, and starting from the position of 64a, schematic diagram showing a two-dimensional image 62b at time t 0 + Delta] t, the two-dimensional displacement vector 70, 72 to the end point position of 64b It is.
  • the processing unit 20 converts the two-dimensional displacement obtained on the orthographic image into a three-dimensional displacement using the three-dimensional mesh data (S46), and obtains a three-dimensional displacement vector (S48).
  • FIG. 5 is a schematic diagram of the above-described three-dimensional mesh data, and shows a projection 80 on the xy plane that is a horizontal plane and a projection 82 on the zx plane.
  • the orthographic image from which the two-dimensional displacement is obtained corresponds to the projection diagram 80 on the xy plane, and a two-dimensional displacement vector between two times t 0 and t 0 + ⁇ t is projected onto the projection diagram 80.
  • FIG. 6 is a schematic diagram for explaining the conversion processing S46 using the three-dimensional mesh data.
  • the three-dimensional coordinate calculation processing unit 32 assigns z-coordinate values at respective positions to the start point P S and the end point P E of the two-dimensional displacement vector on the projection map 80 using three-dimensional mesh data, and P S , P E is respectively associated with points Q S and Q E in the three-dimensional space. Thereby, the coordinates of the start point Q S and the end point Q E of the three-dimensional displacement vector are obtained (S48).
  • the displacement vector calculation processing unit 34 obtains a three-dimensional displacement vector based on the coordinates of Q S and Q E.
  • FIG. 7 is a schematic process flow diagram of the processing unit 20 in the second embodiment.
  • the tracking processing unit 30 uses one of the stereo images taken by the camera 12 as a tracking image to track a two-dimensional image of the target portion in time series of the image obtained at each time (S100).
  • a dimension displacement vector is obtained (S102).
  • the specific contents of this process are the same as the processes S42 and S44 described with respect to the first embodiment, and here, FIGS. 3 and 4 of the first embodiment and the description thereof are cited.
  • processing S100 and S102 for obtaining the two-dimensional displacement vectors 70 and 72 the time series of the position (tracking point) of the two-dimensional image of the target portion on one image of the stereo image as the tracking image is obtained.
  • the three-dimensional coordinate calculation processing unit 32 extracts a corresponding point on the other image of the stereo image corresponding to the tracking point at each time, performs a stereo measurement process on the tracking point and the corresponding point, and performs an attention portion at each time. Are obtained (S104).
  • the displacement vector calculation processing unit 34 obtains a three-dimensional displacement vector by using the three-dimensional coordinate Q S of the attention part of the preceding time as the starting point and the three-dimensional coordinate Q E of the subsequent time as the end point among the two times for obtaining the three-dimensional displacement vector. (S106).
  • the displacement measurement system 10 was intended to acquire a three-dimensional displacement vector using a landslide as an example, the present invention is also applicable to fields other than a landslide. For example, it can be applied to grasping behaviors of objects and fluids such as widespread sediment disasters and destruction / deformation experiments of objects.
  • the displacement measuring device 14 can be used not only for processing an image captured by the camera 12 in real time, but also for offline processing in which an image captured in advance is input and processed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　対象物を連続撮影した画像に基づく三次元変位の計測作業は、対象物上の注目部分の数や変位計測の時間ステップ数が多くなると作業者の負荷の点で困難となる。　変位計測装置は、ステレオ画像に対するステレオ計測により、時刻ごとに対象物の三次元形状情報と正射画像とを作成し（Ｓ４０）、連続する時刻の正射画像間でパターンマッチングにより注目部分の二次元像を追跡して（Ｓ４２）二次元変位ベクトルを求める（Ｓ４４）。変位計測装置は、三次元形状情報を用いて二次元変位ベクトルの始点、終点を三次元座標に変換し（Ｓ４６）、三次元変位ベクトルを求める（Ｓ４８）。

Description

変位計測方法、変位計測装置及び変位計測プログラム
　本発明はステレオ画像を用いて対象物における変位を計測する変位計測方法、変位計測装置及び変位計測プログラムに関する。
　変位計測技術は、例えば、地滑りの解析・対策、土工事や土構造物の構築・管理等において重要である。例えば、地滑りに関して変位計測は、地滑り崩壊の発生から終了に至る一連の運動形態及び機構の把握に利用される。これにより、地滑り現象に対する一層の理解が得られれば、滑り面形状の推定や、より高度な数値計算手法の開発、効果的な防止策の検討が可能となる。
　変位計測技術にはいろいろな方式が提案されており、地滑り現象に関しては、例えば、測量を行いたい対象物上に予め反射板を設置し、光の照射及び反射光の観測により距離を計測するものなどが知られている。また、写真測量技術を用いるものも知られている。写真測量技術を用いる方式は反射板等の設置が不要であるので、広い範囲や近寄りにくい場所の地滑り観測に好適である。従来、写真測量技術を利用して地滑り解析を行う場合、地滑り前後の空中写真や地上写真、及び地形データを用いて、地滑りによる地形変化を把握している。
　また、当該地形変化の解析の従来の基本的な手法では、人間が目視により画像から変位追跡点を探し出し、画像間の変位特徴点の対応付けをマニュアル操作で行って、変位ベクトルを求める。
特開２０００－２５１０５９号公報
　近年のデジタルカメラ技術、写真計測及び画像解析技術の発達は、遠距離からの撮影に基づく高速移動体の詳細な観測及び精密解析の実現に資する。しかし、そのような技術を効果的に取り込んで、連続撮影画像を用いた地滑り等の変位解析を効率的に行う技術はまだ実現されていない。地滑りのように変位特徴点が多数となり得る解析について、多数の時刻に亘る連続撮影画像を人間の作業への依存が比較的大きい従来手法で処理することは現実的ではなく、従来手法では正確かつ効率的な変位追跡や変位ベクトルの取得は容易ではない。
　本発明は上記問題点を解決するためになされたものであり、対象物を連続撮影した画像に基づいて対象物の注目部分の三次元的な変位を効率的に検出し良好な精度で計測する変位計測方法、変位計測装置及び変位計測プログラムを提供することを目的とする。
　本発明に係る変位計測方法は、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求めるものであって、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡処理と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算処理と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算処理と、を含むものである。
　本発明において、前記追跡処理は、前記追跡用画像として前記対象物の正射画像を用い、正射画像面内で前記注目部分の前記二次元像を追跡し、前記三次元座標演算処理は、前記正射画像、及び前記正射画像面上での位置及び高さで表される前記対象物の三次元形状情報を生成する処理と、前記三次元形状情報を用いて前記注目部分の前記三次元座標を求める処理と、を含む構成とすることができる。
　また、本発明において、前記追跡処理は、前記追跡用画像として前記ステレオ画像の一方画像を用い、当該一方画像上での前記注目部分の前記二次元像の位置に対応する追跡点を求め、前記三次元座標演算処理は、前記各時刻にて、前記追跡点に対応する前記ステレオ画像の他方画像上の対応点を抽出し、前記追跡点及び前記対応点について前記ステレオ計測を行い前記注目部分の前記三次元座標を求める構成とすることができる。
　本発明に係る変位計測装置は、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求めるものであって、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡手段と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算手段と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算手段と、を有するものである。
　本発明に係る変位計測プログラムは、コンピュータを、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測手段として機能させるためのプログラムであって、コンピュータに、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡機能と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算機能と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算機能と、を実現させるものである。
　本発明によれば、対象物を連続撮影した画像に基づいて対象物の注目部分の三次元的な変位が効率的に検出され良好な精度で計測される。
本発明の実施形態に係る変位計測システムの概略のブロック図である。 第１の実施形態における処理部の概略の処理フロー図である。 画像追跡の処理を説明する模式図である。 図３の処理から得られる二次元変位ベクトルを示す模式図である。 三次元メッシュデータの模式図である。 三次元メッシュデータを用いた二次元変位から三次元変位への変換処理を説明する模式図である。 第２の実施形態における処理部の概略の処理フロー図である。
　以下、本発明の実施の形態（以下実施形態という）である変位計測システム１０について、図面に基づいて説明する。図１は、変位計測システム１０の概略のブロック図である。この図１に示す構成は以下説明する第１及び第２の実施形態に共通である。変位計測システム１０は、複数台のカメラ１２及び変位計測装置１４を含んで構成される。
　複数台のカメラ１２は、少なくとも２台からなり、変位計測の対象物のステレオ画像を撮影可能に配置される。本実施形態では、例として地滑りを計測対象事象とし、カメラ１２は、地滑りの監視地点である斜面や崖などを臨み、かつ監視領域全体を撮影可能で、また安全である地点に配置される。例えば、複数のカメラ１２は基本的に横方向に距離を有して配置され、監視地点を互いに異なる視点から撮影し、一対の静止画像からなるステレオ画像を取得する。各カメラ１２は互いに同期して連続撮影を行い、撮影された画像は変位計測装置１４に入力される。なお、連続撮影のフレームレートは、地滑りの速度や、カメラ１２から監視地点までの距離などを考慮して、連続するフレーム間での追跡処理が可能な程度に高速とされる。なお、カメラとしてビデオカメラを用いることも可能である。また、カメラ１２は画像をデジタルデータで出力するものが変位計測装置１４での処理に適しているが、アナログ信号で出力するものであってもよく、この場合、変位計測装置１４にてＡ／Ｄ変換を行う。
　変位計測装置１４は、処理部２０、表示部２２、記憶部２４及び操作部２６を備える。処理部２０は、追跡処理部３０、三次元座標演算処理部３２及び変位ベクトル演算処理部３４を有する。例えば、変位計測装置１４は、コンピュータを用いて構成することができ、そのＣＰＵが処理部２０を構成し、追跡処理部３０、三次元座標演算処理部３２及び変位ベクトル演算処理部３４は当該ＣＰＵにより実行されるプログラムによって実現できる。
　また、記憶部２４は、コンピュータに内蔵されるハードディスクなどで構成される。例えば、記憶部２４は、カメラ１２から入力されるステレオ画像のデータを少なくとも、ステレオ計測処理や追跡処理に必要とされる間、保持する。また、ステレオ計測処理で必要となるカメラ１２による撮影に関する標定要素を予め格納する。ここで標定要素は外部標定要素（投影中心位置・姿勢）及び内部標定要素（主点位置・焦点距離・画像解像度等）があり、これらを用いて監視領域が存在する実空間の座標と画像座標との間の変換を行う諸関数が与えられる。
　表示部２２は液晶モニタ等の画像表示装置であり、操作部２６はキーボードやマウスなどで構成される。
　追跡処理部３０は、カメラ１２が撮影したステレオ画像の少なくとも一方に基づく追跡用画像について、例えば、連続する撮影時刻間にてパターンマッチング処理を行い、或る時刻にて対象物に設定された注目部分に関し、当該注目部分の追跡用画像上での二次元像を追跡する。ここで、注目部分の設定は、例えば、追跡用画像上にて行うことができ、当該画像上に複数の注目部分を設定してもよい。設定は、作業者が表示部２２に表示された追跡用画像を見ながら操作部２６を操作して行う。また、予め、注目部分の画像上の特徴を記憶部２４に格納し、追跡の開始時等にて処理部２０が当該特徴に合致する部分を抽出して注目部分に設定するように構成してもよい。例えば、樹木、岩、地上工作物等が注目部分とされる。
　三次元座標演算処理部３２は、ステレオ画像に対するステレオ計測処理により、追跡用画像上での注目部分の二次元像の位置に基づいて当該追跡用画像に対応する撮影時刻での注目部分の三次元座標を求める。
　変位ベクトル演算処理部３４は、各時刻での注目部分の三次元座標に基づいて三次元変位ベクトルを求める。
　以上、第１及び第２の実施形態に共通する構成をまとめて説明した。第１及び第２の実施形態に係る変位計測システム１０は、処理部２０における処理に違いがある。以下、各実施形態について当該処理を説明する。
［第１の実施形態の処理］
　図２は、第１の実施形態における処理部２０の概略の処理フロー図である。処理部２０は、カメラ１２が撮影したステレオ画像に基づいて、三次元モデルデータを生成する（Ｓ４０）。処理部２０の三次元座標演算処理部３２が当該生成処理を担う。
　三次元モデルデータは、三次元メッシュデータ（三次元形状情報）と正射画像（オルソ画像）とからなる。三次元メッシュデータは、ステレオ画像からステレオマッチング処理により求められる対象物表面の三次元座標であり、例えば、ｘｙｚ直交座標系を用いて表される。水平面をなすｘｙ平面に、例えば一定の間隔で離散化されたｘ座標、ｙ座標で表される格子を設定し、各格子に高さを表すｚ座標値を対応付ける。
　正射画像は、水平面に射影した対象物の画像である。三次元座標演算処理部３２は、カメラ１２が撮影する各時刻のステレオ画像について処理を行い、各時刻の三次元モデルデータを生成する。
　追跡処理部３０は、正射画像を追跡用画像として用いて、正射画像面内で注目部分の二次元像を追跡して（Ｓ４２）、二次元変位ベクトルを求める（Ｓ４４）。図３は、この正射画像追跡の処理Ｓ４２を説明する模式図である。図３（ａ）は、先行する時刻ｔ０の正射画像６０ａにおける注目部分の二次元像６２ａ，６４ａを表している。当該二次元像を含む部分画像６６ａ，６８ａを相関テンプレートとして、後続の時刻ｔ０＋Δｔの正射画像６０ｂに対するパターンマッチング処理を行う。その結果、図３（ｂ）に示すように、時刻ｔ０＋Δｔの正射画像６０ｂにおける注目部分の二次元像６２ｂ，６４ｂが探索される。例えば、パターンマッチング処理では、相関テンプレートの輝度分布パターンが後続の正射画像６０ｂのどの部分に類似しているかを判断する。
　パターンマッチング処理により、二次元像６２ａに対応する注目部分は後続時刻の正射画像６０ｂにおける二次元像６２ｂに対応し、同様に、二次元像６４ａに対応する注目部分は二次元像６４ｂに対応すると判断される。すなわち、注目部分ごとに二時刻ｔ０，ｔ０＋Δｔでの二次元像の対応が求められる。これにより、二次元変位ベクトルの始点となる時刻ｔ０での二次元像の座標と、終点となる時刻ｔ０＋Δｔでの二次元像の座標とが求められる（Ｓ４４）。図４は、時刻ｔ０での二次元像６２ａ，６４ａの位置を始点とし、時刻ｔ０＋Δｔでの二次元像６２ｂ，６４ｂの位置を終点とする二次元変位ベクトル７０，７２を示す模式図である。
　処理部２０は、正射画像上にて得られた二次元の変位を三次元メッシュデータを用いて、三次元の変位に変換し（Ｓ４６）、三次元変位ベクトルを求める（Ｓ４８）。図５は上述した三次元メッシュデータの模式図であり、水平面であるｘｙ平面への投影図８０と、ｚｘ平面への投影図８２とを示している。二次元変位を求めた正射画像はｘｙ平面への投影図８０と対応しており、二時刻ｔ０，ｔ０＋Δｔ間での二次元変位ベクトルを投影図８０に射影する。図６は、三次元メッシュデータを用いた変換処理Ｓ４６を説明する模式図である。図６は、三次元メッシュデータの投影図８０上に配置した二次元変位ベクトル９０と、当該二次元変位ベクトル９０から得られる三次元変位ベクトル９２とを示している。三次元座標演算処理部３２は、投影図８０上での二次元変位ベクトルの始点ＰＳ、終点ＰＥに、三次元メッシュデータによりそれぞれの位置でのｚ座標値を付与し、ＰＳ，ＰＥをそれぞれ三次元空間での点ＱＳ，ＱＥに対応付ける。これにより、三次元変位ベクトルの始点ＱＳ及び終点ＱＥの座標が求められる（Ｓ４８）。
　変位ベクトル演算処理部３４は、ＱＳ及びＱＥの座標に基づいて三次元変位ベクトルを求める。
［第２の実施形態の処理］
　図７は、第２の実施形態における処理部２０の概略の処理フロー図である。追跡処理部３０は、カメラ１２が撮影したステレオ画像の一方を追跡用画像として用いて、時刻ごとに得られる当該画像の時系列にて注目部分の二次元像を追跡して（Ｓ１００）、二次元変位ベクトルを求める（Ｓ１０２）。この処理の具体的な内容は、第１の実施形態に関して説明した処理Ｓ４２，Ｓ４４と同様であり、ここでは第１の実施形態の図３、図４及びその説明を援用する。二次元変位ベクトル７０，７２を求める処理Ｓ１００，Ｓ１０２により、追跡用画像であるステレオ画像の一方画像上にて注目部分の二次元像の位置（追跡点）の時系列が求まる。
　三次元座標演算処理部３２は、各時刻にて、追跡点に対応するステレオ画像の他方画像上の対応点を抽出し、追跡点及び対応点についてステレオ計測処理を行い、各時刻での注目部分の三次元座標を求める（Ｓ１０４）。
　変位ベクトル演算処理部３４は、三次元変位ベクトルを求める二時刻のうち先行時刻の注目部分の三次元座標ＱＳを始点、後続時刻の三次元座標ＱＥを終点として、三次元変位ベクトルを求める（Ｓ１０６）。
　第１及び第２の実施形態に係る変位計測システム１０は、地滑りを例とした三次元変位ベクトルの取得を目的としたものであったが、本発明は、地滑り以外の分野にも適用することができ、例えば、より広範な土砂災害、物体の破壊・変形実験などの物体・流体の挙動把握などへの適用が可能である。
　また、変位計測装置１４は、カメラ１２がリアルタイムで撮影した画像をオンラインで処理する場合だけでなく、予め撮影された画像を入力され処理するオフライン処理に用いることもできる。

Claims (5)

  1. 　複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測方法であって、
    　前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡処理と、
    　前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算処理と、
    　前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算処理と、
    　を含むことを特徴とする変位計測方法。
  2. 　請求項１に記載の変位計測方法において、
    　前記追跡処理は、前記追跡用画像として前記対象物の正射画像を用い、正射画像面内で前記注目部分の前記二次元像を追跡し、
    　前記三次元座標演算処理は、
    　前記正射画像、及び前記正射画像面上での位置及び高さで表される前記対象物の三次元形状情報を生成する処理と、
    　前記三次元形状情報を用いて前記注目部分の前記三次元座標を求める処理と、
    　を含むことを特徴とする変位計測方法。
  3. 　請求項１に記載の変位計測方法において、
    　前記追跡処理は、前記追跡用画像として前記ステレオ画像の一方画像を用い、当該一方画像上での前記注目部分の前記二次元像の位置に対応する追跡点を求め、
    　前記三次元座標演算処理は、
    　前記各時刻にて、前記追跡点に対応する前記ステレオ画像の他方画像上の対応点を抽出し、前記追跡点及び前記対応点について前記ステレオ計測を行い前記注目部分の前記三次元座標を求めること、
    　を特徴とする変位計測方法。
  4. 　複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測装置であって、
    　前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡手段と、
    　前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算手段と、
    　前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算手段と、
    　を有することを特徴とする変位計測装置。
  5. 　コンピュータを、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測手段として機能させるための変位計測プログラムであって、コンピュータに、
    　前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡機能と、
    　前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算機能と、
    　前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算機能と、
    　を実現させることを特徴とする変位計測プログラム。
PCT/JP2010/065370 2009-09-08 2010-09-08 変位計測方法、変位計測装置及び変位計測プログラム WO2011030771A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10815366.9A EP2476999B1 (en) 2009-09-08 2010-09-08 Method for measuring displacement, device for measuring displacement, and program for measuring displacement
US13/394,737 US20120183205A1 (en) 2009-09-08 2010-09-08 Method for displacement measurement, device for displacement measurement, and program for displacement measurement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-207026 2009-09-08
JP2009207026A JP5463584B2 (ja) 2009-09-08 2009-09-08 変位計測方法、変位計測装置及び変位計測プログラム

Publications (1)

Publication Number Publication Date
WO2011030771A1 true WO2011030771A1 (ja) 2011-03-17

Family

ID=43732441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065370 WO2011030771A1 (ja) 2009-09-08 2010-09-08 変位計測方法、変位計測装置及び変位計測プログラム

Country Status (4)

Country Link
US (1) US20120183205A1 (ja)
EP (1) EP2476999B1 (ja)
JP (1) JP5463584B2 (ja)
WO (1) WO2011030771A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013504490A (ja) * 2009-09-15 2013-02-07 ケーピーアイティ カミンズ インフォシステムズ リミテッド 予測駆動範囲に基づくハイブリッド車のモータ補助
WO2021020062A1 (ja) * 2019-07-30 2021-02-04 パナソニックＩｐマネジメント株式会社 三次元変位計測方法及び三次元変位計測装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5943510B2 (ja) * 2012-05-17 2016-07-05 鹿島建設株式会社 変動面の変位計測方法及びシステム
JP6558792B2 (ja) * 2014-10-07 2019-08-14 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 撮影システム及び撮影画像処理方法
EP3492864B1 (en) * 2016-07-29 2023-05-31 Nikon-Trimble Co., Ltd. Monitoring method, monitoring system, and program
CN108846347B (zh) * 2018-06-06 2021-06-08 广西师范学院 一种公路滑坡区域的快速提取方法
CN109255803B (zh) * 2018-08-24 2022-04-12 长安大学 一种基于位移试探的运动目标的位移计算方法
JP7423842B1 (ja) 2023-04-27 2024-01-29 中央復建コンサルタンツ株式会社 座標変換装置、座標変換方法およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251059A (ja) 1999-03-03 2000-09-14 Sakata Denki 地表面画像監視装置
JP2001195578A (ja) * 2000-01-06 2001-07-19 Kumagai Gumi Co Ltd 監視領域面の変動量出力装置
JP2003130642A (ja) * 2001-10-24 2003-05-08 Central Res Inst Of Electric Power Ind 遠隔計測方法および装置
JP2006284224A (ja) * 2005-03-31 2006-10-19 Kimoto & Co Ltd 地形の三次元データ生成方法、地形変化評価方法及び地形変化評価システム
JP2007034808A (ja) * 2005-07-28 2007-02-08 Nec System Technologies Ltd 変化判定装置、変化判定方法および変化判定プログラム
JP2007127478A (ja) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 追跡対象物速度検出装置および追跡対象物速度検出方法
JP2007323616A (ja) * 2006-06-05 2007-12-13 Topcon Corp 画像処理装置及びその処理方法
JP2008015815A (ja) * 2006-07-06 2008-01-24 Nikon Corp 画像処理装置、および画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251059A (ja) 1999-03-03 2000-09-14 Sakata Denki 地表面画像監視装置
JP2001195578A (ja) * 2000-01-06 2001-07-19 Kumagai Gumi Co Ltd 監視領域面の変動量出力装置
JP2003130642A (ja) * 2001-10-24 2003-05-08 Central Res Inst Of Electric Power Ind 遠隔計測方法および装置
JP2006284224A (ja) * 2005-03-31 2006-10-19 Kimoto & Co Ltd 地形の三次元データ生成方法、地形変化評価方法及び地形変化評価システム
JP2007034808A (ja) * 2005-07-28 2007-02-08 Nec System Technologies Ltd 変化判定装置、変化判定方法および変化判定プログラム
JP2007127478A (ja) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 追跡対象物速度検出装置および追跡対象物速度検出方法
JP2007323616A (ja) * 2006-06-05 2007-12-13 Topcon Corp 画像処理装置及びその処理方法
JP2008015815A (ja) * 2006-07-06 2008-01-24 Nikon Corp 画像処理装置、および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2476999A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013504490A (ja) * 2009-09-15 2013-02-07 ケーピーアイティ カミンズ インフォシステムズ リミテッド 予測駆動範囲に基づくハイブリッド車のモータ補助
WO2021020062A1 (ja) * 2019-07-30 2021-02-04 パナソニックＩｐマネジメント株式会社 三次元変位計測方法及び三次元変位計測装置
JP7442072B2 (ja) 2019-07-30 2024-03-04 パナソニックＩｐマネジメント株式会社 三次元変位計測方法及び三次元変位計測装置

Also Published As

Publication number Publication date
JP5463584B2 (ja) 2014-04-09
JP2011058875A (ja) 2011-03-24
EP2476999A4 (en) 2013-10-16
EP2476999B1 (en) 2016-06-15
US20120183205A1 (en) 2012-07-19
EP2476999A1 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
JP5463584B2 (ja) 変位計測方法、変位計測装置及び変位計測プログラム
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
JP5097765B2 (ja) 計測方法および計測プログラムならびに計測装置
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US7342669B2 (en) Three-dimensional shape measuring method and its device
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
JP5384316B2 (ja) 変位計測装置、変位計測方法、及び変位計測プログラム
JP2011242183A (ja) 画像処理装置、画像処理方法およびプログラム
JP7163601B2 (ja) 情報処理装置および情報処理方法
Mobedi et al. 3-D active sensing in time-critical urban search and rescue missions
US20210183092A1 (en) Measuring apparatus, measuring method and microscope system
CN103260008A (zh) 一种影像位置到实际位置的射影转换方法
JP3512894B2 (ja) 相対的移動量算出装置及び相対的移動量算出方法
JP2003075148A (ja) デジタルスチルカメラを用いた変位計測装置
Stylianidis et al. A digital close-range photogrammetric technique for monitoring slope displacements
JP2006113645A (ja) 移動軌跡解析方法
JP5409451B2 (ja) ３次元変化検出装置
JP2005292027A (ja) 三次元形状計測・復元処理装置および方法
JP2010205040A (ja) 路面形状認識装置
Kang et al. Rapidly realizing 3D visualisation for urban street based on multi-source data integration
KR102498028B1 (ko) 감시 카메라 시스템 및 그 시스템 사용 방법
Huang et al. Application of stereo vision 3D target recognition using camera calibration algorithm
WO2020129715A1 (ja) 画像補正装置、画像補正方法、及びプログラム
Guo et al. MPC-643
KOWAL et al. The use of vision systems for building terrain maps for mobile robots

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10815366

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010815366

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13394737

Country of ref document: US