KR102036324B1 - Image displacement measurement method for correcting three dimensional position error of camera using dual camera - Google Patents

Image displacement measurement method for correcting three dimensional position error of camera using dual camera Download PDF

Info

Publication number
KR102036324B1
KR102036324B1 KR1020170146689A KR20170146689A KR102036324B1 KR 102036324 B1 KR102036324 B1 KR 102036324B1 KR 1020170146689 A KR1020170146689 A KR 1020170146689A KR 20170146689 A KR20170146689 A KR 20170146689A KR 102036324 B1 KR102036324 B1 KR 102036324B1
Authority
KR
South Korea
Prior art keywords
camera
equation
target
sub
displacement
Prior art date
Application number
KR1020170146689A
Other languages
Korean (ko)
Other versions
KR20190051253A (en
Inventor
이경찬
김성일
심성한
이준화
Original Assignee
한국철도기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원 filed Critical 한국철도기술연구원
Priority to KR1020170146689A priority Critical patent/KR102036324B1/en
Publication of KR20190051253A publication Critical patent/KR20190051253A/en
Application granted granted Critical
Publication of KR102036324B1 publication Critical patent/KR102036324B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법은 (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계, (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계, 및 (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계를 포함한다. According to an exemplary embodiment of the present invention, an image displacement measuring method capable of correcting a three-dimensional position error of a camera using a dual camera may include (a) preparing a main camera and a sub camera closely fixed to face different directions, and the main camera Photographing a main target attached to a distant structure with a camera, and simultaneously photographing a sub target fixed to a short distance with the sub camera; (b) using the image of the sub target photographed through the sub camera; Measuring a three-dimensional displacement of a; and (c) measuring and correcting a motion displacement according to the movement of the main camera from the measured three-dimensional displacement of the sub-target, thereby measuring the displacement of the main target. .

Description

듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법{IMAGE DISPLACEMENT MEASUREMENT METHOD FOR CORRECTING THREE DIMENSIONAL POSITION ERROR OF CAMERA USING DUAL CAMERA}IMAGE DISPLACEMENT MEASUREMENT METHOD FOR CORRECTING THREE DIMENSIONAL POSITION ERROR OF CAMERA USING DUAL CAMERA}

본 발명은 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 관한 것이다. The present invention relates to an image displacement measuring method capable of correcting a three-dimensional position error of a camera using a dual camera.

토목 또는 건축 구조물(이하, 간략히 '구조물'이라 함)은 교통, 지진, 돌풍 등과 같은 다양한 외부 환경 변화에 노출되므로, 합리적이고 정확한 설계 시공도 중요하지만, 구조물의 상태를 최적으로 유지하는 것이 중요하다. 이러한 연유로 구조물의 안전을 진단하는 장치에 대한 관심이 고조되고 있다. Civil or architectural structures (hereinafter, simply referred to as "structures") are exposed to various external environmental changes, such as traffic, earthquakes, gusts, etc., so rational and accurate design construction is important, but it is important to maintain the optimal condition of the structure. . For this reason, there is a growing interest in devices for diagnosing the safety of structures.

특히, 철도 교량의 크리프 및 건조 수축에 따른 장기 변형은 공중 궤도 건설을 위한 변위 기준을 만족시키기에 문제로 작용되며, 선로 운영 중 지속적인 구조물의 변형으로 인하여 열차의 승차감을 저해할 수 있는 원인이 되고 있다. 이에 따라, 철도 교량 등의 구조물에 대한 변위를 원거리에서 비접촉식으로 측정할 수 있는 방안이 모색되고 있다. In particular, long-term deformation due to creep and shrinkage of railroad bridges is a problem to satisfy the displacement criteria for the construction of aerial tracks. have. Accordingly, there is a search for a method capable of measuring a displacement of a structure such as a railway bridge at a distance from a non-contact type.

최근 들어, 구조물에 대한 디지털 영상 촬영을 통해 구조물의 장기 변위를 계측하는 방법이 소개되고 있다. 하지만, 이러한 방법은 단기간에 구조물의 동적 변위를 계측하는 데 이용될 뿐이며, 구조물의 장기 변위를 계측하는 데에는 적합하지 못한 단점이 있었다. Recently, a method of measuring long-term displacement of a structure by digital imaging of a structure has been introduced. However, this method is only used to measure the dynamic displacement of the structure in a short period of time, there was a disadvantage that is not suitable for measuring the long-term displacement of the structure.

다시 말해, 구조물의 장기 변형 계측을 위해 영상 촬영 방식을 적용하려면, 장기 변형의 특성상 장기간에 걸쳐 구조물에 대한 안정적인 영상 촬영이 가능하여야 한다. In other words, in order to apply an image capturing method to measure the deformation of a structure, stable image capturing of the structure should be possible over a long period of time due to the characteristics of the deformation of the structure.

하지만, 장시간 동안 구조물의 영상을 촬영해야 하는 카메라의 경우 카메라가 설치된 지반 또는 지지대 등에 미소 변형이 발생됨에 따라 초기 설치 위치 및 자세에 변화가 생길 수 있다. However, in the case of a camera that needs to take an image of the structure for a long time, the micro-deformation occurs in the ground or the support on which the camera is installed, and thus the initial installation position and posture may change.

이 경우, 원거리에 위치한 구조물의 장기 변형을 계측하는데 큰 저해요인으로 작용할 우려가 있었다.In this case, there was a fear that it would act as a large inhibitor in measuring the long-term deformation of the structure located at a distance.

따라서, 구조물의 장기 변형을 원거리에서 정밀하게 계측할 수 있는 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 관한 기술 개발이 요청된다. Therefore, there is a demand for a technology development for an image displacement measurement method capable of correcting three-dimensional position errors capable of accurately measuring long-term deformation of a structure at a long distance.

본 발명과 관련된 선행기술로는 특허출원 제10-2006-0099620호가 있으며, 상기 선행문헌에는 구조물의 변위 측정 시스템 및 방법에 관한 내용이 개시되어 있다.Prior art related to the present invention is a patent application No. 10-2006-0099620, the prior document discloses the contents of the displacement measuring system and method of the structure.

본 발명의 목적은 교량의 장기 변위를 계측하기 위한 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 제공하고자 한다. An object of the present invention is to provide an image displacement measuring method capable of correcting the three-dimensional position error of the camera for measuring the long-term displacement of the bridge.

본 발명의 다른 목적은 듀얼 카메라를 이용하여 비접촉식으로 교량의 장기 변위를 계측할 수 있는 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 제공하고자 한다. Another object of the present invention is to provide an image displacement measuring method capable of three-dimensional position error correction of the camera that can measure the long-term displacement of the bridge in a non-contact using a dual camera.

본 발명의 또 다른 목적은 간헐적으로 측정된 변위 계측 데이터로 장기 변위 데이터 구성할 수 있는 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 제공하고자 한다.Another object of the present invention is to provide an image displacement measuring method capable of correcting a three-dimensional position error of a camera capable of constructing long-term displacement data with intermittent measured displacement measurement data.

본 발명의 또 다른 목적은 교량의 장기 변위를 계측하기 위한 영상 변위 계측을 시행할 때 발생할 수 있는 카메라의 위치 변화에 따른 오차를 3차원 공간상에서 정밀하게 보정할 수 있는 알고리즘을 이용한 영상 변위 계측 방법을 제공하고자 한다.Another object of the present invention is an image displacement measurement method using an algorithm capable of precisely correcting an error due to a change in the position of a camera that can occur when performing image displacement measurement for measuring long-term displacement of a bridge in three-dimensional space. To provide.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention, which are not mentioned above, can be understood by the following description, and more clearly by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법은 (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계, (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계, 및 (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계를 포함한다. According to an exemplary embodiment of the present invention, an image displacement measuring method capable of correcting a three-dimensional position error of a camera using a dual camera may include (a) preparing a main camera and a sub camera closely fixed to face different directions, and the main camera Photographing a main target attached to a distant structure with a camera, and simultaneously photographing a sub target fixed to a short distance with the sub camera; (b) using the image of the sub target photographed through the sub camera; Measuring a three-dimensional displacement of a; and (c) measuring and correcting a motion displacement according to the movement of the main camera from the measured three-dimensional displacement of the sub-target, thereby measuring the displacement of the main target. .

여기서, 상기 (a) 단계 이후에, 상기 메인 카메라로부터 획득된 상기 메인 타겟의 좌표를 하기의 수학식 1에 근거하여 매핑할 수 있다. Here, after step (a), the coordinates of the main target obtained from the main camera may be mapped based on Equation 1 below.

[수학식 1][Equation 1]

Figure 112017109834816-pat00001
Figure 112017109834816-pat00001

(여기에서,

Figure 112017109834816-pat00002
은 카메라 매트릭스이고,
Figure 112017109834816-pat00003
는 카메라 내부 파라미터이고,
Figure 112017109834816-pat00004
는 카메라 외부 파라미터임)(From here,
Figure 112017109834816-pat00002
Is the camera matrix,
Figure 112017109834816-pat00003
Is an internal camera parameter
Figure 112017109834816-pat00004
Is an external parameter to the camera)

또한, 상기 메인 타겟의 초기 모션에서 좌표가 {X, Y, Z}T이면, 상기 카메라 매트릭스에 의해 매핑된 이미지 좌표는 하기의 수학식 2에 근거하여 정해질 수 있다.In addition, if the coordinates are {X, Y, Z} T in the initial motion of the main target, the image coordinates mapped by the camera matrix may be determined based on Equation 2 below.

[수학식2][Equation 2]

Figure 112017109834816-pat00005
Figure 112017109834816-pat00005

또한, 상기 메인 타겟의 i 번째 모션에서 이미지 좌표는 하기의 수학식 3에 근거하여 정해질 수 있다. In addition, the image coordinates in the i-th motion of the main target may be determined based on Equation 3 below.

[수학식 3] [Equation 3]

Figure 112017109834816-pat00006
Figure 112017109834816-pat00006

(여기에서,

Figure 112017109834816-pat00007
은 WC,i에서 WC,1으로 변환하는 행렬임)(From here,
Figure 112017109834816-pat00007
Is a matrix that converts WC, i to WC, 1)

또한, 상기 서브 타겟과 상기 메인 타겟이 고정되어 있을 경우, 상기 수학식 2와 상기 수학식 3에서의 {x,y,z,1}T wc,1과 {x,y,z,1}T wc,i는 상기 서브 타겟을 기반으로 본 상기 메인 타겟의 위치이므로 하기의 수학식 3-1에 근거하여 서로 동일하게 볼 수 있다. Further, when the sub target and the main target are fixed, {x, y, z, 1} T wc, 1 and {x, y, z, 1} T in Equations 2 and 3 Since wc and i are positions of the main targets viewed based on the sub targets , wc and i may be identically viewed based on Equation 3-1 below.

[수학식 3-1][Equation 3-1]

Figure 112017109834816-pat00008
Figure 112017109834816-pat00008

또한, 상기 수학식 3과 상기 수학식 3-1에서 카메라 모션에 독립변수들인

Figure 112017109834816-pat00009
는 하기의 수학식 3-2에 근거하여 정해질 수 있다.In addition, the independent variables in the camera motion in the equation (3) and the equation (3-1)
Figure 112017109834816-pat00009
May be determined based on Equation 3-2 below.

[수학식 3-2][Equation 3-2]

Figure 112017109834816-pat00010
Figure 112017109834816-pat00010

또한, 상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출할 수 있다.Further, while the main target and the sub target are fixed, randomly giving a three-dimensional movement to the main camera and the sub-camera to generate various data sets, and then calculate the independent variables of Equation 3-2 by using a regression method. can do.

또한, 상기 (c) 단계에서, 상기 메인 카메라의 움직임에 따른 모션 변위가 보정된 이후에 계측된 상기 메인 타겟의 변위는 하기의 수학식 4에 근거하여 정해질 수 있다. In addition, in the step (c), the displacement of the main target measured after the motion displacement according to the movement of the main camera is corrected may be determined based on Equation 4 below.

[수학식 4][Equation 4]

Figure 112017109834816-pat00011
Figure 112017109834816-pat00011

또한, 상기 (a) 단계에서, 상기 메인 카메라를 이용하여 상기 메인 타겟의 변위를 계측하기에 앞서, 상기 서브 카메라를 통해 획득한 상기 서브 타겟의 이미지를 통해 상기 서브 카메라 및 상기 메인 카메라의 변위를 보정하는 한편, 상기 메인 타겟을 정 위치로 보정할 수 있다.Further, in the step (a), prior to measuring the displacement of the main target using the main camera, the displacement of the sub camera and the main camera through the image of the sub target obtained through the sub camera is measured. While correcting, the main target may be corrected to the correct position.

본 발명의 다른 실시예에 따르면, (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계, (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계, (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계, 및 (d) 상기 메인 타겟의 변위를 실시간 또는 설정 시간 주기마다 기록 보관하여 설정된 기간에 해당하는 상기 구조물의 장기 변위 데이터를 생성 및 저장하는 한편, 상기 저장된 구조물의 장기 변위 데이터를 통해 상기 구조물의 장기 변위를 파악하는 단계를 포함한다. According to another embodiment of the present invention, (a) preparing a main camera and a sub-camera closely contacted to face different directions, and photographing the main target attached to the distant structure with the main camera, Photographing a sub-target fixed to a short distance, (b) measuring a three-dimensional displacement of the sub-target by using an image of the sub-target captured by the sub-camera, (c) measuring the sub-target of the measured sub-target Measuring and correcting the motion displacement according to the movement of the main camera from the three-dimensional displacement, and measuring the displacement of the main target, and (d) recording and storing the displacement of the main target in real time or at each set time period. Generating and storing long-term displacement data of the structure corresponding to And a step of identifying the long-term displacement of the group structure.

본 발명에 의하면 설치된 카메라의 3차원 움직임을 보정할 수 있어 장기간에 걸쳐서 교량에 발생하는 변위를 안정적으로 계측할 수 있는 장점이 있다.According to the present invention, it is possible to correct the three-dimensional movement of the installed camera, and there is an advantage of stably measuring the displacement occurring in the bridge over a long period of time.

또한, 본 발명에 의하면 바람, 지반 진동에 의해 생기는 카메라 움직임에 의해 유발 가능한 변위 오차를 정밀하게 보정할 수 있는 장점이 있다.In addition, according to the present invention there is an advantage that can accurately correct the displacement error caused by the camera movement caused by the wind, ground vibrations.

또한, 본 발명에 의하면 간헐적으로 계측된 단기 변위 데이터들을 이어 붙일 수 있으므로 날씨, 교통상황 등에 의해 카메라를 부득이하게 수거하더라도 장기 변위 계측이 가능한 장점이 있다. In addition, according to the present invention, since the short-term displacement data measured intermittently can be attached, there is an advantage that long-term displacement measurement can be performed even if the camera is inevitably collected due to weather or traffic conditions.

또한, 본 발명에 의하면 카메라를 외부 환경에 오랜 시간 노출하지 않으므로 카메라의 성능 저하를 방지할 수 있는 장점이 있다.In addition, according to the present invention, since the camera is not exposed to the external environment for a long time, there is an advantage of preventing performance degradation of the camera.

또한, 본 발명에 의하면 교량 하부에서 계측해야 하는 기존의 변위 계측 장비와 달리 교량 외곽 지역에서 변위 계측이 가능하므로 교통 차단 등의 사회적 비용을 감소시킬 수 있는 장점이 있다.In addition, according to the present invention, unlike the existing displacement measurement equipment to be measured at the bottom of the bridge, the displacement can be measured in the outer area of the bridge has the advantage of reducing the social cost, such as traffic blocking.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.In addition to the effects described above, the specific effects of the present invention will be described together with the following description of specifics for carrying out the invention.

도 1은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법의 단계 (a)에서 메인 카메라, 서브 카메라, 메인 타겟, 서브 타겟 간의 위치 관계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 따라 보정 전, 후의 변위 데이터를 비교하여 나타낸 그래프들이다.
1 is a flowchart of a method of measuring a displacement of a camera capable of correcting a three-dimensional position error of a camera using a dual camera according to an exemplary embodiment of the present invention.
2 is a diagram illustrating a positional relationship between a main camera, a sub camera, a main target, and a sub target in step (a) of the image displacement measuring method capable of correcting a 3D position error of a camera using a dual camera according to an embodiment of the present invention. The figure shown.
3 is a graph showing displacement data before and after correction according to an image displacement measurement method capable of correcting a three-dimensional position error of a camera using a dual camera according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and like reference numerals designate like elements throughout the specification. In addition, some embodiments of the invention will be described in detail with reference to exemplary drawings. In adding reference numerals to components of each drawing, the same components may have the same reference numerals as much as possible even though they are shown in different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description may be omitted.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) can be used. These terms are only to distinguish the components from other components, and the terms are not limited in nature, order, order or number of the components. If a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected to or connected to that other component, but between components It is to be understood that the elements may be "interposed" or each component may be "connected", "coupled" or "connected" through other components.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.In addition, in the implementation of the present invention may be described by subdividing the components for convenience of description, these components may be implemented in one device or module, or one component is a plurality of devices or modules It can also be implemented separately.

본 발명의 설명 중 구조물이라 함은, 토목 또는 건축 구조물을 의미할 수 있으며, 구체적인 예로서 철도 교량 등이 이에 해당될 수 있다. 이러한 구조물은 교통, 환경, 날씨 등 다양한 외부 조건에 따라 변형 가능하므로, 정확하게 설계 시공하는 것도 중요하지만, 구조물의 변형 상태를 지속적으로 파악하여 최적의 상태로 유지시켜주는 것도 중요하다. 예컨대, 철도 교량의 경우, 크리프 및 건조 수축에 따른 장기 변형이 발생되면, 공중 궤도 건설을 위한 변위 기준을 만족시키기에 어려움이 따르며, 선로 운영 중 변형이 유발될 경우 열차의 승차감을 저해하는 악영향을 끼친다. 본 발명은 이러한 철도 교량 등의 구조물에 대한 장기간 동안의 변위(이하, 이를 '장기 변위'라 함)를 원거리에서 비접촉식으로 보다 정확하고 간편하게 측정할 수 있도록 제공된 것이다.In the description of the present invention, the structure may mean a civil or building structure, and as a specific example, a railroad bridge may correspond thereto. Since these structures can be deformed according to various external conditions such as traffic, environment, and weather, it is important to accurately design and construct them, but it is also important to keep track of the deformation state of the structure and keep it in an optimal state. For example, in the case of railway bridges, if long-term deformation due to creep and shrinkage occurs, it is difficult to satisfy the displacement criteria for the construction of the aerial track, and if the deformation occurs during the operation of the track, it may adversely affect the riding comfort of the train Inflicted. The present invention provides a more accurate and simple measurement of long-term displacement (hereinafter referred to as 'long-term displacement') for a structure such as a railway bridge in a non-contact at a distance.

도 1은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법의 순서도이다.1 is a flowchart of a method of measuring a displacement of a camera capable of correcting a three-dimensional position error of a camera using a dual camera according to an exemplary embodiment of the present invention.

도 1을 참조하면, 듀얼 카메라 준비 및 메인 타겟, 서브 타겟 촬영단계(S100), 서브 타겟의 3차원 변위 계측단계(S200), 그리고 메인 타겟의 변위 계측단계(S300)를 포함한다. Referring to FIG. 1, a dual camera preparation and a main target, a sub target photographing step S100, a three-dimensional displacement measuring step S200 of a sub target, and a displacement measuring step S300 of a main target are included.

듀얼Dual 카메라 준비 및 메인  Camera preparation and main 타겟target , 서브 , serve 타겟target 촬영단계(S100) Shooting Step (S100)

이 단계는 듀얼 카메라 준비 및 메인 타겟, 서브 타겟 촬영단계로서, 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계에 해당한다. This step is to prepare a dual camera and the main target, sub-target shooting step, and prepare the main camera and the sub-camera closely fixed to look at different directions, and the main camera to shoot the main target attached to the distant structure, The sub-camera corresponds to photographing a sub-target fixed to a short distance.

도 2는 메인 카메라, 서브 카메라, 메인 타겟, 서브 타겟 간의 위치 관계를 나타낸 도면이다. 도 2를 참조하면, 이 단계에서 메인 타겟(110)은 장기 변위를 계측하기 위한 대상 구조물(예를 들면 철도 교량 등) 에 설치될 수 있다. 2 is a diagram illustrating a positional relationship between a main camera, a sub camera, a main target, and a sub target. Referring to FIG. 2, in this step, the main target 110 may be installed in a target structure (for example, a railway bridge) for measuring long-term displacement.

메인 타겟(110)은 플레이트 형상의 부재 위에 설정된 개수의 포인트가 설정된 간격을 두고 다수 배치된 형태로 이루어질 수 있는데, 이에 한정되지 않는다. 구체적인 예로서, 메인 타겟(110)은 센터 부위에 하나의 포인트가 형성되며, 각 모서리마다 하나씩 포인트가 형성된 구조로 이루어질 수 있다. The main target 110 may have a form in which a plurality of points set on the plate-shaped member are disposed at a set interval, but is not limited thereto. As a specific example, the main target 110 may be formed with one point formed at the center portion and one point formed at each corner.

메인 카메라(210)는 구조물에 설치되는 메인 타겟(110)을 장시간 촬영하는 장비로서, 메인 타겟(110)의 이미지 정보를 획득할 수 있다.The main camera 210 is a device for photographing the main target 110 installed in the structure for a long time, and may acquire image information of the main target 110.

바람직하게는 메인 카메라(210)는 메인 타겟(110)에서 소정의 거리를 두고 위치할 수 있는데, 서브 카메라(220)와 서브 타겟(120) 사이의 거리보다 훨씬 먼 거리를 두고 배치되는 것이 좋다. 그리고 메인 카메라(210)는 메인 타겟(110)과 일직선상으로 마주하여 배치될 수 있다. 이와 같은 구조를 가짐에 따라, 철도 교량 등의 구조물 하부에 설치되어 변위를 계측하는 종래의 기타 계측 장비와 달리 원거리상에서 비접촉식으로 변위 계측이 가능한 장점이 있다. 결과적으로, 교통 차단 등의 사회적 비용을 줄일 수 있는 장점이 있다. Preferably, the main camera 210 may be positioned at a predetermined distance from the main target 110, but may be disposed at a distance far greater than the distance between the sub camera 220 and the sub target 120. The main camera 210 may be disposed to face the main target 110 in a straight line. As such a structure, unlike other conventional measuring equipment that is installed in the lower portion of the structure, such as railway bridge to measure the displacement, there is an advantage that can be measured in a non-contact displacement over a long distance. As a result, there is an advantage that can reduce social costs such as traffic blocking.

서브 타겟(120)은 메인 카메라(210)를 사이에 두고 메인 타겟(110)의 반대편(예: 반대편 지면 등)에 고정 설치될 수 있다. 따라서, 서브 타겟(120)은 메인 카메라(210)를 이용하여 메인 타겟(110)을 촬영하는 시간 동안 변위, 즉 위치 변화가 있을 수 없으며 초기 설치 위치를 그대로 유지한다. The sub target 120 may be fixedly installed on the opposite side (eg, on the opposite side of the ground) of the main target 110 with the main camera 210 therebetween. Accordingly, the sub target 120 may not have a displacement, that is, a position change, during the time of photographing the main target 110 using the main camera 210, and maintains the initial installation position as it is.

서브 카메라(220)는 메인 카메라(210)와 서로 다른 방향을 바라보도록 밀착 결합된다. 서브 카메라(220)는 서브 타겟(120)과 일정 거리를 유지하도록 배치되는데, 메인 카메라(210)는 메인 타겟(110) 사이의 거리에 비해 가까운 거리를 두고 배치될 수 있다. 바람직한 예로서, 메인 카메라(210)와 서브 카메라(220)는 서로 측면을 통해 결합되어 서로 다른 방향을 바라보도록 배치될 수 있는데, 서로 반대되는 방향으로 바라보도록 배치할 수도 있으며 이와 달리 서브 카메라(220)는 지면에 설치된 서브 타겟(120)을 바라보도록 소정 각도 기울여 결합될 수도 있다.The sub camera 220 is closely coupled with the main camera 210 to face different directions. The sub camera 220 is disposed to maintain a predetermined distance from the sub target 120, and the main camera 210 may be disposed at a closer distance than the distance between the main targets 110. As a preferred example, the main camera 210 and the sub camera 220 may be disposed to face each other by being coupled to each other through side surfaces, and may be arranged to look in opposite directions to each other. ) May be coupled at an inclined angle to face the sub target 120 installed on the ground.

서브 타겟의 3차원 변위 계측단계(S200)3D displacement measurement step of the sub target (S200)

이 단계는 서브 타겟의 3차원 변위 계측단계로서, 서브 카메라를 통해 촬영된 서브 타겟의 이미지를 이용하여 서브 타겟의 3차원 변위를 계측하는 단계에 해당한다.This step is to measure the three-dimensional displacement of the sub-target, and corresponds to the step of measuring the three-dimensional displacement of the sub-target by using the image of the sub-target taken through the sub-camera.

메인 타겟의 변위 계측단계(S300)Displacement measurement step of the main target (S300)

이 단계는 메인 타겟의 변위 계측단계로서, 이전 단계에서 계측된 서브 타겟의 3차원 변위로부터 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 메인 타겟의 순수 변위를 계측하는 단계에 해당한다. This step is a displacement measuring step of the main target, and corresponds to a step of measuring and correcting the motion displacement according to the movement of the main camera from the three-dimensional displacement of the sub-target measured in the previous step, and measuring the pure displacement of the main target.

이하에서는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 수행하는 알고리즘에 관하여 설명하기로 한다. Hereinafter, an algorithm for performing an image displacement measuring method capable of correcting a three-dimensional position error of a camera using a dual camera according to an embodiment of the present invention will be described.

메인 카메라(210, 도 2 참조)를 통해 메인 타겟(110, 도 2 참조)을 계측하기 전과, 메인 타겟(110, 도 2 참조)을 계측하는 도중으로 나누어 살펴볼 수 있다. Before the main target 110 (see FIG. 2) is measured through the main camera 210 (see FIG. 2), the main target 110 (see FIG. 2) may be divided into two parts.

메인 카메라(210, 도 2 참조)를 이용하여 메인 타겟(110, 도 2 참조)의 변위를 계측하기 전에는, 서브 카메라(220, 도 2 참조)를 통해 획득한 서브 타겟(120, 도 2 참조)의 이미지를 통해 서브 카메라(220, 도 2 참조) 및 메인 카메라(210, 도 2 참조)의 변위 보정(즉, 캘리브레이션)을 수행할 수 있다. 이와 함께 메인 타겟(110)의 위치를 파악할 수 있으며, 이의 위치를 정 위치로 보정할 수도 있다. Before measuring the displacement of the main target 110 (see FIG. 2) using the main camera 210 (see FIG. 2), the sub target 120 (see FIG. 2) acquired through the sub camera 220 (see FIG. 2). Displacement correction (that is, calibration) of the sub-camera 220 (see FIG. 2) and the main camera 210 (see FIG. 2) may be performed through the image of. In addition, the position of the main target 110 can be determined, and its position can be corrected to the correct position.

메인 카메라(210, 도 2 참조)를 이용하여 메인 타겟(110, 도 2 참조)의 변위를 계측하는 도중에는, 메인 카메라(210, 도 2 참조)로 촬영된 이미지로부터 보정 전의 변위(즉, 구조물의 장기 변위와 카메라의 움직임에 의한 모션 변위의 합)를 계산할 수 있다. 그리고 서브 카메라(220, 도 2 참조)로 촬영된 이미지로부터 메인 카메라(210, 도 2 참조)의 움직임을 파악하고, 메인 카메라(210, 도 2 참조)의 움직임에 따른 모션 변위를 계측할 수 있다. 이에 따라, 메인 카메라(210, 도 2 참조)에서 계측된 변위에서 서브 카메라(220, 도 2 참조)에서 계측된 모션 변위를 제거하는 보정을 거치면 구조물의 장기 변위를 얻을 수 있다. During the measurement of the displacement of the main target 110 (see FIG. 2) using the main camera 210 (see FIG. 2), the displacement before correction (that is, the structure of the structure) from the image captured by the main camera 210 (see FIG. 2). Sum of long-term displacement and motion displacement due to camera movement) can be calculated. In addition, the movement of the main camera 210 (see FIG. 2) may be grasped from the image captured by the sub camera 220 (see FIG. 2), and the motion displacement according to the movement of the main camera 210 (see FIG. 2) may be measured. . Accordingly, a long-term displacement of the structure may be obtained by performing a correction to remove the motion displacement measured by the sub camera 220 (see FIG. 2) from the displacement measured by the main camera 210 (see FIG. 2).

구체적으로, 이하의 설명에서 IC는 이미지 좌표계(Image coordinate), WC는 월드 좌표계(world coordinate), CC는 카메라 좌표계(camera coordinate), EXT는 카메라 외부 파라미터(extrinsic parameters), K는 카메라 내부 파라미터 (intrinsic parameters), IC1 및 CC1은 메인 카메라의 IC 및 CC, WC,i는 i번째 모션에서의 WC,

Figure 112017109834816-pat00012
는 IC1 상의 좌표점을 의미한다.Specifically, in the following description, IC is an image coordinate system, WC is a world coordinate system, CC is a camera coordinate system, EXT is an extrinsic parameter, and K is a camera internal parameter ( intrinsic parameters), IC1 and CC1 are the main camera's IC and CC, WC, i is the WC in the i-th motion,
Figure 112017109834816-pat00012
Denotes a coordinate point on IC1.

메인 카메라(210, 도 2 참조)로부터 획득된 메인 타겟(110, 도 2 참조)의 좌표는 하기의 수학식 1에 근거하여 매핑될 수 있다. The coordinates of the main target 110 (see FIG. 2) obtained from the main camera 210 (see FIG. 2) may be mapped based on Equation 1 below.

[수학식 1] [Equation 1]

Figure 112017109834816-pat00013
Figure 112017109834816-pat00013

여기에서,

Figure 112017109834816-pat00014
은 카메라 매트릭스이고,
Figure 112017109834816-pat00015
는 카메라 내부 파라미터이고,
Figure 112017109834816-pat00016
는 카메라 외부 파라미터를 말한다.From here,
Figure 112017109834816-pat00014
Is the camera matrix,
Figure 112017109834816-pat00015
Is an internal camera parameter
Figure 112017109834816-pat00016
Refers to external parameters of the camera.

초기 모션에서 메인 타겟(110, 도 2 참조)의 WC상에서의 좌표를 {X, Y, Z}T라 하면 IC1상의 좌표는 하기의 수학식 2에 근거하여 다음과 같이 표현될 수 있다.If the coordinates on the WC of the main target 110 (see FIG. 2) in the initial motion is {X, Y, Z} T , the coordinates on the IC1 may be expressed as follows based on Equation 2 below.

[수학식2][Equation 2]

Figure 112017109834816-pat00017
Figure 112017109834816-pat00017

i 번째 모션에서 메인 타겟(110, 도 2 참조)의 IC1상의 좌표는 하기의 수학식 3과 같이 나타낼 수 있다. The coordinate on IC1 of the main target 110 (refer to FIG. 2) in the i th motion may be expressed by Equation 3 below.

[수학식 3][Equation 3]

Figure 112017109834816-pat00018
Figure 112017109834816-pat00018

여기에서,

Figure 112017109834816-pat00019
은 WC,i에서 WC,1로 변환하는 행렬로서, 서브 카메라(220, 도 2 참조)를 통해 계산될 수 있다.From here,
Figure 112017109834816-pat00019
Is a matrix for converting from WC, i to WC, 1 and may be calculated through the sub-camera 220 (see FIG. 2).

만일, 메인 타겟(110, 도 2 참조)이 움직이지 않았다면 WC,1과 WC,i 상에서 메인 타겟(110, 도 2 참조)의 좌표

Figure 112017109834816-pat00020
는 하기의 [수학식 3-1]과 같이 동일할 수 있다.If the main target 110 (see FIG. 2) is not moved, the coordinates of the main target 110 (see FIG. 2) on WC, 1 and WC, i
Figure 112017109834816-pat00020
May be the same as Equation 3-1 below.

[수학식 3-1][Equation 3-1]

Figure 112017109834816-pat00021
Figure 112017109834816-pat00021

상기의 [수학식 1], [수학식 2], [수학식 3], [수학식 3-1]을 통해 하기의 [수학식 3-2]가 유도된다.Equation 3-2 below is derived through Equation 1, Equation 2, Equation 3, and Equation 3-1.

[수학식 3-2][Equation 3-2]

Figure 112017109834816-pat00022
Figure 112017109834816-pat00022

상기의 [수학식 3-2]를 정리하면, 하기의 [수학식 3-3]이 유도된다.Summarizing [Equation 3-2], the following Equation 3-3 is derived.

[수학식 3-3][Equation 3-3]

Figure 112017109834816-pat00023
Figure 112017109834816-pat00023

상기의 [수학식 3-3]에서 좌변은 메인 카메라(210, 도 2 참조)의 계측결과로 알 수 있고, 우변의

Figure 112017109834816-pat00024
Figure 112017109834816-pat00025
은 보조 카메라의 계측결과로 알 수 있다. 여기서,
Figure 112017109834816-pat00026
는 계측 전 다양한 모션에서 찍힌 메인 카메라(210, 도 2 참조)와 서브 카메라(220, 도 2 참조)의 이미지로부터 구할 수 있다. 또한, 계측 중에는(예를 들어, k번째 모션이라고 할 경우) [수학식 3-3]에서
Figure 112017109834816-pat00027
Figure 112017109834816-pat00028
를 서브 카메라(220, 도 2 참조)를 통해 구하면, [수학식 3-3]의 우변 값을 구할 수 있다. 이렇게 계산된 우변 값을 통해 좌변의
Figure 112017109834816-pat00029
를 예측할 수 있다.In the above Equation 3-3, the left side can be seen from the measurement result of the main camera 210 (refer to FIG. 2).
Figure 112017109834816-pat00024
Wow
Figure 112017109834816-pat00025
This can be seen from the measurement result of the auxiliary camera. here,
Figure 112017109834816-pat00026
May be obtained from images of the main camera 210 (see FIG. 2) and the sub camera 220 (see FIG. 2) taken in various motions before measurement. In addition, during measurement (for example, the kth motion), the equation (3-3)
Figure 112017109834816-pat00027
Wow
Figure 112017109834816-pat00028
When R is obtained through the sub camera 220 (refer to FIG. 2), the right side value of Equation 3-3 can be obtained. The calculated right side value
Figure 112017109834816-pat00029
Can be predicted.

또한, 상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출할 수 있다.Further, while the main target and the sub target are fixed, randomly giving a three-dimensional movement to the main camera and the sub-camera to generate various data sets, and then calculate the independent variables of Equation 3-2 by using a regression method. can do.

서브 카메라(220, 도 2 참조)를 통해 예측된

Figure 112017109834816-pat00030
, 즉
Figure 112017109834816-pat00031
는 카메라 움직임에 의해 발생되는 모션 변위이다. 따라서, 메인 카메라(210, 도 2 참조)를 통해 계측된
Figure 112017109834816-pat00032
에서 서브 카메라(220, 도 2 참조)를 통해 예측된
Figure 112017109834816-pat00033
를 빼면 순수한 메인 타겟(110, 도 2 참조)의 변위가 되며, 이는 하기의 [수학식 4]와 같이 표현된다.Predicted through the sub-camera 220 (see FIG. 2)
Figure 112017109834816-pat00030
, In other words
Figure 112017109834816-pat00031
Is the motion displacement caused by camera movement. Therefore, measured through the main camera 210 (see FIG. 2)
Figure 112017109834816-pat00032
Predicted through the sub-camera 220 (see FIG. 2) in FIG.
Figure 112017109834816-pat00033
If subtracted, it becomes the displacement of the pure main target 110 (see FIG. 2), which is expressed as Equation 4 below.

[수학식 4][Equation 4]

Figure 112017109834816-pat00034
Figure 112017109834816-pat00034

여기서,

Figure 112017109834816-pat00035
는 서브 타겟(120, 도 2 참조)을 기준으로 한 메인 타겟(110, 도 2 참조)의 변위이므로, 듀얼 카메라의 움직임과 무관하므로 구조물의 장기 변위 계측이 가능해 질 수 있다. 그리고 듀얼 카메라가 3차원으로 움직여도 카메라 움직임에 따른 오차를 3차원 공간상에서 보정할 수 있어 정밀한 장기 변위 계측이 가능해 질 수 있다. here,
Figure 112017109834816-pat00035
Since is the displacement of the main target 110 (see FIG. 2) with respect to the sub-target 120 (see FIG. 2), it is possible to measure the long-term displacement of the structure because it is independent of the movement of the dual camera. And even if the dual camera moves in three dimensions, errors due to camera movement can be corrected in three-dimensional space, enabling accurate long-term displacement measurement.

상술한 바와 같이, 본 발명의 구성 및 작용에 따르면, 교량 등의 구조물의 장기 변위를 효과적으로 계측할 수 있다. 특히, 바람, 온도변화 등에 의해 발생하는 카메라 움직임은 변위계측 오차를 유발하는데, 이러한 오차를 보정할 수 있다.As mentioned above, according to the structure and operation | movement of this invention, long-term displacement of structures, such as a bridge, can be measured effectively. In particular, camera movement caused by wind, temperature change, etc. causes displacement measurement error, and this error can be corrected.

나아가, 본 발명에 의하면 간헐적으로 계측된 단기 변위 데이터들을 이어서 붙일 수 있으므로, 날씨 또는 교통상황 등에 의해 카메라를 부득이하게 수거하더라도 장기 변위 계측이 가능한 장점이 있다. Furthermore, according to the present invention, since the short-term displacement data measured intermittently can be pasted, there is an advantage that the long-term displacement measurement can be performed even if the camera is inevitably collected due to weather or traffic conditions.

더 나아가, 본 발명에 의하면 카메라를 외부 환경에 오랜 시간 노출하지 않으므로 카메라의 성능 저하 문제를 감소시킬 수 있다. 그리고 교량 하부에서 계측해야 하는 다른 변위 계측 장비와 달리 교량 외곽 지역에서 원거리 변위 계측이 가능하므로 교통 차단 등의 사회적 비용이 감소될 수 있는 장점이 있다. Furthermore, according to the present invention, since the camera is not exposed to the external environment for a long time, the performance degradation problem of the camera can be reduced. And unlike other displacement measuring equipment that needs to be measured at the bottom of the bridge, it is possible to measure the distance displacement in the outer area of the bridge, there is an advantage that the social cost such as traffic blocking can be reduced.

이러한 단계들을 거친 후, 상기 메인 타겟의 변위를 실시간 또는 설정 시간 주기마다 기록 보관하여 설정된 기간에 해당하는 상기 구조물의 장기 변위 데이터를 생성 및 저장하는 한편, 상기 저장된 구조물의 장기 변위 데이터를 통해 상기 구조물의 장기 변위를 파악하는 단계를 더 포함할 수 있다.After these steps, the displacement of the main target is recorded and stored in real time or at a set time period to generate and store long-term displacement data of the structure corresponding to a set period, while the structure is stored through long-term displacement data of the stored structure. The method may further include determining a long-term displacement of.

도 3은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 따라 보정 전, 후의 변위 데이터를 비교하여 나타낸 그래프들이다.3 is a graph showing displacement data before and after correction according to an image displacement measurement method capable of correcting a three-dimensional position error of a camera using a dual camera according to an embodiment of the present invention.

도 3을 참조하면, 메인 카메라로 계측된 변위에서 서브 카메라로 계측된 모션 변위를 제거하는 보정 작업의 전, 후 결과를 확인할 수 있다. 도시된 그래프를 통해 파악할 수 있듯이 X변위 결과 및 Y변위 결과 모두에 대해서 카메라 움직임, 즉 카메라 모션에 의해 큰 변위 오차가 나타나는 것을 알 수 있으며, 서브 카메라로 계측된 모션 변위를 제거한 보정 후의 그래프를 보면 카메라 움직임에 따른 오차가 보정되어 5mm 내외의 오차만 계측됨을 알 수 있다. 교량 등의 구조물의 장기 처짐(즉, 변위)이 수십mm라는 점을 감안하면 본 발명을 통해 실제 교량에서의 장치 처짐을 계측하는데 효과적임을 알 수 있다.Referring to FIG. 3, the results before and after the correction operation of removing the motion displacement measured by the sub camera from the displacement measured by the main camera may be confirmed. As can be seen from the graph, it can be seen that a large displacement error occurs due to camera movement, that is, camera motion, for both the X displacement result and the Y displacement result. It can be seen that the error due to the camera movement is corrected and only an error of about 5 mm is measured. Considering that the long-term deflection (that is, displacement) of structures such as bridges is several tens of millimeters, it can be seen that the present invention is effective for measuring device deflection in actual bridges.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.As described above, the present invention has been described with reference to the drawings, but the present invention is not limited to the embodiments and drawings disclosed herein, and various modifications may be made by those skilled in the art within the scope of the technical idea of the present invention. It is obvious that modifications can be made. In addition, even if the above described embodiments of the present invention while not explicitly described and described the effect of the effect of the configuration of the present invention, it is obvious that the effect predictable by the configuration is also to be recognized.

110: 메인 타겟
120: 서브 타겟
210: 메인 카메라
220: 서브 카메라
110: main target
120: sub target
210: main camera
220: sub camera

Claims (17)

(a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계;
(b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계; 및
(c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계;를 포함하고,
상기 (a) 단계 이후에, 상기 메인 카메라로부터 획득된 상기 메인 타겟의 좌표를 하기의 수학식 1에 근거하여 매핑하는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 1]
Figure 112019040292258-pat00036

(여기에서,
Figure 112019040292258-pat00037
은 카메라 매트릭스이고,
Figure 112019040292258-pat00038
는 카메라 내부 파라미터이고,
Figure 112019040292258-pat00039
는 카메라 외부 파라미터임)
(a) preparing a main camera and a sub camera closely fixed to face different directions, photographing a main target attached to a distant structure with the main camera, and simultaneously photographing a sub target fixed at a short distance with the sub camera; step;
(b) measuring a three-dimensional displacement of the sub-target by using the image of the sub-target photographed by the sub-camera; And
(c) measuring and correcting the motion displacement according to the movement of the main camera from the measured three-dimensional displacement of the sub-target, and measuring the displacement of the main target;
After the step (a), the image displacement capable of correcting the three-dimensional position error of the camera using a dual camera, characterized in that for mapping the coordinates of the main target obtained from the main camera based on Equation 1 below Measurement method.
[Equation 1]
Figure 112019040292258-pat00036

(From here,
Figure 112019040292258-pat00037
Is the camera matrix,
Figure 112019040292258-pat00038
Is an internal camera parameter
Figure 112019040292258-pat00039
Is an external parameter to the camera)
삭제delete 제1항에 있어서,
상기 메인 타겟의 초기 모션에서 좌표가 {X, Y, Z}T이면, 상기 카메라 매트릭스에 의해 매핑된 이미지 좌표는 하기의 수학식 2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식2]
Figure 112019040292258-pat00040

The method of claim 1,
If the coordinates are {X, Y, Z} T in the initial motion of the main target, the image coordinates mapped by the camera matrix are determined based on Equation 2 below. Image displacement measurement method that can correct three-dimensional position error.
[Equation 2]
Figure 112019040292258-pat00040

제3항에 있어서,
상기 메인 타겟의 i 번째 모션에서 이미지 좌표는 하기의 수학식 3에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 3]
Figure 112017109834816-pat00041

(여기에서,
Figure 112017109834816-pat00042
은 WC,i에서 WC,1으로 변환하는 행렬임)
The method of claim 3,
And image coordinates in the i th motion of the main target are determined based on Equation 3 below. 3.
[Equation 3]
Figure 112017109834816-pat00041

(From here,
Figure 112017109834816-pat00042
Is a matrix that converts WC, i to WC, 1)
제4항에 있어서,
상기 서브 타겟과 상기 메인 타겟이 고정되어 있을 경우, 상기 수학식 2와 상기 수학식 3에서의 {x,y,z,1}T wc,1과 {x,y,z,1}T wc,i는 상기 서브 타겟을 기반으로 본 상기 메인 타겟의 위치이므로 하기의 수학식 3-1에 근거하여 서로 동일하게 보는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 3-1]
Figure 112017109834816-pat00043

The method of claim 4, wherein
When the sub target and the main target are fixed, {x, y, z, 1} T wc, 1 and {x, y, z, 1} T wc, in Equation 2 and Equation 3 , i is the position of the main target viewed based on the sub-target, so that the image displacement measurement capable of correcting the three-dimensional position error of the camera by using the dual camera, characterized in that the same view based on Equation 3-1 below Way.
[Equation 3-1]
Figure 112017109834816-pat00043

제5항에 있어서,
상기 수학식 3과 상기 수학식 3-1에서 카메라 모션에 독립변수들인
Figure 112017109834816-pat00044
는 하기의 수학식 3-2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 3-2]
Figure 112017109834816-pat00045

The method of claim 5,
Equations 3 and 3 are independent variables in camera motion in Equation 3-1.
Figure 112017109834816-pat00044
The image displacement measurement method capable of correcting the three-dimensional position error of the dual camera, characterized in that determined based on Equation 3-2.
[Equation 3-2]
Figure 112017109834816-pat00045

제6항에 있어서,
상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출하는 것을 특징으로 하는 듀얼 카메라 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
The method of claim 6,
In the state where the main target and the sub-target are fixed, randomly giving a three-dimensional motion to the main camera and the sub-camera to make various data sets, and then calculate the independent variables of Equation 3-2 by using a regression method. An image displacement measuring method capable of correcting dual camera three-dimensional position error.
제4항에 있어서,
상기 (c) 단계에서, 상기 메인 카메라의 움직임에 따른 모션 변위가 보정된 이후에 계측된 상기 메인 타겟의 변위는 하기의 수학식 4에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 4]
Figure 112017109834816-pat00046

The method of claim 4, wherein
In the step (c), the displacement of the main target measured after the motion displacement according to the movement of the main camera is corrected is determined based on Equation 4 below. Image displacement measurement method that can correct three-dimensional position error.
[Equation 4]
Figure 112017109834816-pat00046

제1항에 있어서,
상기 (a) 단계에서, 상기 메인 카메라를 이용하여 상기 메인 타겟의 변위를 계측하기에 앞서, 상기 서브 카메라를 통해 획득한 상기 서브 타겟의 이미지를 통해 상기 서브 카메라 및 상기 메인 카메라의 변위를 보정하는 한편, 상기 메인 타겟을 정 위치로 보정하는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
The method of claim 1,
In the step (a), prior to measuring the displacement of the main target using the main camera, the displacement of the sub camera and the main camera through the image of the sub target obtained through the sub camera is corrected On the other hand, by using a dual camera, characterized in that for correcting the main target to the image displacement measurement method that can correct the three-dimensional position error of the camera.
(a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계;
(b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계;
(c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계; 및
(d) 상기 메인 타겟의 변위를 실시간 또는 설정 시간 주기마다 기록 보관하여 설정된 기간에 해당하는 상기 구조물의 장기 변위 데이터를 생성 및 저장하는 한편, 상기 저장된 구조물의 장기 변위 데이터를 통해 상기 구조물의 장기 변위를 파악하는 단계;를 포함하고,
상기 (a) 단계 이후에, 상기 메인 카메라로부터 획득된 상기 메인 타겟의 좌표를 하기의 수학식 1에 근거하여 매핑하는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 1]
Figure 112019040292258-pat00047

(여기에서,
Figure 112019040292258-pat00048
은 카메라 매트릭스이고,
Figure 112019040292258-pat00049
는 카메라 내부 파라미터이고,
Figure 112019040292258-pat00050
는 카메라 외부 파라미터임)
(a) preparing a main camera and a sub camera closely fixed to face different directions, photographing a main target attached to a distant structure with the main camera, and simultaneously photographing a sub target fixed at a short distance with the sub camera; step;
(b) measuring a three-dimensional displacement of the sub-target by using the image of the sub-target photographed by the sub-camera;
(c) measuring and correcting the motion displacement according to the movement of the main camera from the measured three-dimensional displacement of the sub-target, and measuring the displacement of the main target; And
(d) record and store the displacement of the main target in real time or at a set time period to generate and store long-term displacement data of the structure corresponding to a set period, and to store the long-term displacement of the structure through the long-term displacement data of the stored structure. Including;
After the step (a), the image displacement capable of correcting the three-dimensional position error of the camera using a dual camera, characterized in that for mapping the coordinates of the main target obtained from the main camera based on Equation 1 below Measurement method.
[Equation 1]
Figure 112019040292258-pat00047

(From here,
Figure 112019040292258-pat00048
Is the camera matrix,
Figure 112019040292258-pat00049
Is an internal camera parameter
Figure 112019040292258-pat00050
Is an external parameter to the camera)
삭제delete 제10항에 있어서,
상기 메인 타겟의 초기 모션에서 좌표가 {X, Y, Z}T이면, 상기 카메라 매트릭스에 의해 매핑된 이미지 좌표는 하기의 수학식 2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식2]
Figure 112019040292258-pat00051

The method of claim 10,
If the coordinates are {X, Y, Z} T in the initial motion of the main target, the image coordinates mapped by the camera matrix are determined based on Equation 2 below. Image displacement measurement method that can correct three-dimensional position error.
[Equation 2]
Figure 112019040292258-pat00051

제12항에 있어서,
상기 메인 타겟의 i 번째 모션에서 이미지 좌표는 하기의 수학식 3에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 3]
Figure 112017109834816-pat00052

(여기에서,
Figure 112017109834816-pat00053
은 WC,i에서 WC,1으로 변환하는 행렬임)
The method of claim 12,
And image coordinates in the i th motion of the main target are determined based on Equation 3 below. 3.
[Equation 3]
Figure 112017109834816-pat00052

(From here,
Figure 112017109834816-pat00053
Is a matrix that converts WC, i to WC, 1)
제13항에 있어서,
상기 서브 타겟과 상기 메인 타겟이 고정되어 있을 경우, 상기 수학식 2와 상기 수학식 3에서의 {x,y,z,1}T wc,1과 {x,y,z,1}T wc,i는 상기 서브 타겟을 기반으로 본 상기 메인 타겟의 위치이므로 하기의 수학식 3-1에 근거하여 서로 동일하게 보는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 3-1]
Figure 112017109834816-pat00054

The method of claim 13,
When the sub target and the main target are fixed, {x, y, z, 1} T wc, 1 and {x, y, z, 1} T wc, in Equation 2 and Equation 3 , i is the position of the main target viewed based on the sub-target, so that the image displacement measurement capable of correcting the three-dimensional position error of the camera by using the dual camera, characterized in that the same view based on Equation 3-1 below Way.
[Equation 3-1]
Figure 112017109834816-pat00054

제14항에 있어서,
상기 수학식 3과 상기 수학식 3-1에서 카메라 모션에 독립변수들인
Figure 112017109834816-pat00055
는 하기의 수학식 3-2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 3-2]
Figure 112017109834816-pat00056

The method of claim 14,
Equations 3 and 3 are independent variables in camera motion in Equation 3-1.
Figure 112017109834816-pat00055
The image displacement measurement method capable of correcting the three-dimensional position error of the dual camera, characterized in that determined based on Equation 3-2.
[Equation 3-2]
Figure 112017109834816-pat00056

제15항에 있어서,
상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출하는 것을 특징으로 하는 듀얼 카메라 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
The method of claim 15,
In the state where the main target and the sub-target are fixed, randomly giving a three-dimensional motion to the main camera and the sub-camera to make various data sets, and then calculate the independent variables of Equation 3-2 by using a regression method. An image displacement measuring method capable of correcting dual camera three-dimensional position error.
제13항에 있어서,
상기 (c) 단계에서, 상기 메인 카메라의 움직임에 따른 모션 변위가 보정된 이후에 계측된 상기 메인 타겟의 변위는 하기의 수학식 4에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
[수학식 4]
Figure 112017109834816-pat00057
The method of claim 13,
In the step (c), the displacement of the main target measured after the motion displacement according to the movement of the main camera is corrected is determined based on Equation 4 below. Image displacement measurement method that can correct three-dimensional position error.
[Equation 4]
Figure 112017109834816-pat00057
KR1020170146689A 2017-11-06 2017-11-06 Image displacement measurement method for correcting three dimensional position error of camera using dual camera KR102036324B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170146689A KR102036324B1 (en) 2017-11-06 2017-11-06 Image displacement measurement method for correcting three dimensional position error of camera using dual camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146689A KR102036324B1 (en) 2017-11-06 2017-11-06 Image displacement measurement method for correcting three dimensional position error of camera using dual camera

Publications (2)

Publication Number Publication Date
KR20190051253A KR20190051253A (en) 2019-05-15
KR102036324B1 true KR102036324B1 (en) 2019-10-24

Family

ID=66579396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146689A KR102036324B1 (en) 2017-11-06 2017-11-06 Image displacement measurement method for correcting three dimensional position error of camera using dual camera

Country Status (1)

Country Link
KR (1) KR102036324B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112066879B (en) * 2020-09-11 2021-11-19 哈尔滨工业大学 Air floatation motion simulator pose measuring device and method based on computer vision
KR102445874B1 (en) * 2021-03-29 2022-09-21 재단법인대구경북과학기술원 Electronic device for calibrating multi-camera system and controlling method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240218A (en) * 2006-03-07 2007-09-20 Hitachi Zosen Corp Correction method at displacement measuring time by photographed image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101395544B1 (en) * 2012-08-21 2014-05-14 인하대학교 산학협력단 System and method for calibrating of object for measuring deformation structure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240218A (en) * 2006-03-07 2007-09-20 Hitachi Zosen Corp Correction method at displacement measuring time by photographed image

Also Published As

Publication number Publication date
KR20190051253A (en) 2019-05-15

Similar Documents

Publication Publication Date Title
JP6484729B2 (en) Unmanned aircraft depth image acquisition method, acquisition device, and unmanned aircraft
JP5992184B2 (en) Image data processing apparatus, image data processing method, and image data processing program
CN108020827B (en) Mobile imaging platform calibration
KR20150119337A (en) Generation of 3d models of an environment
US11869218B2 (en) System and method for camera calibration
CN102798456B (en) Method, device and system for measuring working range of engineering mechanical arm frame system
US10880474B1 (en) Systems and methods for mobile imaging
KR102036324B1 (en) Image displacement measurement method for correcting three dimensional position error of camera using dual camera
KR101387876B1 (en) System and method for measuring deformation structure
JP6922348B2 (en) Information processing equipment, methods, and programs
TW201317544A (en) Ground target geolocation system and method
CN110823899A (en) Fault positioning method, device and system
CN113587934A (en) Robot, indoor positioning method and device and readable storage medium
KR102159134B1 (en) Method and system for generating real-time high resolution orthogonal map for non-survey using unmanned aerial vehicle
CN113436267B (en) Visual inertial navigation calibration method, device, computer equipment and storage medium
KR101395544B1 (en) System and method for calibrating of object for measuring deformation structure
TWI726536B (en) Image capturing method and image capturing apparatus
CN114754695B (en) Multi-view-field bridge deflection measuring device and method and storage medium
JP5230354B2 (en) POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE
CN107911615B (en) A kind of Gray Projection digital image stabilization method and system
KR101502071B1 (en) Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same
US20240045062A1 (en) Augmented illumination and 3d dimensioning (ai3d) from 3d reconstruction within a single-pose image
WO2023178481A1 (en) Deformation measurement method and apparatus, electronic device, and storage medium
JP7004873B2 (en) Coordinate value integration device, coordinate value integration system, coordinate value integration method, and coordinate value integration program
JP5565222B2 (en) measuring device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right