KR20160119412A - 대형 부재의 6자유도 변위 추정 방법 및 시스템 - Google Patents

대형 부재의 6자유도 변위 추정 방법 및 시스템 Download PDF

Info

Publication number
KR20160119412A
KR20160119412A KR1020150047767A KR20150047767A KR20160119412A KR 20160119412 A KR20160119412 A KR 20160119412A KR 1020150047767 A KR1020150047767 A KR 1020150047767A KR 20150047767 A KR20150047767 A KR 20150047767A KR 20160119412 A KR20160119412 A KR 20160119412A
Authority
KR
South Korea
Prior art keywords
particles
feature point
marker image
cameras
estimating
Prior art date
Application number
KR1020150047767A
Other languages
English (en)
Other versions
KR101685797B1 (ko
Inventor
명현
명완철
최수영
정광익
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150047767A priority Critical patent/KR101685797B1/ko
Publication of KR20160119412A publication Critical patent/KR20160119412A/ko
Application granted granted Critical
Publication of KR101685797B1 publication Critical patent/KR101685797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

대형 부재의 6자유도 변위 추정 시스템에 의해 수행되는 대형 부재의 6자유도 변위 추정 방법이 개시된다. 대형 부재의 6자유도 변위 추정 방법은 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계; 상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하는 단계; 및 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함한다.

Description

대형 부재의 6자유도 변위 추정 방법 및 시스템{METHOD AND SYSTEM FOR ESTIMATING 6-DOF DISPLACEMENT OF LARGE MEMBER}
아래의 설명은 대형 부재의 6자유도 변위 추정 방법 및 시스템에 관한 것으로, 보다 구체적으로 복수의 카메라들 및 복수의 마커들을 배치함으로써, 부재들 사이의 상대변위를 추정하는 6자유도 변위 추정 기술에 관한 것이다.
구조물에 포함되는 부재들의 변위 측정 방식으로는 마커 및 카메라를 이용하는 방식이 있다. 해당 방식은 단일 마커 및 단일 카메라가 구조물에 포함되는 부재들 각각에 배치되어, 카메라에 의해 촬영되는 단일 마커의 이미지에 기초하여 부재들 사이의 변위를 측정하는 방식으로서, 단일 마커 및 단일 카메라가 정렬되어 배치되지 않는 경우, 회전변위 오차(alignment error)가 발생될 수 있다. 특히, 회전변위 오차는 단일 마커 및 단일 카메라가 배치된 지점으로부터 거리가 멀어질수록 거리에 비례하여 증가하는 문제점이 있다,
이에, 마커 및 카메라를 이용하는 방식에서 마커 및 카메라의 정렬에서 발생되는 회전변위 오차에 강인한 부재의 변위 추정 기술이 요구된다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 및 복수의 마커들을 이용함으로써, 마커 및 카메라의 정렬에서 발생되는 회전변위 오차에 강인한 부재의 변위 추정 기술을 제공한다.
특히, 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 각각에 의해 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용함으로써, 부재들 사이의 상대변위를 추정하는 기술을 제공한다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 방법은 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계; 상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하는 단계; 및 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함한다.
상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하는 단계; 상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하는 단계; 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하는 단계; 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하는 단계; 및 상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함할 수 있다.
상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는 상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함할 수 있다.
상기 복수의 파티클들을 업데이트하는 단계는 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성하는 단계를 포함할 수 있다.
상기 복수의 파티클들을 업데이트하는 단계는 상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용하는 단계를 더 포함할 수 있다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 미리 설정된 특징점을 갖는 복수의 마커들이 배치되는 제1 부재; 상기 복수의 마커들 중 대응하는 마커를 촬영하여 측정 이미지를 각각 생성하는 복수의 카메라들이 배치되는 제2 부재; 및 상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 추정부를 포함한다.
상기 추정부는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하고, 상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하며, 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하고, 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하며, 상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정할 수 있다.
상기 추정부는 상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정할 수 있다.
상기 추정부는 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 상기 복수의 파티클들을 업데이트할 수 있다.
상기 추정부는 상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용할 수 있다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 및 복수의 마커들을 이용함으로써, 마커 및 카메라의 정렬에서 발생되는 회전변위 오차에 강인한 부재의 변위 추정 기술을 제공할 수 있다.
특히, 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 각각에 의해 측정된 마커 이미지의 특징점을 기초로 MCL 기법을 적용함으로써, 부재들 사이의 상대변위를 추정하는 기술을 제공할 수 있다.
도 1은 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 도면이다.
도 2는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 의해 측정되는 마커 이미지의 특징점을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 MCL 기법을 적용하여 부재 사이의 상대변위를 추정하는 동작을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 복수의 마커들(110)이 배치되는 제1 부재(120), 복수의 카메라들(130)이 배치되는 제2 부재(140) 및 추정부를 포함한다. 여기서, 추정부는 도면에 도시되지 않았지만, 별도의 컴퓨터 또는 서버인 임베디드 시스템으로 구비될 수 있다.
복수의 마커들(110) 각각은 미리 설정된 특징점(이 때, 특징점은 점, 선 또는 면 중 적어도 어느 하나를 포함함)을 갖고, 제1 부재(120)의 미리 설정된 위치에 배치될 수 있다. 또한, 복수의 카메라들(130) 각각은 복수의 마커들(110) 중 대응하는 마커를 촬영할 수 있도록 제2 부재(140)의 미리 설정된 위치에 배치될 수 있다. 예를 들어, 제1 카메라(131)는 제1 마커(111)를 촬영하도록 배치될 수 있고, 제2 카메라(132)는 제2 마커(112)를 촬영하도록 배치될 수 있다.
추정부는 복수의 마커들(110) 및 복수의 카메라들(130)을 이용하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정한다. 구체적으로, 추정부는 복수의 카메라들(130) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정한다.
예를 들어, 추정부는 복수의 카메라들(130) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점에 대한 이미지 좌표를 획득하여 마커 이미지의 특징점을 측정할 수 있다. 이하, 마커 이미지의 특징점은 마커 이미지의 특징점에 대한 이미지 좌표를 의미한다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
따라서, 추정부는 측정된 마커 이미지의 특징점(측정된 마커 이미지의 특징점에 대한 이미지 좌표)를 기초로 MCL(Monte Carlo Localization) 기법을 적용함으로써, 복수의 마커들(110)이 배치되는 제1 부재(120) 및 복수의 카메라들(130)이 배치되는 제2 부재(140) 사이의 상대변위를 추정할 수 있다.
MCL 기법이 적용되는 과정에 대한 구체적인 예를 들면, 추정부는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성한 후(복수의 파티클들은 가상의 모델링을 통하여 형성될 수 있음), 복수의 파티클들 각각에 대해, 복수의 파티클들 각각의 6자유도 상태 벡터 및 복수의 카메라들(130) 각각의 카메라 모델에 기초하여 복수의 카메라들(130) 각각에 대한 마커 이미지의 특징점을 예측할 수 있다(마커 이미지의 특징점에 대한 이미지 좌표를 예측함).
이에, 추정부는 예측된 마커 이미지의 특징점과 위에서 상술된 바와 같이 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들 각각에 가중치를 부여하여 복수의 파티클들을 업데이트할 수 있다. 이 때, 추정부는 복수의 파티클들을 업데이트하는 과정을 반복 수행할 수 있으며, 복수의 파티클들을 업데이트하는 과정에서 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 재생성된 적어도 일부 파티클을 포함하는 복수의 파티클들을 다음 반복 과정에서 이용할 수 있다.
따라서, 추정부는 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정할 수 있다. 여기서, 추정부는 업데이트된 복수의 파티클들 중 업데이트된 복수의 파티클들 각각에 대해 예측된 마커 이미지의 특징점과 위에서 상술한 바와 같이 측정된 마커 이미지의 특징점의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위로 추정할 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
이와 같이, 일실시예에 따른 추정부는 복수의 카메라들(130) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정한 후, 측정된 마커 이미지의 특징점에 기초하여 MCL 기법을 적용함으로써, 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정하기 때문에, 복수의 마커들(110) 및 복수의 카메라들(130) 각각의 정렬에서 발생되는 회전변위 오차에 강인할 수 있다.
도 2는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 의해 측정되는 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 포함되는 카메라(210)가 대응하는 마커(220)를 촬영하여 측정 이미지를 생성하는 과정에서, 추정부는 측정 이미지에 포함되는 마커 이미지(230)의 특징점의 이미지 좌표를 획득함으로써, 마커 이미지(230)의 특징점을 측정할 수 있다.
따라서, 추정부는 이와 같이 측정된 마커 이미지(230)의 특징점(특징점의 이미지 좌표를 의미함)를 위에서 상술된 MCL 기법을 적용하는 과정에서 이용할 수 있다. MCL 기법을 적용하는 상세한 설명을 아래에서 추가적으로 기재하기로 한다.
도 3은 일실시예에 따른 MCL 기법을 적용하여 부재 사이의 상대변위를 추정하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 포함되는 추정부는 위에서 상술한 바와 같이 측정된 복수의 카메라들 각각에 대응하는 마커 이미지의 특징점에 기초하여 MCL 기법을 적용할 수 있다.
구체적으로, 추정부는 제1 부재(310) 및 제2 부재(320)에 대해 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들(330)을 수학식 1과 같이 형성할 수 있다.
<수학식 1>
Figure pat00001

여기서,
Figure pat00002
,
Figure pat00003
및
Figure pat00004
는 복수의 파티클들(330) 각각의 상태 벡터의 선형변위(X좌표, Y좌표 및 Z좌표)를 의미하고,
Figure pat00005
,
Figure pat00006
및
Figure pat00007
는 복수의 파티클들(330) 각각의 회전 변위(X, Y, Z 좌표에 따른 각도값)을 의미한다.
이어서, 추정부는 복수의 파티클들(330) 각각에 대해, 복수의 파티클들(330) 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측할 수 있다. 이 때, 측정부는 복수의 마커들 및 복수의 카메라들 각각이 배치되는 제1 부재(310) 및 제2 부재(320) 상의 위치(더욱 상세하게는 복수의 마커들 각각의 미리 설정된 특징점이 배치되는 제1 부재(310) 상의 위치)를 이미 알고 있기 때문에, 복수의 파티클들(330) 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측할 수 있다.
예를 들어, 추정부는 아래의 수학식 2와 같이 복수의 카메라들 각각의 카메라 모델을 기초로 하는 미리 설정된 선형/회전 변환 행렬을 이용하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점의 이미지 좌표를 예측할 수 있다.
<수학식 2>
Figure pat00008

수학식 2에서,
Figure pat00009
은 예측되는 마커 이미지의 특징점의 X축 좌표를 의미하고,
Figure pat00010
은 예측되는 마커 이미지의 특징점의 Y축 좌표를 의미하며,
Figure pat00011
은 예측되는 마커 이미지의 특징점의 Z축 좌표를 의미한다. 또한,
Figure pat00012
는 카메라 모델을 나타내는 행렬로서,
Figure pat00013
및
Figure pat00014
각각은 수평 수직 방향에서의 픽셀의 effective size를 의미하고,
Figure pat00015
카메라(210)의 초점 거리를 의미하며,
Figure pat00016
및
Figure pat00017
는 카메라의 주점의 X축 좌표 및 Y축 좌표를 의미한다. 또한,
Figure pat00018
는 미리 설정된 선형/회전 변환 행렬로서, 3차원 실제 좌표가 2차원 이미지 좌표로 변환되는 과정에서 선형/회전 변환되는 관계를 의미한다. 이 때, R은 회전 변환 행렬을 의미하고, T는 선형 변환 행렬을 의미한다. 또한,
Figure pat00019
는 복수의 파티클들(330) 각각의 6자유도 상태 벡터에 기초하여 계산되는 마커의 특징점의 X축 좌표를 의미하고,
Figure pat00020
는 마커의 특징점의 Y축 좌표를 의미하며,
Figure pat00021
는 마커의 특징점의 Z축 좌표를 의미한다.
즉, 추정부는 복수의 카메라들 각각의 위치 및 복수의 카메라들 각각에 대응하는 마커의 위치를 미리 알고 있기 때문에, 복수의 파티클들(330) 각각의 6자유도 상태 벡터에 기초하여 복수의 카메라들 각각에 대응하는 마커의 특징점에 대한 실제 좌표를 계산할 수 있고, 계산된 마커의 특징점에 대한 실제 좌표로부터 수학식 2의 카메라 모델을 이용하여 복수의 카메라들 각각에서 측정되는 마커 이미지의 특징점에 대한 이미지 좌표를 예측할 수 있다.
따라서, 추정부는 복수의 카메라들 각각에 대해 예측된 마커 이미지의 특징점을 아래의 MCL 기법을 적용하는 과정에서 이용할 수 있다.
그 다음, 추정부는 도 2를 참조하여 기재한 바와 같이 측정된 복수의 카메라들 각각에 대한 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들(330) 각각에 가중치를 부여하여 복수의 파티클들(330)을 업데이트할 수 있다. 예를 들어, 추정부는 측정된 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값의 크기에 반비례하도록 가중치를 복수의 파티클들(330)로 부여할 수 있다.
여기서, 추정부는 복수의 파티클들(330) 각각에 부여된 가중치에 기초하여 적어도 일부 파티클을 재생성함으로써, 복수의 파티클들(340)을 업데이트할 수 있다. 이 때, 적어도 일부 파티클이 재생성되는 과정에서, control input 또는 기타 센서(IMU, odometry) 등이 활용되어 적어도 일부 파티클이 재생성되는 지점을 예측할 수 있다.
이와 같은 업데이트 과정은 업데이트된 복수의 파티클들(340)이 다음 반복 과정에서 이용됨으로써, 반복 수행될 수 있다. 예를 들어, 추정부는 재생성된 적어도 일부 파티클을 포함하는 복수의 파티클들(340)에 각각에 대해, 복수의 파티클들(340) 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하고, 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값을 계산한 후, 복수의 파티클들(340) 각각에 가중치를 다시 부여함으로써, 복수의 파티클들(340)을 다시 업데이트할 수 있다.
복수의 파티클들(340)이 업데이트되는 과정이 반복 수행된다는 것은 적어도 일부 파티클이 재생성되어, 복수의 파티클들(340) 각각에 대해 측정된 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값이 크기가 점차 줄어든다는 것을 의미하기 때문에, 최종적으로, 측정된 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값이 보다 작은 파티클이 획득될 수 있다.
따라서, 추정부는 복수의 파티클들(340)을 업데이트하는 과정을 반복 수행하여, 복수의 파티클들(340) 중 업데이트된 복수의 파티클들(340) 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재(310) 및 제2 부재(320) 사이의 상대변위를 추정할 수 있다(즉, 복수의 파티클들(340) 중 업데이트된 복수의 파티클들(340) 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 제1 부재(310) 및 제2 부재(320) 사이의 상대변위로 획득할 수 있음).
이 때, 추정부는 복수의 파티클들(340)을 업데이트하는 과정을 미리 설정된 업데이트 횟수에 기초하여 반복 수행/중단하거나, 복수의 파티클들(340) 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값과 미리 설정된 기준 차이값을 비교하여 반복 수행/중단할 수 있다.
도 4는 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성한다(410).
이어서, 대형 부재의 6자유도 변위 추정 시스템은 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정한다(420).
그 후, 대형 부재의 6자유도 변위 추정 시스템은 측정된 마커 이미지의 특징점을 기초로 MCL 기법을 적용하여 제1 부재 및 제2 부재 사이의 상대변위를 추정한다.
구체적으로, 대형 부재의 6자유도 변위 추정 시스템은 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성한 후(430), 복수의 파티클들 각각에 대해, 복수의 파티클들 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측할 수 있다(440).
그 다음, 대형 부재의 6자유도 변위 추정 시스템은 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들 각각에 가중치를 부여할 수 있다(450).
또한, 대형 부재의 6자유도 변위 추정 시스템은 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들을 업데이트할 수 있다(460).
여기서, 대형 부재의 6자유도 변위 추정 시스템은 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 복수의 파티클들을 업데이트할 수 있다. 또한, 업데이트된 복수의 파티클들이 다음 반복 과정에서 이용됨으로써, 복수의 파티클들을 업데이트하는 과정이 반복 수행될 수 있다. 예를 들어, 복수의 파티클들을 업데이트하는 과정이 반복 수행되는 경우, 업데이트된 복수의 파티클들 각각에 대한 마커 이미지의 특징점이 예측되어 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 다시 계산되어 복수의 파티클들 각각에 가중치가 다시 부여될 수 있다. 이 때, 대형 부재의 6자유도 변위 추정 시스템은 복수의 파티클들을 업데이트하는 과정을 미리 설정된 업데이트 횟수에 기초하여 반복 수행/중단하거나, 복수의 파티클들 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값과 미리 설정된 기준 차이값을 비교하여 반복 수행/중단할 수 있다.
그 후, 대형 부재의 6자유도 변위 추정 시스템은 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 제1 부재 및 제2 부재 사이의 상대변위를 추정할 수 있다(470). 이 때, 대형 부재의 6자유도 변위 추정 시스템은 업데이트된 복수의 파티클들 중 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재 및 제2 부재 사이의 상대변위를 추정할 수 있다.
도 5는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 제1 부재(510), 제2 부재(520) 및 추정부(530)를 포함한다.
제1 부재(510)에는 미리 설정된 특징점을 갖는 복수의 마커들(511)이 배치된다.
제2 부재(520)에는 복수의 마커들(511) 중 대응하는 마커를 촬영하여 측정 이미지를 각각 생성하는 복수의 카메라들(521)이 배치된다.
추정부(530)는 복수의 카메라들(521) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 측정된 마커 이미지의 특징점을 기초로 MCL 기법을 적용하여 제1 부재(510) 및 제2 부재(520) 사이의 상대변위를 추정한다.
구체적으로, 추정부(530)는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하고, 복수의 파티클들 각각에 대해, 복수의 파티클들 각각의 6자유도 상태 벡터 및 복수의 카메라들(521) 각각의 카메라 모델에 기초하여 복수의 카메라들(521) 각각에 대한 마커 이미지의 특징점을 예측하며, 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들 각각에 가중치를 부여하고, 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들을 업데이트하며, 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 제1 부재(510) 및 제2 부재(520) 사이의 상대변위를 추정할 수 있다.
여기서, 추정부(530)는 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 복수의 파티클들을 업데이트할 수 있다. 또한, 업데이트된 복수의 파티클들이 다음 반복 과정에서 이용됨으로써, 복수의 파티클들을 업데이트하는 과정이 반복 수행될 수 있다. 예를 들어, 복수의 파티클들을 업데이트하는 과정이 반복 수행되는 경우, 업데이트된 복수의 파티클들 각각에 대한 마커 이미지의 특징점이 예측되어 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 다시 계산되어 복수의 파티클들 각각에 가중치가 다시 부여될 수 있다. 이 때, 추정부(530)는 복수의 파티클들을 업데이트하는 과정을 미리 설정된 업데이트 횟수에 기초하여 반복 수행/중단하거나, 복수의 파티클들 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값과 미리 설정된 기준 차이값을 비교하여 반복 수행/중단할 수 있다.
이 때, 추정부(530)는 업데이트된 복수의 파티클들 중 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재(510) 및 제2 부재(520) 사이의 상대변위를 추정할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계;
    상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하는 단계; 및
    상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  2. 제1항에 있어서,
    상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는
    임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하는 단계;
    상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하는 단계;
    상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하는 단계;
    상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하는 단계; 및
    상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  3. 제2항에 있어서,
    상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는
    상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  4. 제2항에 있어서,
    상기 복수의 파티클들을 업데이트하는 단계는
    상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  5. 제2항에 있어서,
    상기 복수의 파티클들을 업데이트하는 단계는
    상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용하는 단계
    를 더 포함하는 대형 부재의 6자유도 변위 추정 방법.
  6. 미리 설정된 특징점을 갖는 복수의 마커들이 배치되는 제1 부재;
    상기 복수의 마커들 중 대응하는 마커를 촬영하여 측정 이미지를 각각 생성하는 복수의 카메라들이 배치되는 제2 부재; 및
    상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 추정부
    를 포함하는 대형 부재의 6자유도 변위 추정 시스템.
  7. 제6항에 있어서,
    상기 추정부는
    임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하고, 상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하며, 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하고, 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하며, 상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 대형 부재의 6자유도 변위 추정 시스템.
  8. 제7항에 있어서,
    상기 추정부는
    상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 대형 부재의 6자유도 변위 추정 시스템.
  9. 제7항에 있어서,
    상기 추정부는
    상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 상기 복수의 파티클들을 업데이트하는 대형 부재의 6자유도 변위 추정 시스템.
  10. 제7항에 있어서,
    상기 추정부는
    상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용하는 대형 부재의 6자유도 변위 추정 시스템.
KR1020150047767A 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템 KR101685797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150047767A KR101685797B1 (ko) 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150047767A KR101685797B1 (ko) 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160119412A true KR20160119412A (ko) 2016-10-13
KR101685797B1 KR101685797B1 (ko) 2016-12-13

Family

ID=57173984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150047767A KR101685797B1 (ko) 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101685797B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190070235A (ko) * 2017-12-12 2019-06-20 한국과학기술원 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
US10679090B2 (en) 2017-12-12 2020-06-09 Korea Advanced Institute Of Science And Technology Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
CN112697041A (zh) * 2020-12-10 2021-04-23 北京新风航天装备有限公司 一种基于蒙特卡洛法的装配位姿测量精度预评估方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017113615A1 (de) * 2017-06-20 2018-12-20 Carl Zeiss Smt Gmbh System, Verfahren und Marker zur Positionsbestimmung eines beweglichen Objektes im Raum

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
'움직임 카메라 환경에서 파티클 필터를 이용한 객체 추적', '고병철,남재열,곽준영', 한국통신학회논문지 37(5), 2012년5월 pp.375-387.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190070235A (ko) * 2017-12-12 2019-06-20 한국과학기술원 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
US10679090B2 (en) 2017-12-12 2020-06-09 Korea Advanced Institute Of Science And Technology Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
CN112697041A (zh) * 2020-12-10 2021-04-23 北京新风航天装备有限公司 一种基于蒙特卡洛法的装配位姿测量精度预评估方法
CN112697041B (zh) * 2020-12-10 2022-03-08 北京新风航天装备有限公司 一种基于蒙特卡洛法的装配位姿测量精度预评估方法

Also Published As

Publication number Publication date
KR101685797B1 (ko) 2016-12-13

Similar Documents

Publication Publication Date Title
US8861785B2 (en) Information processing device, information processing method and program
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
JP3020898B2 (ja) アフィンカメラ補正による三次元位置の線形推定方法
KR101685797B1 (ko) 대형 부재의 6자유도 변위 추정 방법 및 시스템
JP6701930B2 (ja) オーサリング装置、オーサリング方法およびオーサリングプログラム
CN106845354B (zh) 零件视图库构建方法、零件定位抓取方法及装置
JP6464938B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2016525842A (ja) カメラ動き予測及び修正のための方法
JP2017004268A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5710752B2 (ja) 検出装置、方法及びプログラム
CN112258567A (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
JP2014013147A5 (ko)
JP2014112055A (ja) カメラ姿勢の推定方法およびカメラ姿勢の推定システム
JP2014013146A5 (ko)
CN109544643A (zh) 一种摄像机图像校正方法及装置
JP2019020997A (ja) 情報処理装置及びその制御方法、並びに、プログラム
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
JP2021103168A (ja) 拡張現実装置及び位置決め方法
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2010273091A (ja) 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム
WO2019012004A1 (en) METHOD FOR DETERMINING SPATIAL UNCERTAINTY IN IMAGES OF AN ENVIRONMENTAL REGION OF A MOTOR VEHICLE, DRIVING ASSISTANCE SYSTEM AND MOTOR VEHICLE
CN110176035B (zh) 标志点的定位方法、装置、计算机设备和存储介质
CN113052974A (zh) 物体三维表面的重建方法和装置
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4