KR102049666B1 - 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 - Google Patents

비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 Download PDF

Info

Publication number
KR102049666B1
KR102049666B1 KR1020180043199A KR20180043199A KR102049666B1 KR 102049666 B1 KR102049666 B1 KR 102049666B1 KR 1020180043199 A KR1020180043199 A KR 1020180043199A KR 20180043199 A KR20180043199 A KR 20180043199A KR 102049666 B1 KR102049666 B1 KR 102049666B1
Authority
KR
South Korea
Prior art keywords
marker
relative displacement
freedom relative
freedom
image
Prior art date
Application number
KR1020180043199A
Other languages
English (en)
Other versions
KR20190070235A (ko
Inventor
명현
최수영
명완철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US15/979,142 priority Critical patent/US10679090B2/en
Publication of KR20190070235A publication Critical patent/KR20190070235A/ko
Application granted granted Critical
Publication of KR102049666B1 publication Critical patent/KR102049666B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 및 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계를 포함한다.

Description

비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 {Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor}
본 발명은 6-자유도 상대 변위 추정 기술에 관한 것으로서, 보다 구체적으로 비전 기반 위치 추정 기법을 이용하여 고정 부재(또는 정적 부재)에 대한 동적 부재의 6-자유도 상대 변위를 추정할 수 있는 방법 및 그 장치에 관한 것이다.
최근 전 세계적으로 고도의 경제 성장으로 빠른 물자 운송이 중요한 화두이며 활발하게 교량 건설이 이루어지고 있다.
지속적인 교량 건설의 수요를 충족시키기 위해 교량을 건설하기 위한 공법들이 개발돼 왔다. 일반적으로 교량, 도로 및 고속도로 등을 시공하는 대에 있어서 현장에서 콘크리트를 타설하는 현장타설 공법을 사용해 왔다. 시공 현장에서 콘크리트를 거푸집에 타설하여 원하는 형상을 만들어서 구조물을 시공하는 기법이다. 현장타설 공법은 개방된 환경에서 타설하므로 종종 원하는 품질의 콘크리트 부재를 얻지 못하여 추가적인 비용을 들여 재 타설하는 등의 단점을 가지고 있다. 또한, 교량의 경우 대도시 지역에서 시공을 하는 경우 우회 도로를 만들거나 진입로를 차단하므로 대도심의 교통량에 막대한 영향을 준다. 그러므로 시공을 빠르게 하는 것이 중요하나 현장타설 공법 시 발생하는 시간 지연이 발생하므로, 이와 같은 기존의 공법을 대체할 수 있는 새로운 공법들이 연구돼 왔다.
그 공법 중 하나가 프리캐스트 콘크리트 공법이다. 프리캐스트 콘크리트(PC, Precast Concrete)공법 이란 시공 현장에서 콘크리트 부재를 만드는 것이 아닌 일정 장소에서 정해진 공정에 따라 원하는 형상과 크기를 가지는 콘크리트 부재를 대량으로 생산하는 공법이다. PC공법은 사전에 대량으로 원하는 만큼을 만들어서 현장에 운반하여 현장에서 조립을 하므로 현장타설을 위해서 우회 도로를 만들거나 도로를 차단하는 등에서 발생하는 도로의 교통량 문제를 해소 하는데 도움이 된다. 또한, 정형화된 공정에서 생산을 하므로 현장타설 공법과 비교하면 품질 관리가 뛰어나며 원가 절감 및 공기(공사기간) 단축을 할 수 있다. PC공법의 교량의 경우 교량 일부분의 손상이나 파괴 및 노화가 발생을 할 때 손상 부위 부분에 해당하는 콘크리트 부재를 교체 할 수 있으므로 비용절감 효과가 크며 실용적이다. 많은 장점에도 불구하고 프리캐스트 콘크리트 공법에 단점이 있다. 프리캐스트 콘크리트 공법은 분할된 프리캐스트 콘크리트(프리캐스트 부재, 바닥판)를 현장에서 조립해야 하는데 프리캐스트 부재와 부재 사이의 정밀한 정합이 요구된다. 프리캐스트 부재는 대형 크레인이 인양되며 부재를 놓아야 하는 근처 지점까지 운반 후 크레인 기사와 작업 인부들과의 손짓이나 음성에 의존한 의사소통을 통해서 부재와 부재를 정합한다. 단지 인부와 크레인 기사의 손짓이나 음성에 의존하여 부재의 정합을 신속하며 정밀하게 하는 것은 한계가 있으며, 의사소통이 원활하지 않으면 공기 단축이라는 프리캐스트 콘크리트 공법의 장점을 발휘하지 못하는 경우가 종종 발생한다.
본 발명은 이미 정합되어 있는 고정 부재(또는 정적 부재)에 다음 부재(동적 부재)를 정합해야 할 때 크레인 기사가 인양하는 동적 부재의 실시간 6자유도 변위를 이미 정합되어 있는 고정 부재에 대비하여 정확하게 추정함으로써, 고정 부재에 동적 부재를 정밀하게 정합할 수 있는 방법을 제안한다.
본 발명의 실시예들은, 비전 기반 위치 추정 기법을 이용하여 고정 부재(또는 정적 부재)에 대한 동적 부재의 6-자유도 상대 변위를 추정할 수 있는 방법 및 그 장치를 제공한다.
구체적으로, 본 발명의 실시예들은, 동적 부재에 의한 마커의 가림 또는 부재 이동에 의한 카메라 이미지 상의 블러 발생 시에도 부재의 위치를 정밀하게 추정할 수 있는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 및 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계를 포함한다.
상기 6-자유도 상대 변위를 추정하는 단계는 상기 추출된 제1 마커의 특징점을 이용하여 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위를 추정하고, 상기 추출된 제2 마커의 특징점을 이용하여 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위를 추정하며, 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위 및 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정할 수 있다.
상기 6-자유도 상대 변위를 추정하는 단계는 호모그래피(homography) 추정 기법을 이용하여 상기 6-자유도 상대 변위를 추정할 수 있다.
상기 6-자유도 상대 변위를 추정하는 단계는 호모그래피(homography) 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하고, 상기 추정된 동적 부재의 6-자유도 상대 변위를 입력으로 하는 확률 기반 위치 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 최종 6-자유도 상대 변위를 추정할 수 있다.
상기 6-자유도 상대 변위를 추정하는 단계는 상기 호모그래피(homography) 추정 기법에 의해 추정된 6-자유도 상대 변위를 기준으로 파티클을 초기화하고, 상기 초기화된 파티클에 6-자유도의 변화량을 적용하여 샘플링을 수행하며, 상기 샘플링한 각 파티클의 가중치를 계산한 후 정규화 과정을 통해 각 파티클의 가중치를 재 설정하고, 상기 재 설정된 가중치 중 미리 설정된 개수의 상위의 가중치를 가지는 파티클의 평균에 기초하여 상기 최종 6-자유도 상대 변위를 추정할 수 있다.
상기 특징점을 추출하는 단계는 상기 획득된 이미지를 그레이 이미지로 변환한 후 양방향 필터를 이용하여 전처리하고, 상기 전처리된 그레이 이미지를 이진화 이미지로 변환하며, 블랍 알고리즘을 이용하여 상기 이진화 이미지로부터 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출할 수 있다.
나아가, 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 상기 추정된 6-자유도 상대 변위에 기초하여 상기 고정 부재를 기준으로 상기 동적 부재를 시각화하는 단계를 더 포함할 수 있다.
상기 제1 마커와 상기 제2 마커는 상이한 식별 정보를 가지고, 상기 특징점에 해당하는 복수의 코너 포인트들을 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 상기 획득된 이미지로부터 마커에 대한 적어도 일부 가려짐과 블러(blur) 여부를 판단하고, 상기 판단 결과에 기초하여 호모그래피(homography) 추정 기법과 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 단계; 및 상기 선택된 어느 하나의 기법, 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계를 포함한다.
상기 어느 하나의 기법을 선택하는 단계는 상기 마커에 대한 적어도 일부 가려짐이 발생하는 경우 상기 확률 기반 위치 추정 기법을 선택하고, 상기 적어도 일부 가려짐이 없거나 블러가 발생하는 경우 상기 확률 기반 위치 추정 기법의 가중치 연산에서 해당 마커의 특징점으로부터 유추된 직선 방정식의 픽셀 포인트와 상기 해당 마커의 각 변의 거리 차이에 대한 제1 평균과 상기 확률 기반 위치 추정 기법의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이에 대한 제2 평균을 비교하여 상기 제2 평균이 상기 제1 평균 이상이면 상기 호모그래피 추정 기법을 선택하며, 상기 제2 평균이 상기 제1 평균 미만이면 상기 확률 기반 위치 추정 기법을 선택할 수 있다.
본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 장치는 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 획득부; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 추출부; 및 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 추정부를 포함한다.
상기 추정부는 상기 추출된 제1 마커의 특징점을 이용하여 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위를 추정하고, 상기 추출된 제2 마커의 특징점을 이용하여 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위를 추정하며, 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위 및 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정할 수 있다.
상기 추정부는 상기 호모그래피(homography) 추정 기법에 의해 추정된 6-자유도 상대 변위를 기준으로 파티클을 초기화하고, 상기 초기화된 파티클에 6-자유도의 변화량을 적용하여 샘플링을 수행하며, 상기 샘플링한 각 파티클의 가중치를 계산한 후 정규화 과정을 통해 각 파티클의 가중치를 재 설정하고, 상기 재 설정된 가중치 중 미리 설정된 개수의 상위의 가중치를 가지는 파티클의 평균에 기초하여 상기 최종 6-자유도 상대 변위를 추정할 수 있다.
나아가, 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 장치는 상기 획득된 이미지로부터 마커에 대한 적어도 일부 가려짐과 블러(blur) 여부를 판단하고, 상기 판단 결과에 기초하여 호모그래피(homography) 추정 기법과 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 선택부를 더 포함하고, 상기 추정부는 상기 선택된 어느 하나의 기법, 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정할 수 있다.
상기 선택부는 상기 마커에 대한 적어도 일부 가려짐이 발생하는 경우 상기 확률 기반 위치 추정 기법을 선택하고, 상기 적어도 일부 가려짐이 없거나 블러가 발생하는 경우 상기 확률 기반 위치 추정 기법의 가중치 연산에서 해당 마커의 특징점으로부터 유추된 직선 방정식의 픽셀 포인트와 상기 해당 마커의 각 변의 거리 차이에 대한 제1 평균과 상기 확률 기반 위치 추정 기법의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이에 대한 제2 평균을 비교하여 상기 제2 평균이 상기 제1 평균 이상이면 상기 호모그래피 추정 기법을 선택하며, 상기 제2 평균이 상기 제1 평균 미만이면 상기 확률 기반 위치 추정 기법을 선택할 수 있다.
본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 시스템은 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 획득부; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 추출부; 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 추정부; 및 상기 추정된 6-자유도 상대 변위에 기초하여 상기 고정 부재를 기준으로 상기 동적 부재를 시각화하는 시각화부를 포함한다.
본 발명의 또 다른 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 및 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초한 호모그래피 추정 기법과 확률 기반 위치 추정 기법을 순차적으로 이용하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계를 포함한다.
본 발명의 또 다른 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계; 상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 상기 획득된 이미지로부터 마커에 대한 블러(blur) 여부를 판단하고, 상기 블러가 발생한 경우 확률 기반 위치 추정 기법의 가중치 연산 결과에 기초하여 호모그래피(homography) 추정 기법과 상기 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 단계; 및 상기 선택된 어느 하나의 기법, 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계를 포함한다.
본 발명의 실시예들에 따르면, 동적 부재에 의한 마커의 가림 또는 부재 이동에 의한 카메라 이미지 상의 블러 발생 시에도 고정 부재에 대한 동적 부재의 상대 위치를 정확하게 추정할 수 있다.
본 발명의 실시예들에 따르면, 비전 기반 위치 추정 기법을 이용하여 고정 부재에 대한 동적 부재의 6-자유도(DOF) 상대 변위를 추정하고, 이러한 정보를 부재를 인양하는 기사 예를 들어, 크레인 기사에게 시각화하여 제공함으로써, 동적 부재를 고정 부재에 정확하고 빠르게 정합시키고, 이를 통해 공기(공사기간)를 단축시킬 수 있다.
본 발명의 실시예들에 따르면, 마커의 가려짐 여부나 블러의 발생 여부에 따라 호모그래피 추정 기법과 확률 기반 위치 추정 기법 예를 들어, 몬테카를로 위치 추정(MCL) 기법 중 적어도 하나를 선택적으로 이용하는 융합 기법 또는 하이브리드 기법을 이용하여 동적 부재의 6-자유도 상대 변위를 추정함으로써, 부재의 6-자유도 상대 변위에 대한 추정 오차를 줄일 수 있다.
이러한 본 발명에 따른 기술은, 프리캐스트 콘크리트 부재 간의 정합 시스템, 대형 건설 구조물의 실시간 변위 및 위치 추정 시스템, 선박, 항공, 물류 등의 다양한 산업의 도킹 시스템 등에 적용할 수 있다.
또한, 본 발명에 따른 기술은, 건설 및 산업현장에서 위치추적, 정합, 도킹과 관련된 모든 시스템으로 적용이 가능하여 기존 공정의 시간을 단축 할 수 있으며 정확도 높은 생산물을 기대 할 수 있으며, 기존에 인력에 의지하던 프리캐스트 콘크리트 부재의 정합시공을 체계화 및 고정밀화 하여 급속시공을 가능하게 할 수 있다.
도 1은 본 발명에 따른 6-자유도 상대 변위 추정 시스템을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 본 발명에서의 마커 형태를 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 마커의 특징점을 추출하기 위한 이미지 처리 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 카메라의 내부 파라미터와 외부 파라미터를 설명하기 위한 일 예를 나타낸 것이다.
도 7은 핀홀 카메라 모델을 설명하기 위한 일 예시도를 나타낸 것이다.
도 8은 카메라와 마커의 관계를 설명하기 위한 일 예시도를 나타낸 것이다.
도 9는 다중 마커들로부터 동적 부재의 위치를 추정하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 10은 몬테카를로 위치 추정 기법에 대한 일 실시예 동작 흐름도를 나타낸 것이다.
도 11은 이미지 블러에 따른 비교를 설명하기 위한 일 예시도를 나타낸 것이다.
도 12는 파티클과 마커의 한 변의 픽셀 포인트의 관계를 설명하기 위한 일 예시도를 나타낸 것이다.
도 13은 블러에 따른 주변 픽셀의 변화를 설명하기 위한 일 예시도를 나타낸 것이다.
도 14는 호모그래피 연산 시 사용한 마커의 코너 포인트와 마커의 한 변의 픽셀 포인트의 관계를 설명하기 위한 일 예시도를 나타낸 것이다.
도 15는 동적 부재의 선형 운동과 회전 운동을 설명하기 위한 일 예시도를 나타낸 것이다.
도 16은 블러가 없는 경우의 선형 운동 결과 그래프에 대한 일 예시도를 나타낸 것이다.
도 17은 블러가 없는 경우의 선형 운동 시 RMSE 그래프에 대한 일 예시도를 나타낸 것이다.
도 18은 블러가 없는 경우의 회전 운동 결과 그래프에 대한 일 예시도를 나타낸 것이다.
도 19는 블러가 없는 경우의 회전 운동 시 RMSE 그래프에 대한 일 예시도를 나타낸 것이다.
도 20은 블러에 따른 호모그래피 추정 기법, 몬테카를로 위치 추정 기법 및 하이브리드 기법에 대한 그래프의 일 예시도를 나타낸 것이다.
도21은 마커의 가림에 따른 호모그래피 추정 기법, 몬테카를로 위치 추정 기법 및 하이브리드 기법에 대한 그래프의 일 예시도를 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, 실 현장에서 동적 부재 예를 들어, 크레인 기사가 이송하는 부재(이하, "동적 부재"라 칭함)에 의한 마커의 가림 또는 부재 이동에 의한 카메라 이미지 상의 블러 발생 시에도 정밀하게 동적 부재의 위치를 추정하는 것을 그 요지로 한다.
여기서, 본 발명은 마커 코너 포인트(또는 특징점)를 얼마나 정확하게 추정하였는가에 따라 호모그래피 추정 기법과 확률 기반 위치 추정 기법 예를 들어, 몬테카를로 위치 추정(MCL) 기법 중 어떤 기법을 결정하여 동적 부재의 상대 변위를 정밀하게 추정할 수 있다. 예컨대, 본 발명은 이미지에 투영된 특징점의 재투영 오차 기반으로 호모그래피 추정 방법과 확률 기반 위치 추정 방법 중 어느 하나의 방법을 선택하고, 선택된 방법을 이용하여 최적의 6-자유도 상대 변위를 추정할 수 있는데, 마커 이미지에 블러(blur)가 생기지 않는 환경에서는 좀 더 정확도/정밀도가 높은 호모그래피(homography) 추정 방법을 사용하고 마커가 가리거나 마커이미지에 블러(blur)가 발생했을 때는 몬테카를로 위치추정(MCL)과 같은 확률 기반의 위치 추정 방법을 사용하여 오차를 줄일 수 있다.
또한, 본 발명은 비전 기반 위치 추정 기법을 이용하여 고정 부재에 대한 동적 부재의 6-자유도(DOF) 상대 변위를 추정하고, 이러한 정보를 부재를 인양하는 기사 예를 들어, 크레인 기사에게 시각화하여 제공함으로써, 동적 부재를 고정 부재에 정확하고 빠르게 정합시키고, 이를 통해 공기(공사기간)를 단축시킬 수 있다.
본 발명은 교량 시공 현장 등에서 프리캐스트 부재와 같은 부재 정합 시 크레인 기사가 정밀하며 신속히 프리캐스트 부재의 정합을 돕는 가이드 방법, 장치 및 시스템을 제공하는 것으로, 시스템은 프리캐스트 부재의 6-자유도 상대 변위를 추정 또는 측정하기 위해서 다중 마커와 카메라를 기반으로 하는 시스템일 수 있다. 예컨대, 본 발명은 이미 정합된 프리캐스트 부재(이하, "고정 부재" 또는 "정적 부재"라 칭함)에 마커를 부착하고 크레인에 의해 인양되는 프리캐스트 부재 즉, 동적 부재에는 카메라와 다른 아이디를 가지는 마커를 설치하여 카메라로 두 마커의 이미지를 획득한 후 이미지 처리(또는 영상 처리)를 통해 각 마커의 코너 포인트(corner points)(또는 특징점) 픽셀 좌표를 계산한다. 그리고, 이미지 평면상의 마커의 코너 포인트 좌표와 마커가 설치된 위치와의 기하학적인 관계를 통해서 동적 부재의 6-자유도 상대 변위를 추정할 수 있다. 이러한 방법을 호모그래피(homography) 추정 기법이라 하는데, 마커의 이미지에 블러가 생기는 경우에는 마커의 코너 포인트의 좌표를 이용하여 6-자유도를 계측하는 호모그래피(homography) 추정 기법을 사용하면 많은 오차가 발생할 수 있다. 또한 마커의 적어도 일부분이 가려지는 경우에도 호모그래피 추정 기법으로 위치를 추정하기 어렵다. 이와 같은 경우에, 본 발명은 확률 기반 위치 추정 기법 예를 들어, 몬테카를로 위치 추정(MCL) 기법을 사용하여 동적 부재의 6-자유도 상대 변위 정밀하게 추정 또는 계측할 수 있다.
더 나아가, 본 발명은 호모그래피 추정 기법과 몬테카를로 위치 추정(MCL) 기법을 융합하여 더 정밀한 위치추정을 할 수도 있으며, 상술한 방식으로 추정된 6-자유도 정보(또는 6-자유도 상대 변위 정보)는 TCP/IP 통신을 통해서 동적 부재의 실시간 위치를 사용자 단말기 예를 들어, 태블릿 PC에 시각화할 수도 있다. 사용자 즉, 크레인 기사는 시각화한 3차원 화면을 보면서 인양하고 있는 프리캐스트 부재 즉, 동적 부재의 위치를 알 수 있으며, 따라서, 고정 부재에 동적 부재를 정합하는 시간을 줄일 수 있어 전체 공사 기간을 단축시킬 수 있는 효과를 얻을 수 있다.
이러한 본 발명에 대해 도 1 내지 도 21을 참조하여 상세히 설명하면 다음과 같다.
교량 건설 현장에서는 부분 조립 기반으로 하는 프리캐스트 부재의 많은 장점으로 인하여 프리캐스트 부재 기반 교량의 건설이 이루어지고 있다. 프리캐스트 부재의 이동 시 크레인을 사용하는데, 일반적으로 프리캐스트 부재의 길이가 10m 이상일 때부터 인양 프레임에 부재를 걸어서 이동시킨다.
도 1은 본 발명에 따른 6-자유도 상대 변위 추정 시스템을 설명하기 위한 일 예시도를 나타낸 것으로, 도 1에 도시된 바와 같이 이미 거더에 놓인 프리캐스트 부재(고정 부재 또는 정적 부재)에는 마커가 설치되고 크레인 기사에 의해서 움직여지는 부재(동적 부재)에는 카메라 지그가 설치된다. 프리캐스트 부재에 설치되는 마커는 아이디 즉, 식별 정보가 상이하지만 동일한 형태를 가지는 복수의 마커들이 설치될 수 있다. 예를 들어, 본 발명에서는 상이한 아이디를 가지는 4개의 마커가 설치될 수 있다.
동적 부재에 설치된 카메라 지그는 카메라, SBC(single board computer), 블루투스와 마커로 구성될 수 있다. 카메라 지그는 작업자가 신속히 동적 부재에 설치할 수 있도록 일체형으로 구성될 수도 있다.
도 1에 도시된 바와 같이, 본 발명의 시스템은 적어도 하나 이상의 서브 시스템들, 메인 시스템과 사용자 단말기를 포함할 수 있으며, 본 발명의 장치는 서브 시스템에 대응될 수 있다.
따라서, 본 발명에 따른 방법은 서브 시스템에서 동적 부재의 6-자유도 상대 변위를 추정하는 과정 뿐만 아니라 전체 시스템에서 사용자(크레인 기사)에게 시각화 정보를 제공하는 것까지 포함할 수 있다.
여기서, 서브 시스템은 카메라 지그라고 지칭할 수 있으며, 일조량에 따른 마커의 인식성능에 영향을 최소화하기 위해서 투명한 재질로 지그를 제작할 수 있는데, 서브 시스템은 카메라, SBC, 블루투스, 마커로 구성될 수 있다. 그리고, 메인 시스템은 서브 시스템에서 6-자유도 변위 데이터를 수신할 수 있는 블루투스와 태블릿 PC와 TCP/IP 통신을 위한 무선 액세스 포인트(AP)를 포함할 수 있다. 각 시스템의 구성은 현장에서 신속하고 정확하게 설치를 하기 위해서 모듈의 형태로 이루어질 수 있다.
도 2는 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법에 대한 동작 흐름도를 나타낸 것이고, 도 3은 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2와 도 3을 참조하면, 본 발명의 일 실시예에 따른 6-자유도 상대 변위 추정 방법은 카메라 지그에 구비된 카메라를 이용하여 고정 부재에 부착 또는 설치된 제1 마커와 고정 부재에 정합시키기 위한 동적 부재에 부착된 제1 마커의 이미지를 획득한다(S210). 즉, 카메라를 이용하여 캡쳐 이미지를 획득하는데, 서브 시스템1의 카메라에 의해 서로 다른 아이디를 가지는 동일한 형태를 가지는 두 마커에 대한 이미지를 획득하고, 서브 시스템2의 카메라에 의해 서로 다른 아이디를 가지는 동일한 형태를 가지는 두 마커에 대한 이미지를 획득할 수 있다.
단계 S210에 의해 마커 이미지가 획득되면, 획득된 마커 이미지에 대한 이미지 처리를 통해 두 마커 즉, 제1 마커의 특징점(또는 코너 포인트)과 제2 마커의 특징점을 추출한다(S220).
여기서, 단계 S220은 카메라 지그의 카메라에 의해 획득된 마커 이미지를 SBC를 통해서 이미지 처리를 하고, 이미지 처리를 통해서 고정 부재에 부착된 마커(제1 마커)와 동적 부재에 부착된 마커(제2 마커)를 인식함으로써, 인식된 영역 내에서 마커의 코너 포인트를 추출할 수 있다.
본 발명에서 사용되는 마커는 도 4에 도시된 바와 같이, ID(또는 식별 정보)와 마커의 형태를 포함할 수 있다. 본 발명에서의 마커는 마커와 카메라의 상대적인 6-자유도 변위 계측(또는 추정)의 성능을 높이기 위해서 총 12개의 마커 코너 포인트를 가질 수 있다. 물론, 마커의 코너 포인트 개수는 변위 계측의 성능과 계산 복잡도 등을 고려하여 결정될 수 있다. 일반적으로 마커의 코너 포인트를 4개를 사용하는 April tag에 비해서 높은 6자유도 계측성능을 보이기 위해, 본 발명에서의 마커는 12개의 코너 포인트(Q1 내지 Q12)를 사용할 수 있다. 그리고 마커에 구비된 원 즉, 마커 안의 원은 ID 를 구별하기 위한 식별 정보이며, 원의 위치와 그 개수에 따라서 마커의 ID가 달라질 수 있다. 따라서, 원의 개수 및 위치에 따라서 여러 ID 를 가지는 마커를 제작할 수 있다. 도 4에서는 4개의 마커에 대해서만 도시하였으며, 도시된 마커들 중 ID 1, ID 3은 이미 정합이 이루어진 프리캐스트 부재(고정 부재)에 위치를 시킬 수 있고 ID 2, ID 4는 카메라 지그에 위치하여 크레인 기사가 움직이는 프리캐스트 부재(동적 부재) 위에 위치시킬 수 있다.
여기서, 각 마커의 크기는 27cm 이며, 내부의 사각형 크기는 7cm 일 수 있다. 물론, 각 마커의 크기와 그 형태는 필요에 따라 달라질 수 있다.
구체적으로, 단계 S220은 획득된 마커 이미지에 대한 이미지 처리를 통해 마커 코너를 추출하고 서브 픽셀 코너를 추출할 수 있는데, 이에 대해 도 5를 참조하여 설명하면 다음과 같다.
도5에 도시된 바와 같이, 단계 S220은 카메라를 통해서 마커의 형상이 담겨있는 캡쳐 이미지가 획득되는데, 캡쳐 이미지의 해상도는 1920x1080 이며 RGB 이미지일 수 있다. 획득된 캡쳐 이미지 즉, RGB 이미지는 그레이 레벨의 그레이 이미지로 변환되고, 그레이 이미지로 변환 후 전처리 필터로 양방향 필터(bilateral filter)를 사용하여 그레이 이미지를 전처리 한다.
가우시안 필터(Gaussian filter)는 이미지 상의 픽셀과의 가우시안 분포를 가지는 마스크와의 컨벌루션을 통해서 잡음을 제거하는 필터로, 잡음을 감소하는 효과는 있으나 마커와 같은 엣지 부분의 정보도 역시 스무딩하는 효과가 있기 때문에 마커의 정밀한 코너 정보를 획득하기 위해서는 부적합한 필터이다.
이에 반해 양방향 필터는 주변의 밝기와 유사한 픽셀에는 가중치를 크게 두어 가우시안 필터의 적용치를 높이고 반대의 경우에는 엣지를 보존한다. 따라서, 양방향 필터는 마커와 같은 코너 포인트의 선명도를 증가시키면서 잡음을 감소시키는 효과적인 필터이다. 양방향 필터를 거친 이미지는 검은색과 흰색으로 이루어진 이진화 이미지로 변환되고, 이후 마커의 영역을 찾아내기 위해서 블랍 알고리즘(blob algorithm)을 적용하다.
여기서, 블랍 알고리즘은 블랍(blob) 또는 블랍 레이블링(blob labeling)이라고 부르는 알고리즘으로, 블랍 알고리즘은 자신의 픽셀과 동일한 픽셀값을 가지는 부분에 동일한 번호(label)을 붙여서 영역을 검출하는 알고리즘이다.
블랍 알고리즘을 통해 같은 번호를 가지는 영역을 검출하여 마커의 후보군을 찾아내며, 마커의 후보군들의 영역의 넓이를 구하고 마커의 넓이가 일정범위 이내에 들어오는 것들을 마커라는 제한을 통해서 후보군을 줄일 수 있다. 이러한 과정을 통해 최종적인 마커를 검출하고 마커의 코너 포인트에 대한 좌표를 검출한다.
여기서, 코너 포인트는 정수형으로 픽셀 단위일 수 있다. 예를 들어, 하나의 픽셀의 위치가 q1 ,XP = 1202, q1 , YP = 171이다.
나아가, 더욱 정밀한 마커의 코너 포인트의 좌표를 추출하기 위해서, 서브픽셀 정확도로 코너 포인트의 좌표를 추정할 수 있으며, 소수점 단위의 코너 포인트의 좌표로 정수형의 q1 ,XP = 1202.612, q1 , YP = 170:698이 될 수 있다.
상술한 과정을 통해 마커 이미지에 포함된 제1 마커의 특징점(또는 코너 포인트)와 제2 마커의 특징점이 추출되면, 추출된 제1 마커의 특징점, 제2 마커의 특징점을 이용하여 호모그래피 추정 기법에 기초하여 고정 부재에 대한 동적 부재의 6-자유도 상대 변위를 추정한다(S230).
단계 S230에서 호모그래피 추정 기법을 이용한 동적 부재의 6-자유도 상대 변위가 추정되면 추정된 동적 부재의 6-자유도 상대 변위를 입력으로 하는 확률 기반 위치 추정 기법 예를 들어, MCL 기법을 이용하여 고정 부재에 대한 동적 부재의 최종 6-자유도 상대 변위를 추정한다(S240).
즉, 단계 S240의 추정된 최종적인 6-자유도 변위는 고정 부재와 동적 부재 간의 변위이기 때문에 부재 위에 올려져 있는 마커와 마커 사이의 6- 자유도 변위를 계측한다. 두 마커를 기준으로 카메라의 6-자유도 변위를 구할 수 있으므로 마커와 마커 사이의 6-자유도 변위를 구할 수 있고 이를 바탕으로 부재의 6-자유도 변위를 계측한다.
서브 시스템1과 서브 시스템2 각각에서 동적 부재의 최종 6-자유도 상대 변위가 추정되면, 추정된 최종 6-자유도 상대 변위 데이터에 기초하여 고정 부재를 기준으로 동적 부재를 시각화하고, 이렇게 시각화된 데이터를 크레인 기사의 사용자 단말기 예를 들어, 태블릿 PC로 전송함으로써, 태블릿 PC에 시각화된 정보를 디스플레이한다(S250).
크레인 기사와 프리캐스트 부재의 거리는 대략 20m 이상 떨어져 있어서 6-자유도 변위 정보를 무선전송하기 위해서 블루투스를 사용한다. 각 서브시스템에서 계측한 6-자유도 정보를 크레인 기사가 위치한 메인 시스템에 송신하면, 메인 시스템에서는 서브 시스템1과 서브 시스템2 의 계측된 6-자유도 변위 정보를 받아서 시각화를 위한 데이터 처리 후 TCP/IP 기반으로 크레인 기사가 부재의 시각화된 화면을 보는 태블릿 PC로 전송함으로써, 태블릿 PC 에서 계측된 두 6-자유도 변위를 프리캐스트 부재의 중심으로 표현하여 크레인 기사가 움직이는 동적 부재를 시각화할 수 있다.
비록, 도 2에서 동적 부재의 6-자유도 변위를 추정하는 과정을 호모그래피 추정 기법과 확률 기반 위치 추정 기법을 순차적으로 이용하는 것으로 설명하였지만, 마커의 가려짐, 이미지의 블러 등의 상황을 고려하여 호모그래피 추정 기법만을 이용하여 6-자유도 변위를 추정할 수도 있고, 몬테카를로 위치 추정 기법과 같은 확률 기반 위치 추정 기법만을 이용하여 6-자유도 변위를 추정할 수도 있다. 이에 대한 것은 아래에서 상세히 설명한다.
호모그래피 추정 기법
호모그래피(homography)는 특정 물체가 위치한 월드 좌표계와 카메라를 통해서 획득한 물체의 이미지가 투영되는 픽셀 좌표계 사이의 관계를 표현하는 것이다.
도 6에서는 월드 좌표계와 카메라를 통한 이미지상의 픽셀 좌표계까지의 관계를 나타낸 것으로, 월드 좌표계와 카메라가 위치한 좌표계 사이의 관계는 외부 파라미터(extrinsic parameter)로 표현한다. 여기서, 외부 파라미터(extrinsic parameter)는 월드 좌표를 기준으로 얼마나 이동을 하고 회전을 하였는지에 관한 것을 표현한 것으로, 외부 파라미터(extrinsic parameter)로부터 카메라의 위치와 회전 정보를 얻을 수 있다.
카메라로 물체의 이미지가 획득되면 획득된 이미지는 2차원인 이미지 평면 좌표계에 투영된다. 그리고 이미지 평면 좌표계에서 픽셀 좌표계로 좌표 변환하여 픽셀 단위의 물체 위치를 얻는다. 카메라 좌표계와 픽셀 좌표계의 관계는 내부 파라미터(intrinsic parameter)로 표현될 수 있으며, 내부 파라미터(intrinsic parameter)는 카메라와 렌즈의 고유 특성과 관련된다. 이러한 카메라와 물체 사이의 관계는 도 7에 도시된 핀홀 카메라(pinhole camera) 모델로 설명할 수 있다.
핀홀은 종이에 작은 구멍을 통해서 3차원 물체에 반사된 빛이 들어와 이미지 평면에 투사가 되어 표현한다는 것으로, 다양한 각도에서 3차원 물체에 반사된 빛 중 핀홀을 통과하여 이미지 평면에 투과한 빛만을 고려한다.
카메라 내부 파라미터(intrinsic parameter)를 계산하는 방법은 다음과 같다. A 물체에 반사된 빛은 이미지 평면 좌표계의 A'으로 맺히고 카메라 좌표계의 원점에 모인다. 아래 <수학식 1>은 A'의 위치를 카메라 좌표계에서 바라볼 때와 이미지 평면 좌표계에서 바라볼 때의 관계를 나타낸 것이다.
[수학식 1]
Figure 112018036918741-pat00001
여기서, XI와 YI는 이미지 평면 좌표계에서의 A' 의 위치를 의미하고, XC와 YC는 카메라 좌표계에서의 A'의 위치를 의미하며, f는 초점 거리로 카메라 좌표계의 원점에서 ZC 방향이 이미지 평면과 만나는 사이의 거리를 의미할 수 있다.
아래 <수학식 2>와 <수학식 3>은 이미지 평면 좌표계의 A'의 위치와 픽셀 좌표계에서의 A'의 위치를 나타낸 것이다.
[수학식 2]
Figure 112018036918741-pat00002
[수학식 3]
Figure 112018036918741-pat00003
여기서, XP와 YP는 픽셀 좌표계에서의 A'의 위치를 의미하고, cx와 cy는 주점(principle point)으로 카메라 좌표계에서 ZC 방향이 이미지 평면과 만나는 점을 의미하며, hx 와 hy는 각 방향의 픽셀의 크기를 의미할 수 있다.
상기 수학식 2와 수학식 3에 상기 수학식 1을 대입하여 행렬형태로 변환하면 아래 <수학식 4>와 같이 나타낼 수 있다. 여기서, 제조 공정상에서 사각형으로 되어있어야 할 픽셀이 기울어져 있다면 기울어진 만큼을 고려해야 하며, sskew는 픽셀의 기울기를 나타내는 것으로 최종적인 형태는 다음과 같다.
[수학식 4]
Figure 112018036918741-pat00004
카메라 좌표계(PC)와 픽셀 좌표계(PP) 사이의 관계는 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure 112018036918741-pat00005
여기서, Min이 내부 파라미터(intrinsic parameter)를 의미할 수 있다.
외부 파라미터(extrinsic parameter)는 월드 좌표계와 카메라 좌표계 사이의 관계를 나타내며 아래 <수학식 6>과 같이 나타낼 수 있다.
[수학식 6]
Figure 112018036918741-pat00006
A의 위치의 위치를 월드 좌표계에서는 XW, YW, ZW로 카메라 좌표계에서는 XC, YC, ZC로 표현할 수 있으며, r과 T는 월드 좌표계에 대한 카메라 좌표계의 회전과 선형이동을 의미한다.
상기 수학식 6을 간략화하면 아래 <수학식 7>과 같이 나타낼 수 있으며, 각 변수가 의미하는 것은 아래 <수학식 8>과 같이 나타낼 수 있다.
[수학식 7]
Figure 112018036918741-pat00007
[수학식 8]
Figure 112018036918741-pat00008
아래 <수학식 9>는 상기 수학식 6의 변형된 형태로, Rk Tr (k=1,2,3)은 r의 원소 중 각 열을 의미할 수 있다.
[수학식 9]
Figure 112018036918741-pat00009
상기 수학식 9는 비동차행렬(non-homogeneous matrix)이므로 동차행렬(homogeneous matrix)로의 변환이 필요하며, 비동차행렬을 동차행렬로 변환한 형태는 아래 <수학식 10>과 같이 나타낼 수 있다. 따라서, 월드 좌표계(PW)와 카메라 좌표계 사이의 관계는 아래 <수학식 11>과 같이 나타낼 수 있다.
[수학식 10]
Figure 112018036918741-pat00010
[수학식 11]
Figure 112018036918741-pat00011
여기서, Mex 는 외부 파라미터(extrinsic parameter)로, 카메라 좌표계는 외부 파라미터(extrinsic parameter)와 월드 좌표계의 곱으로 표현할 수 있다.
월드 좌표계로부터 픽셀 좌표계까지를 행렬형태로 표현하면 아래 <수학식 12>와 같이 나타낼 수 있다.
[수학식 12]
Figure 112018036918741-pat00012
즉, 상기 수학식 12는 카메라 좌표계와 픽셀 좌표계를 표현하는 내부 파라미터(intrinsic parameter)와 월드 좌표계와 카메라 좌표계 사이의 관계를 표현하는 외부 파라미터(extrinsic parameter)의 곱으로 표현될 수 있으며, 아래 <수학식 13>과 같이 나타낼 수 있다.
[수학식 13]
Figure 112018036918741-pat00013
도 8은 카메라와 마커의 관계를 설명하기 위한 일 예시도를 나타낸 것으로, 호모그래피(homography) 기반에서 사용한 마커와 카메라의 관계를 나타낸 것이다.
도 8에 도시된 바와 같이, 마커의 코너 포인트가 카메라의 픽셀 좌표계에 투영되며, 카메라와 픽셀 좌표계 사이의 관계는 내부 파라미터(intrinsic parameter)로 표현되고, 카메라와 월드 좌표계 사이는 선형운동과 회전운동을 나타내는 외부 파라미터(extrinsic parameter)로 표현된다. 하나의 카메라와 마커 사이의 6-자유도 추정을 확장하여 도 9에 도시된 바와 같이 마커와 마커 사이의 6-자유도를 추정할 수 있다. 즉, 아래 <수학식 14>에 나타낸 바와 같이, 하나의 마커를 기준으로 카메라의 위치를 추정한 후 다른 하나의 마커를 기준으로 카메라의 위치를 추정하고 역행렬을 취하여 곱하면 마커와 마커 사이의 6-자유도를 추정할 수 있다.
[수학식 14]
Figure 112018036918741-pat00014
다시 말하면, 고정 부재에 부착된 제1 마커에 대해 추출된 코너 포인트(또는 특징점)을 이용하여 카메라와 제1 마커 간의 6-자유도 상대 변위를 추정하고, 동적 부재에 부착된 제2 마커의 코너 포인트를 이용하여 카메라와 제2 마커 간의 6-자유도 상대 변위를 추정한 후 카메라와 제1 마커 간의 6-자유도 상대 변위 및 카메라와 제2 마커 간의 6-자유도 상대 변위에 기초하여 고정 부재에 대한 동적 부재의 6-자유도 상대 변위를 추정할 수 있다.
몬테카를로 위치 추정 기법
1) 베이지언 필터
몬테카를로 위치 추정(MCL) 기법은 로봇이 임의의 환경에 놓여 있을 때 로봇의 위치를 확률 기반으로 추정하는 방법으로, 로봇의 확률적인 위치를 사후 확률(posterior probability)이라 하며 아래 <수학식 15>와 같이 나타낼 수 있다.
[수학식 15]
Figure 112018036918741-pat00015
여기서, t는 시간, xt는 로봇의 위치를 의미하고, z1 ...t는 t 시간까지의 초음파를 의미하는데 레이저 센서 등을 사용하여 로봇 주위의 외부 환경으로부터 획득한 데이터를 의미하며, u1 ...t는 t 시간까지의 로봇의 이동한 데이터를 의미하는데 보통 엔코더를 사용하여 데이터를 획득할 수 있다.
베이지언 필터의 전체적인 과정은 두 가지로 나뉜다. 예측(prediction) 과정과 갱신(update) 과정으로, 예측 과정에서는 로봇의 엔코더로부터 획득한 이동정보를 가지고 로봇의 이동 모델(motion model)로부터 로봇이 얼마만큼 이동을 했는지를 예측하는 과정이다. 이러한 예측하는 과정은 아래 <수학식 16> 및 <수학식 17>과 같이 나타낼 수 있다.
[수학식 16]
Figure 112018036918741-pat00016
[수학식 17]
Figure 112018036918741-pat00017
이후 로봇에 부착된 초음파나 레이저 센서 데이터로부터 외부 환경 환경에 대한 로봇의 위치를 업데이트 한다. 아래 <수학식 18>에서 나타낸 갱신 과정에서는 예측 과정의 bel-(xt) 정보를 센서를 이용한 계측한 데이터로 로봇의 위치를 더욱 정확하게 하는 것이다.
[수학식 18]
Figure 112018036918741-pat00018
여기서,
Figure 112018036918741-pat00019
는 정규화(normalization)를 위한 것으로 로봇의 위치 추정 확률값의 합이 1이 될 수 있도록 하는 상수값을 의미할 수 있다.
2) 파티클 필터
몬테카를로 위치 추정(MCL) 기법에서 로봇의 위치를 파티클로 표현하여 확률 기반으로 위치를 추정한다. 몬테카를로 위치추정(MCL)의 단계는 크게 샘플링(sampling), 가중치 연산(importance weight), 재 샘플링(resampling) 과정으로 나뉜다.
샘플링(sampling) 과정은 로봇의 모션 모델을 기반으로 파티클의 집합을 생성하는 것이다. 가중치 연산(importance weight)은 로봇의 센서로부터 계측한 데이터와의 비교를 통해 각 파티클이 어느 정도 정확한 로봇의 위치를 나타내는지를 판단하여 더 정확한 로봇의 위치를 나타내는 파티클에 높은 가중치(importance weight)를 주는 것을 말한다. 재 샘플링(resampling)은 이전에 생성된 파티클의 집합에서 가중치(importance weight)가 적은 파티클들은 버리고 가중치(importance weight)가 높은 파티클을 기준으로 새로운 파티클들을 생성하여 파티클의 집합이 로봇의 위치를 더 정확히 추정할 수 있도록 하는 과정이다.
본 발명에서의 몬테카를로 위치 추정(MCL)은 마커의 블러와 같은 현상이 있을 때 확률적으로 6-자유도 변위를 추정하고자 하는 것이며 몬테카를로 위치 추정(MCL)의 구현 과정은 도 10과 같다.
도10을 참조하여, 몬테카를로 위치 추정(MCL) 구현 과정에 대해 설명하면, 파티클에는 6-자유도를 가지고 있고, 마커 인식 후에 획득한 호모그래피(homography)에서 계산한 6-자유도를 기준으로 파티클을 초기화한다. 파티클에 6-자유도의 변화량을 적용하여 파티클 샘플링(sampling)하며, 샘플링(sampling)한 각 파티클의 가중치(importance weight)를 계산하고 가중치(importance weight)의 합이 1이 되도록 정규화함으로써, 파티클의 가중치(importance weight)를 정한다.
여기서, Neff가
Figure 112018036918741-pat00020
eff 값보다 작으면 가중치(importance weight)가 높은 파티클을 기준으로 새롭게 파티클을 생성할 수 있으며, 상위의 가중치(importance weight)를 가지고 있는 파티클의 평균을 기반으로 최종 6-자유도를 계산(또는 추정)한다.
몬테카를로 위치추정(MCL) 알고리즘의 과정은 아래 알고리즘 1과 같다.
Figure 112018036918741-pat00021
몬테카를로 위치추정(MCL)의 알고리즘은 마커가 인식이 되고 호모그래피(homography)로 계산한 6-자유도 초기값으로 들어오면서 시작하며, 초기의 호모그래피(homography)로 구한 6-자유도값에 랜덤 형태의 정규화 분포를 가지는 값을 임의로 생성하여 초기의 파티클을 생성한다.
이 때, 일반식은 아래 <수학식 19>와 같이 나타낼 수 있다.
[수학식 19]
Figure 112018036918741-pat00022
여기서, t 는 시간을 의미하고, h(t)는 호모그래피 연산을 통해 구한 6-자유도 집합을 의미하며, x n (t)는 파티클을 의미하고, 파티클은 확률로 추정한 6-자유도를 가지고 있는 집합을 의미할 수 있다.
샘플링(sampling)은 모션 모델(motion model)을 고려하여 파티클을 생성하는 것을 의미하며, 로봇의 경우 바퀴의 엔코더와 같은 센서로 측정하여 얼마만큼 이동을 했는지를 가지고 모션 모델을 구성한다. 본 발명에서는 이전 시간의 6-자유도와의 차이를 모션 모델로 구성할 수 있다.
각 파티클이 가지고 있는 6-자유도가 얼마나 정확한 것 인지를 판단하는 과정이 필요하며 그것은 가중치(importance weight)를 계산함으로써 알 수 있다.
도 11은 이미지 블러에 따른 비교를 설명하기 위한 일 예시도를 나타낸 것으로, 이미지에 블러가 발생하지 않을 때(a)와 발생했을 때(b)의 이미지를 비교한 것이다. 도 11a에 도시된 바와 같이, 블러가 발생하지 않을 때는 이진화 이미지의 마커의 코너 포인트 지점이 거의 직각을 이루고 있지만, 이미지에 가우시안 노이즈를 적용한 이미지의 코너 포인트 지점은 둥근 형태로 정확한 코너 포인트를 찾기가 어렵고 도 11b에 도시된 바와 같이, 블러가 생긴 이미지에서 추출한 마커의 코너 포인트로부터 호모그래피(homography)로 구한 6-자유도는 오차가 심하다.
가중치 연산(importance weight)에서는 이러한 코너 포인트의 정보를 가중치 연산(importance weight)의 기준으로 두는 것이 아니라 마커의 각 변의 픽셀 포인트와 파티클이 가진 코너 포인트로부터 구한 각 변의 픽셀 포인트와의 거리 차이를 이용하여 가중치(importance weight)를 계산할 수 있다.
도 12는 이에 관한 내용을 마커의 한 변의 부분을 가지고 표현한 것으로, 파티클과 마커의 한 변의 픽셀 포인트의 관계를 설명하기 위한 일 예시도를 나타낸 것이다.
도 12에서, ps,n (t), ps+1,n (t)는 파티클의 6-자유도로부터 구한 마커의 코너 포인트이며, 이로부터 직선의 방정식을 구하고 직선 위에 l/NL 의 간격으로 포인트를 구한다.
여기서, l은 ps,n (t)와 ps+1,n (t)의 길이를 의미하고, NL은 마커의 한 변에 존재하는 최대 포인트의 개수를 의미하며, NC는 마커 부분의 포인트 전체 개수를 의미할 수 있다. l/NL 의 간격으로 포인트를 eMn[z] 로 표현하고 z=1, 2, ..., NC 이다. ps,n (t)와 ps+1,n (t)로 구한 직선과 수직인 직선을 구하고 수직인 직선이 마커 변과 만나는 지점의 포인트는 rMn[z]이다.
알고리즘 1의 dist[z]와 같이 rMn[z]와eMn[z] 의 차이로 distMn[z] 를 구하고, 총 NC개의 distMn[z]를 모두 더하여 평균 거리를 구하며, 이 평균 거리로 가우시안 정규분포를 가지는 가중치(importance weight)를 계산한다.
정규화 과정은 가중치 연산(importance weight) 과정에서 계산한 모든 가중치(importance weight)의 합이 1이 되도록 하는 것이다. 재 샘플링 과정(resampling)은 Neff가
Figure 112018036918741-pat00023
eff보다 작으면 가중치(importance weight)가 높은 파티클을 기준으로 새롭게 파티클을 생성한다. 가중치(importance weight)가 높은 파티클 NR개를 선정하고 해당 파티클에 랜덤형태의 정규화 분포를 하는 값을 임의로 생성하는 값을 가지도록 하여 N개의 파티클을 재 생성하고, 가중치(importance weight)를 초기화한다.
3) 융합(Hybrid)
마커가 일부분 보이지 않는 경우에 몬테카를로 위치추정(MCL)의 기법을 사용하여 위치를 추정할 수 있다. 마커의 일부분만 보일 때는 마커의 부분이 보이는 변과 파티클이 가지고 있는 6-자유도로부터 유도된, 마커의 코너 포인트로부터의 직선 방정식과의 관계를 통해서 distMn[z]를 구할 수 있는 경우 가중치 계산을 할 수 있기 때문에 최종 6-자유도를 계산할 수 있다. 따라서, 마커의 일부분이 가려서 마커가 보이지 않을 때는 몬테카를로 위치 추정(MCL) 기법을 사용하도록 융합한다.
도 13은 블러에 따른 주변 픽셀의 변화를 설명하기 위한 일 예시도를 나타낸 것으로, 도 13a에 도시된 바와 같이 블러가 생기지 않으면 검은색과 흰색의 주변 경계가 급격히 증가하여 마커의 코너 포인트를 정확히 추정하는 것이 가능하지만 도 13b에 도시된 바와 같이 블러가 있는 경우에는 마커의 꼭지점이 정확히 추정하는 것이 어려워 호모그래피(homography)의 연산을 위해서 코너 포인트를 구하여 6-자유도를 구하면 오차가 심하다.
이를 해결하기 위해, 본 발명은 몬테카를로 위치 추정(MCL) 기법으로 블러가 발생했을 때 확률 기반으로 6-자유도를 추정한다. 호모그래피(homography)로 연산한 것과 몬테카를로 위치 추정(MCL)로 연산한 것을 융합하여 사용하는 방법에 대해 설명하면 다음과 같다.
도 14는 호모그래피 연산 시 사용한 마커의 코너 포인트와 마커의 한 변의 픽셀 포인트의 관계를 설명하기 위한 일 예시도를 나타낸 것으로, 도 14에 도시된 바와 같이, 호모그래피(homography) 연산을 위해서 사용한 마커의 코너 포인트를 몬테카를로 위치 추정(MCL) 과정의 가중치 연산에서 마커의 코너 포인트(q s (t))로부터 유추한 직선 방정식에서의 픽셀 포인트(eH[z])와 마커의 각 변의 거리 차이(distH[z])로부터 평균(average distH)을 구하고 이 값을 몬테카를로 위치 추정(MCL)의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이의 평균(average distM1) 과 비교하여 거리의 차이가 작은 방법을 선택하여 최종 6-자유도(P F (t))를 추정한다.
융합 알고리즘(hybrid algorithm)의 과정은 아래 알고리즘 2와 같다.
Figure 112018036918741-pat00024
알고리즘 2에 기재된 바와 같이, 융합 알고리즘은 호모그래피(homography) 연산을 위해서 사용한 마커의 코너 포인트를 몬테카를로 위치 추정(MCL) 과정의 가중치 연산에서 마커의 코너 포인트(q s (t))로부터 유추한 직선 방정식에서의 픽셀 포인트(eH[z])와 마커의 각 변의 거리 차이(distH[z])로부터 평균(average distH)을 구하고, 마커(bDetected)의 가려짐이 없거나 블러가 발생하는 경우 구해진 평균(average distH)과 몬테카를로 위치 추정(MCL)의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이의 평균(average distM1)을 비교한다. 그리고, 평균(average distM1)이 평균(average distH) 이상이면 호모그래피 추정 기법을 선택하여 호모그래피 추정 기법에 의해 추정된 6-자유도(P H (t))를 최종 6-자유도(P F (t))로 결정하고, 평균(average distM1)이 평균(average distH) 미만이면 몬테카를로 위치 추정(MCL) 기법을 선택하여 몬테카를로 위치 추정(MCL) 기법에 의해 추정된 6-자유도(P M (t))를 최종 6-자유도(P F (t))로 결정한다.
또한, 마커에 대한 적어도 일부 가려짐이 발생하는 경우 몬테카를로 위치 추정(MCL) 기법을 선택하여 몬테카를로 위치 추정(MCL) 기법에 의해 추정된 6-자유도를 최종 6-자유도로 결정한다.
이와 같이, 본 발명의 실시예들에 따른 방법은 블러 여부, 마커의 가려짐 여부 등을 고려하여 고정 부재의 마커(제1 마커)와 동적 부재의 마커(제2 마커)에 대한 마커 이미지를 이미지 처리하여 두 마커의 특징점 예를 들어, 코너 포인트를 추출하고, 이렇게 추출된 특징점과 호모그래프 추정 기법 또는 확률 기반 위치 추정 기법을 이용하여 동적 부재에 대한 6-자유도를 추정함으로써, 동적 부재에 의한 마커의 가림 또는 부재 이동에 의한 카메라 이미지 상의 블러 발생 시에도 고정 부재에 대한 동적 부재의 상대 위치를 정확하게 추정할 수 있다.
즉, 상술한 바와 같이 본원 발명은 호모그래피 추정 기법과 확률 기반 위치 추정 기법을 순차적으로 이용하여 고정 부재에 대한 동적 부재의 최종 6-자유도 상대 변위를 추정함으로써, 부재의 6-자유도 상대 변위에 대한 추정 오차를 줄일 수 있다.
또한, 본 발명의 실시예들에 따른 방법은 마커의 가려짐 여부나 블러의 발생 여부에 따라 호모그래피 추정 기법과 확률 기반 위치 추정 기법 예를 들어, 몬테카를로 위치 추정(MCL) 기법 중 적어도 하나를 선택적으로 이용하는 융합 기법 또는 하이브리드 기법을 이용하여 동적 부재의 6-자유도 상대 변위를 추정함으로써, 부재의 6-자유도 상대 변위에 대한 추정 오차를 줄일 수 있다.
다시 말해, 본 발명의 실시예들에 따른 방법은 이미지 블러가 발생한 경우를 판단하여 이미지 블러가 발생한 경우 확률 기반 위치 추정 기법의 가중치 연산 결과에 기초하여 호모그래피(homography) 추정 기법과 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하여 동적 부재의 6-자유도 상대 변위를 추정할 수 있다.
도 15는 동적 부재의 선형 운동과 회전 운동을 설명하기 위한 일 예시도를 나타낸 것으로, 카메라 지그가 올려져 있는 부재를 motion-stage로 움직이는데 선형 운동(a) 시 X-axis 방향으로 절대 위치 -25mm, -15mm, -5mm, 0mm로 이동 시키고 회전 운동(b) 시 Z-axis 방향으로 -1도, -2도, -3도 회전시킨 것이다.
도 16은 블러가 없는 경우의 선형 운동 결과 그래프에 대한 일 예시도를 나타낸 것이고, 도 17은 블러가 없는 경우의 선형 운동 시 RMSE(root mean square error) 그래프에 대한 일 예시도를 나타낸 것으로, 도 15의 선형 운동에 대한 결과를 나타낸 것이며, 도 18은 블러가 없는 경우의 회전 운동 결과 그래프에 대한 일 예시도를 나타낸 것이고, 도 19는 블러가 없는 경우의 회전 운동 시 RMSE 그래프에 대한 일 예시도를 나타낸 것이다.
각 실험은 3회 실시하고, 부재의 최종 정합의 오차가 중요하기 때문에 선형 운동의 경우 0mm일때, 회전 운동의 경우 -3도에서의 오차를 기준으로 최대 RMSE를 정한 것이다. 아래 표 1과 표 2는 선형 운동 실험 횟수별 RMSE와 회전 운동 실험 횟수별 RMSE를 나타낸 것으로, 표1과 표2를 통해 알 수 있듯이, 선형 운동 시 최대 RMSE 는 1.075mm 이며, 회전 운동 시 최대 RMSE는 0.895mm이다. 목표 오차 3mm는 프리캐스트 부재의 정합 시 실제 현장에서 목표로 하는 선형 오차 이며 이에 대해서 만족하는 성능을 보이는 것을 알 수 있다.
Figure 112018036918741-pat00025
Figure 112018036918741-pat00026
또한, 이미지에 블러가 생겼을 경우 호모그래피(homography)와 몬테카를로 위치 추정(MCL) 기법의 융합을 통해서 오차를 줄일 수 있다. 부재의 정합이 거의 이루어 지고 있는 상황에서 블러가 발생했다고 가정하기 위해 X-axis 방향으로 -5mm 지점에서 이미지에 블러를 형성하고, 블러는 가우시안 블러이며 블러가 무작위로 발생(σ=0~5) 할 때 호모그래피(homography)와 몬테카를로 위치 추정(MCL) 기법을 융합시키고 호모그래피(homography), 몬테카를로 위치추정(MCL), 그리고 융합 기법(Hybrid)을 실측값(ground truth)과 비교한 도 20과 오차를 비교한 표 3을 통해 알 수 있듯이, 융합 기법(Hybrid)에 의한 오차가 호모그래피(homography)와 몬테카를로 위치 추정(MCL) 기법의 오차보다 감소 하는 것을 알 수 있으며, 다른 기법에 비해 융합 기법이 6-자유도를 정밀하게 추정할 수 있다는 것을 알 수 있다.
표 3에서의 H.G는 호모그래피를 의미하고, Hybrid는 호모그래피(homography)와 몬테카를로 위치추정(MCL) 기법을 융합한 융합 기법을 의미하며, Linear av.는 선형 오차의 평균을 의미하고, Angular av.는 회전 오차의 평균을 의미한다.
Figure 112018036918741-pat00027
도 21은 마커의 가림에 따른 호모그래피 추정 기법, 몬테카를로 위치 추정 기법 및 하이브리드 기법에 대한 그래프의 일 예시도를 나타낸 것으로, 부재의 정합이 거의 이루어 지고 있는 상황에서 마커의 가림이 발생했다고 가정하기 위해 X-axis 방향으로 -5mm 지점에서 실험하고, N=200, NR=20, NL=9인 경우에 대한 것이며, 표 4는 마커의 가림에 따른 오차를 비교한 것이다.
도 21과 표 4를 통해 알 수 있듯이, 두 마커 중 한쪽의 마커 일부분이 가려지면 두 마커를 관측하지 못하여 호모그래피(homography)의 6-자유도는 약 32초 지점에서 0으로 급격하게 수렴하는 되지만 몬테카를로 위치추정(MCL)은 파티클에 6-자유도를 가지고 있고, 마커의 일부분이 가릴 경우 마커의 부분적으로 보이는 변과의 관계를 통해서 가중치 연산을 할 수가 있기 때문에 몬테카를로 위치추정(MCL) 기법으로부터 6-자유도 변위를 계측할 수 있는 것을 알 수 있다.
또한, 선형 오차의 평균을 기준으로 비교하면 융합 알고리즘이 호모그래피(homography)나 몬테카를로 위치추정(MCL)에 비해 오차가 적어 융합 기법이 6-자유도를 정밀하게 추정할 수 있다는 것을 알 수 있다.
Figure 112018036918741-pat00028
이러한 본 발명에 따른 방법은 장치로 구현될 수도 있고, 시스템으로 구현될 수도 있다.
예컨대, 도 1과 도 3에 도시된 서브 시스템을 방법을 수행하는 장치로 구현할 수도 있고, 시각화하는 과정을 포함하는 경우 서브 시스템과 메인 시스템을 포함하는 시스템으로 구현할 수도 있다.
구체적으로, 서브 시스템은 적어도 하나의 프로세서에 의해 수행되는 기능적인 구성 수단들 예를 들어, 획득부, 추출부, 선택부 및 추정부를 포함할 수 있다.
획득부는 카메라를 이용하여 고정 부재에 부착된 제1 마커와 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 구성 수단이다.
추출부는 획득된 이미지에 대한 이미지 처리를 통해 제1 마커의 특징점과 제2 마커의 특징점을 추출하는 구성 수단이다.
여기서, 추출부는 획득된 이미지를 그레이 이미지로 변환한 후 양방향 필터를 이용하여 전처리하고, 전처리된 그레이 이미지를 이진화 이미지로 변환하며, 블랍 알고리즘을 이용하여 이진화 이미지로부터 제1 마커의 특징점과 제2 마커의 특징점을 추출할 수 있다.
선택부는 획득된 이미지로부터 마커에 대한 적어도 일부 가려짐과 블러(blur) 여부를 판단하고, 판단 결과에 기초하여 호모그래피(homography) 추정 기법과 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 구성 수단이다.
여기서, 선택부는 마커에 대한 적어도 일부 가려짐이 발생하는 경우 확률 기반 위치 추정 기법을 선택하고, 어도 일부 가려짐이 없거나 블러가 발생하는 경우 확률 기반 위치 추정 기법의 가중치 연산에서 해당 마커의 특징점으로부터 유추된 직선 방정식의 픽셀 포인트와 해당 마커의 각 변의 거리 차이에 대한 제1 평균과 확률 기반 위치 추정 기법의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이에 대한 제2 평균을 비교하여 제2 평균이 상기 제1 평균 이상이면 호모그래피 추정 기법을 선택하며, 제2 평균이 상기 제1 평균 미만이면 상기 확률 기반 위치 추정 기법을 선택할 수 있다.
추정부는 추출된 제1 마커의 특징점, 제2 마커의 특징점 그리고 선택부에 의해 선택된 추정 기법에 기초하여 고정 부재에 대한 동적 부재의 6-자유도 상대 변위를 추정하는 구성 수단이다.
물론, 추정부는 장치에서 선택부가 선택적으로 제거되는 경우 호모그래피(homography) 추정 기법을 이용하여 6-자유도 상대 변위를 추정할 수도 있고, 호모그래피(homography) 추정 기법을 이용하여 고정 부재에 대한 동적 부재의 6-자유도 상대 변위를 추정하고, 추정된 동적 부재의 6-자유도 상대 변위를 입력으로 하는 확률 기반 위치 추정 기법을 이용하여 고정 부재에 대한 동적 부재의 최종 6-자유도 상대 변위를 추정할 수도 있다.
추정부에서 호모그래피 추정 기법을 이용하여 6-자유도를 추정하는 과정, 몬테카를로 위치 추정 기법을 이용하여 6-자유도를 추정하는 과정을 상기 방법에서 상세히 설명하였기에, 여기에서는 그 설명을 생략한다.
나아가, 시스템으로 구성하는 경우 메인 시스템은 시각화부를 포함할 수 있으며, 시각화부는 추정부에 의해 추정된 6-자유도 상대 변위에 기초하여 고정 부재를 기준으로 동적 부재를 시각화하는 구성 수단으로, 시각화부에 의해 사용자 단말기 예를 들어, 태블릿 PC에 추정된 6-자유도에 대한 시각화 정보를 디스플레이할 수 있다.
비록, 장치와 시스템에서 그 설명이 생략되었더라도 장치와 시스템은 도 1 내지 도 21에서 설명한 내용을 모두 포함할 수 있으며, 자유도 추정과 관련된 모든 기능 또는 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (22)

  1. 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 및
    상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계
    를 포함하고,
    상기 6-자유도 상대 변위를 추정하는 단계는
    호모그래피(homography) 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하고, 상기 추정된 동적 부재의 6-자유도 상대 변위를 입력으로 하는 확률 기반 위치 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 최종 6-자유도 상대 변위를 추정하는 6-자유도 상대 변위 추정 방법.
  2. 제1항에 있어서,
    상기 6-자유도 상대 변위를 추정하는 단계는
    상기 추출된 제1 마커의 특징점을 이용하여 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위를 추정하고, 상기 추출된 제2 마커의 특징점을 이용하여 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위를 추정하며, 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위 및 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 것을 특징으로 하는 6-자유도 상대 변위 추정 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 6-자유도 상대 변위를 추정하는 단계는
    상기 호모그래피(homography) 추정 기법에 의해 추정된 6-자유도 상대 변위를 기준으로 파티클을 초기화하고, 상기 초기화된 파티클에 6-자유도의 변화량을 적용하여 샘플링을 수행하며, 상기 샘플링한 각 파티클의 가중치를 계산한 후 정규화 과정을 통해 각 파티클의 가중치를 재 설정하고, 상기 재 설정된 가중치 중 미리 설정된 개수의 상위의 가중치를 가지는 파티클의 평균에 기초하여 상기 최종 6-자유도 상대 변위를 추정하는 것을 특징으로 하는 6-자유도 상대 변위 추정 방법.
  6. 제1항에 있어서,
    상기 특징점을 추출하는 단계는
    상기 획득된 이미지를 그레이 이미지로 변환한 후 양방향 필터를 이용하여 전처리하고, 상기 전처리된 그레이 이미지를 이진화 이미지로 변환하며, 블랍 알고리즘을 이용하여 상기 이진화 이미지로부터 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 것을 특징으로 하는 6-자유도 상대 변위 추정 방법.
  7. 제1항에 있어서,
    상기 추정된 6-자유도 상대 변위에 기초하여 상기 고정 부재를 기준으로 상기 동적 부재를 시각화하는 단계
    를 더 포함하는 것을 특징으로 하는 6-자유도 상대 변위 추정 방법.
  8. 제1항에 있어서,
    상기 제1 마커와 상기 제2 마커는
    상이한 식별 정보를 가지고, 상기 특징점에 해당하는 복수의 코너 포인트들을 포함하는 것을 특징으로 하는 6-자유도 상대 변위 추정 방법.
  9. 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계;
    상기 획득된 이미지로부터 마커에 대한 적어도 일부 가려짐과 블러(blur) 여부를 판단하고, 상기 판단 결과에 기초하여 호모그래피(homography) 추정 기법과 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 단계; 및
    상기 선택된 어느 하나의 기법, 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계
    를 포함하는 6-자유도 상대 변위 추정 방법.
  10. 제9항에 있어서,
    상기 어느 하나의 기법을 선택하는 단계는
    상기 마커에 대한 적어도 일부 가려짐이 발생하는 경우 상기 확률 기반 위치 추정 기법을 선택하고, 상기 적어도 일부 가려짐이 없거나 블러가 발생하는 경우 상기 확률 기반 위치 추정 기법의 가중치 연산에서 해당 마커의 특징점으로부터 유추된 직선 방정식의 픽셀 포인트와 상기 해당 마커의 각 변의 거리 차이에 대한 제1 평균과 상기 확률 기반 위치 추정 기법의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이에 대한 제2 평균을 비교하여 상기 제2 평균이 상기 제1 평균 이상이면 상기 호모그래피 추정 기법을 선택하며, 상기 제2 평균이 상기 제1 평균 미만이면 상기 확률 기반 위치 추정 기법을 선택하는 것을 특징으로 하는 6-자유도 상대 변위 추정 방법.
  11. 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 획득부;
    상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 추출부; 및
    상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 추정부
    를 포함하고,
    상기 추정부는
    호모그래피(homography) 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하고, 상기 추정된 동적 부재의 6-자유도 상대 변위를 입력으로 하는 확률 기반 위치 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 최종 6-자유도 상대 변위를 추정하는 6-자유도 상대 변위 추정 장치.
  12. 제11항에 있어서,
    상기 추정부는
    상기 추출된 제1 마커의 특징점을 이용하여 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위를 추정하고, 상기 추출된 제2 마커의 특징점을 이용하여 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위를 추정하며, 상기 카메라와 상기 제1 마커 간의 6-자유도 상대 변위 및 상기 카메라와 상기 제2 마커 간의 6-자유도 상대 변위에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 것을 특징으로 하는 6-자유도 상대 변위 추정 장치.
  13. 삭제
  14. 삭제
  15. 제11항에 있어서,
    상기 추정부는
    상기 호모그래피(homography) 추정 기법에 의해 추정된 6-자유도 상대 변위를 기준으로 파티클을 초기화하고, 상기 초기화된 파티클에 6-자유도의 변화량을 적용하여 샘플링을 수행하며, 상기 샘플링한 각 파티클의 가중치를 계산한 후 정규화 과정을 통해 각 파티클의 가중치를 재 설정하고, 상기 재 설정된 가중치 중 미리 설정된 개수의 상위의 가중치를 가지는 파티클의 평균에 기초하여 상기 최종 6-자유도 상대 변위를 추정하는 것을 특징으로 하는 6-자유도 상대 변위 추정 장치.
  16. 제11항에 있어서,
    상기 추출부는
    상기 획득된 이미지를 그레이 이미지로 변환한 후 양방향 필터를 이용하여 전처리하고, 상기 전처리된 그레이 이미지를 이진화 이미지로 변환하며, 블랍 알고리즘을 이용하여 상기 이진화 이미지로부터 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 것을 특징으로 하는 6-자유도 상대 변위 추정 장치.
  17. 제11항에 있어서,
    상기 제1 마커와 상기 제2 마커는
    상이한 식별 정보를 가지고, 상기 특징점에 해당하는 복수의 코너 포인트들을 포함하는 것을 특징으로 하는 6-자유도 상대 변위 추정 장치.
  18. 제11항에 있어서,
    상기 획득된 이미지로부터 마커에 대한 적어도 일부 가려짐과 블러(blur) 여부를 판단하고, 상기 판단 결과에 기초하여 호모그래피(homography) 추정 기법과 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 선택부
    를 더 포함하고,
    상기 추정부는
    상기 선택된 어느 하나의 기법, 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 것을 특징으로 하는 6-자유도 상대 변위 추정 장치.
  19. 제18항에 있어서,
    상기 선택부는
    상기 마커에 대한 적어도 일부 가려짐이 발생하는 경우 상기 확률 기반 위치 추정 기법을 선택하고, 상기 적어도 일부 가려짐이 없거나 블러가 발생하는 경우 상기 확률 기반 위치 추정 기법의 가중치 연산에서 해당 마커의 특징점으로부터 유추된 직선 방정식의 픽셀 포인트와 상기 해당 마커의 각 변의 거리 차이에 대한 제1 평균과 상기 확률 기반 위치 추정 기법의 가중치가 가장 큰 파티클이 가지고 있는 거리 차이에 대한 제2 평균을 비교하여 상기 제2 평균이 상기 제1 평균 이상이면 상기 호모그래피 추정 기법을 선택하며, 상기 제2 평균이 상기 제1 평균 미만이면 상기 확률 기반 위치 추정 기법을 선택하는 것을 특징으로 하는 6-자유도 상대 변위 추정 장치.
  20. 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 획득부;
    상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 추출부;
    상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 추정부; 및
    상기 추정된 6-자유도 상대 변위에 기초하여 상기 고정 부재를 기준으로 상기 동적 부재를 시각화하는 시각화부
    를 포함하고,
    상기 추정부는
    호모그래피(homography) 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하고, 상기 추정된 동적 부재의 6-자유도 상대 변위를 입력으로 하는 확률 기반 위치 추정 기법을 이용하여 상기 고정 부재에 대한 상기 동적 부재의 최종 6-자유도 상대 변위를 추정하는 6-자유도 상대 변위 추정 시스템.
  21. 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계; 및
    상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초한 호모그래피 추정 기법과 확률 기반 위치 추정 기법을 순차적으로 이용하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계
    를 포함하는 6-자유도 상대 변위 추정 방법.
  22. 카메라를 이용하여 고정 부재에 부착된 제1 마커와 상기 고정 부재에 정합시키기 위한 동적 부재에 부착된 제2 마커의 이미지를 획득하는 단계;
    상기 획득된 이미지에 대한 이미지 처리를 통해 상기 제1 마커의 특징점과 상기 제2 마커의 특징점을 추출하는 단계;
    상기 획득된 이미지로부터 마커에 대한 블러(blur) 여부를 판단하고, 상기 블러가 발생한 경우 확률 기반 위치 추정 기법의 가중치 연산 결과에 기초하여 호모그래피(homography) 추정 기법과 상기 확률 기반 위치 추정 기법 중 어느 하나의 기법을 선택하는 단계; 및
    상기 선택된 어느 하나의 기법, 상기 추출된 제1 마커의 특징점과 제2 마커의 특징점에 기초하여 상기 고정 부재에 대한 상기 동적 부재의 6-자유도 상대 변위를 추정하는 단계
    를 포함하는 6-자유도 상대 변위 추정 방법.
KR1020180043199A 2017-12-12 2018-04-13 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 KR102049666B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/979,142 US10679090B2 (en) 2017-12-12 2018-05-14 Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170170418 2017-12-12
KR1020170170418 2017-12-12

Publications (2)

Publication Number Publication Date
KR20190070235A KR20190070235A (ko) 2019-06-20
KR102049666B1 true KR102049666B1 (ko) 2019-11-28

Family

ID=67103939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180043199A KR102049666B1 (ko) 2017-12-12 2018-04-13 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102049666B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110542402A (zh) * 2019-09-09 2019-12-06 上海中车瑞伯德智能系统股份有限公司 复杂结构体的rgb-d视觉定位系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101685797B1 (ko) * 2015-04-03 2016-12-13 한국과학기술원 대형 부재의 6자유도 변위 추정 방법 및 시스템
KR101837269B1 (ko) * 2016-04-27 2018-03-09 한국과학기술원 다중 마커 기반의 정합 가이드 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Choi et al. A Vision based 6 DOF Displacement Measurement System using Multiple Planar Markers for Precise Assemble of PC members, ICCAS, 2016년 10월, pp. 1036-1039. 1부.*
명완철 외 2명. 프리캐스트 콘트리트 조립을 위한 비전 기반 실시간 6자유도 상대 변위 계측 기술. 대한토목학회 학술대회, 2017년 10월, pp. 1703-1704. 1부.*

Also Published As

Publication number Publication date
KR20190070235A (ko) 2019-06-20

Similar Documents

Publication Publication Date Title
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
CN111024040B (zh) 距离估计方法和设备
CN111492403A (zh) 用于生成高清晰度地图的激光雷达到相机校准
Shinzato et al. Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion
US9083856B2 (en) Vehicle speed measurement method and system utilizing a single image capturing unit
KR102052114B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
US8253797B1 (en) Camera image georeferencing systems
CN112798811B (zh) 速度测量方法、装置和设备
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
EP3324359B1 (en) Image processing device and image processing method
KR102167835B1 (ko) 영상 처리 방법 및 장치
US10679090B2 (en) Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
JP7351892B2 (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
KR20210069385A (ko) 영상 및 실공간 매핑장치 및 그 장치에서 각 기능을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램
JPWO2008032375A1 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
KR102049666B1 (ko) 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
CN116259001A (zh) 一种多视角融合的三维行人姿态估计与追踪方法
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
KR101964829B1 (ko) 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치
JP2019191908A (ja) 対象物認識装置
KR102675138B1 (ko) 복수개의 라이다들의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN112308905B (zh) 一种平面标志物的坐标确定方法及装置
Wang et al. Rapid in-flight image quality check for UAV-enabled bridge inspection
Novikov et al. Vehicle Geolocalization from Drone Imagery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right