KR101837269B1 - 다중 마커 기반의 정합 가이드 방법 및 시스템 - Google Patents

다중 마커 기반의 정합 가이드 방법 및 시스템 Download PDF

Info

Publication number
KR101837269B1
KR101837269B1 KR1020160051558A KR20160051558A KR101837269B1 KR 101837269 B1 KR101837269 B1 KR 101837269B1 KR 1020160051558 A KR1020160051558 A KR 1020160051558A KR 20160051558 A KR20160051558 A KR 20160051558A KR 101837269 B1 KR101837269 B1 KR 101837269B1
Authority
KR
South Korea
Prior art keywords
marker
relative displacement
camera
image
edge point
Prior art date
Application number
KR1020160051558A
Other languages
English (en)
Other versions
KR20170122508A (ko
Inventor
명현
명완철
최수영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160051558A priority Critical patent/KR101837269B1/ko
Publication of KR20170122508A publication Critical patent/KR20170122508A/ko
Application granted granted Critical
Publication of KR101837269B1 publication Critical patent/KR101837269B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

일실시예에 따르면, 다중 마커 기반의 정합 가이드 방법은 카메라를 이용하여, 제1 물체에 배치되는 제1 마커 및 제2 물체에 배치되는 제2 마커를 포함하는 촬영 이미지를 생성하는 단계-상기 제1 마커 및 상기 제2 마커 각각은 미리 설정된 에지 포인트를 가짐-; 상기 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 계산하는 단계; 및 상기 제1 마커 및 상기 제2 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계를 포함한다.

Description

다중 마커 기반의 정합 가이드 방법 및 시스템{COORDINATION GUIDE METHOD AND SYSTEM BASED ON MULTIPLE MARKER}
아래의 실시예들은 다중 마커 기반의 정합 가이드 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 카메라와 제1 물체 및 제2 물체 각각에 배치된 마커를 이용함으로써, 제1 물체 및 제2 물체 사이의 상대변위를 추정하는 기술에 대한 것이다.
구조물에 포함되는 물체들 사이의 변위 측정 기술로는 레이저 변위 센서를 이용하는 방식이 널리 이용된다. 이러한 레이저 변위 센서를 이용하는 방식은 등록특허공보 제10-0919421호에 개시되어 있다. 그러나 레이저 변위 센서를 이용하는 방식은 변위 검출 범위가 좁거나 거리가 짧아 운용 방법이 제한적인 단점이 있다.
이에, 아래의 실시예들은 카메라를 이용하는 방식을 기반으로 하는 변위 측정 기술을 제안한다.
일실시예들은 카메라와 제1 물체 및 제2 물체 각각에 배치된 마커를 이용함으로써, 제1 물체 및 제2 물체 사이의 상대변위를 추정하는 기술을 제공한다.
특히, 일실시예들은 카메라 및 제1 물체에 배치된 마커 사이의 상대변위와 카메라 및 제2 물체에 배치된 마커 사이의 상대변위를 이용하여, 제1 물체에 배치된 마커 및 제2 물체에 배치된 마커 사이의 상대변위를 획득함으로써, 제1 물체 및 제2 물체 사이의 상대변위를 추정하는 기술을 제공한다.
일실시예에 따르면, 다중 마커 기반의 정합 가이드 방법은 카메라를 이용하여, 제1 물체에 배치되는 제1 마커 및 제2 물체에 배치되는 제2 마커를 포함하는 촬영 이미지를 생성하는 단계-상기 제1 마커 및 상기 제2 마커 각각은 미리 설정된 에지 포인트를 가짐-; 상기 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 계산하는 단계; 및 상기 제1 마커 및 상기 제2 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계를 포함한다.
상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 계산하는 단계는 상기 촬영 이미지에 포함되는 상기 제1 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제1 마커 사이의 상대변위를 계산하는 단계; 상기 촬영 이미지에 포함되는 상기 제2 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제2 마커 사이의 상대변위를 계산하는 단계; 및 상기 카메라 및 상기 제1 마커 사이의 상대변위와 상기 카메라 및 상기 제2 마커 사이의 상대변위를 이용하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 획득하는 단계를 포함할 수 있다.
상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계는 상기 제1 물체에 배치되는 복수의 마커들 중 상기 제1 마커를 제외한 적어도 어느 하나의 나머지 마커 및 상기 제2 물체에 배치되는 복수의 마커들 중 상기 제2 마커를 제외한 적어도 어느 하나의 나머지 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계를 더 포함할 수 있다.
상기 카메라는 상기 제1 물체에 배치되는 복수의 마커들 및 상기 제2 물체에 배치되는 복수의 마커들을 포함하는 복수의 촬영 이미지들을 생성하기 위하여 복수 개가 구비될 수 있다.
상기 카메라는 상기 제1 마커 및 상기 제2 마커를 동시에 포함하는 촬영 이미지를 생성하도록 미리 설정된 위치에 설치될 수 있다.
상기 다중 마커 기반의 정합 가이드 방법은 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 이용하여 상기 제1 물체 및 상기 제2 물체에 대한 정합을 수행하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 다중 마커 기반의 정합 가이드 시스템은 미리 설정된 에지 포인트를 갖는 제1 마커 및 제2 마커 각각이 배치되는 제1 물체 및 제2 물체; 상기 제1 마커 및 상기 제2 마커를 포함하는 촬영 이미지를 생성하는 카메라; 및 상기 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 계산하고, 상기 제1 마커 및 상기 제2 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 정합 가이드부를 포함한다.
상기 정합 가이드부는 상기 촬영 이미지에 포함되는 상기 제1 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제1 마커 사이의 상대변위를 계산하고, 상기 촬영 이미지에 포함되는 상기 제2 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제2 마커 사이의 상대변위를 계산하며, 상기 카메라 및 상기 제1 마커 사이의 상대변위와 상기 카메라 및 상기 제2 마커 사이의 상대변위를 이용하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 획득할 수 있다.
상기 정합 가이드부는 상기 제1 물체에 배치되는 복수의 마커들 중 상기 제1 마커를 제외한 적어도 어느 하나의 나머지 마커 및 상기 제2 물체에 배치되는 복수의 마커들 중 상기 제2 마커를 제외한 적어도 어느 하나의 나머지 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정할 수 있다.
상기 카메라는 상기 제1 물체에 배치되는 복수의 마커들 및 상기 제2 물체에 배치되는 복수의 마커들을 포함하는 복수의 촬영 이미지들을 생성하기 위하여 복수 개가 구비될 수 있다.
상기 정합 가이드부는 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 이용하여 상기 제1 물체 및 상기 제2 물체에 대한 정합을 수행할 수 있다.
일실시예에 따르면, 다중 마커 기반의 정합 가이드 방법은 복수의 카메라들 중 적어도 어느 하나의 카메라를 이용하여, 제1 물체에 배치되는 복수의 마커들 및 제2 물체에 배치되는 복수의 마커들 중 서로 대응하는 마커들을 포함하는 촬영 이미지를 생성하는 단계-상기 복수의 마커들 각각은 미리 설정된 에지 포인트를 가짐-; 상기 촬영 이미지에 포함되는 서로 대응하는 마커 이미지들 각각의 에지 포인트에 기초하여, 상기 서로 대응하는 마커들 사이의 상대변위를 계산하는 단계; 및 상기 서로 대응하는 마커들 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계를 포함한다.
일실시예들은 카메라와 제1 물체 및 제2 물체 각각에 배치된 마커를 이용함으로써, 제1 물체 및 제2 물체 사이의 상대변위를 추정하는 기술을 제공할 수 있다.
특히, 일실시예들은 카메라 및 제1 물체에 배치된 마커 사이의 상대변위와 카메라 및 제2 물체에 배치된 마커 사이의 상대변위를 이용하여, 제1 물체에 배치된 마커 및 제2 물체에 배치된 마커 사이의 상대변위를 획득함으로써, 제1 물체 및 제2 물체 사이의 상대변위를 추정하는 기술을 제공할 수 있다.
도 1은 일실시예에 따른 카메라 및 마커 사이의 상대변위를 계산하는 원리를 설명하기 위한 도면이다.
도 2는 일실시예에 따른 마커들 사이의 상대변위를 획득하는 원리를 설명하기 위한 도면이다.
도 3은 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템을 나타낸 도면이다.
도 4는 일실시예에 따른 다중 마커 기반의 정합 가이드 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 카메라 및 마커 사이의 상대변위를 계산하는 원리를 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템에 포함되는 카메라(110)는 마커(120)를 촬영하여 마커(120)에 대응하는 마커 이미지(130)를 포함하는 촬영 이미지를 생성한다.
여기서, 마커(120)는 미리 설정된 에지 포인트(
Figure 112016040590638-pat00001
)를 갖도록 형성될 수 있다. 이에, 마커(120)가 촬영된 마커 이미지(130) 역시 에지 포인트(
Figure 112016040590638-pat00002
)를 갖게 된다. 이와 같은 마커(120)의 에지 포인트와 마커 이미지(130)의 에지 포인트 사이의 관계는 수학식 1과 같다.
<수학식 1>
Figure 112016040590638-pat00003

수학식 1에서,
Figure 112016040590638-pat00004
은 마커 이미지(130)의 에지 포인트 중 어느 하나의 X축 좌표를 의미하고,
Figure 112016040590638-pat00005
은 마커 이미지(130)의 에지 포인트 중 어느 하나의 Y축 좌표를 의미하며,
Figure 112016040590638-pat00006
은 마커 이미지(130)의 에지 포인트 중 어느 하나의 Z축 좌표를 의미한다. 또한,
Figure 112016040590638-pat00007
는 카메라 모델을 나타내는 행렬로서,
Figure 112016040590638-pat00008
및
Figure 112016040590638-pat00009
각각은 수평 수직 방향에서의 픽셀의 effective size를 의미하고,
Figure 112016040590638-pat00010
카메라(110)의 초점 거리를 의미하며,
Figure 112016040590638-pat00011
및
Figure 112016040590638-pat00012
는 카메라(110)의 주점의 X축 좌표 및 Y축 좌표를 의미한다. 또한,
Figure 112016040590638-pat00013
는 미리 설정된 선형/회전 변환 행렬로서, 3차원 실제 좌표가 2차원 이미지 좌표로 변환되는 과정에서 선형/회전 변환되는 관계를 의미한다. 이 때, R은 회전 변환 행렬을 의미하고, T는 선형 변환 행렬을 의미한다. 또한,
Figure 112016040590638-pat00014
는 실제 마커(120)의 에지 포인트 중 어느 하나의 X축 좌표를 의미하고,
Figure 112016040590638-pat00015
는 실제 마커(120)의 에지 포인트 중 어느 하나의 Y축 좌표를 의미하며,
Figure 112016040590638-pat00016
는 실제 마커(120)의 에지 포인트 중 어느 하나의 Z축 좌표를 의미한다.
이 때, 수학식 1에서 마커(120)의 에지 포인트의 좌표는 카메라(110)가 설치된 위치를 기준으로 하는 좌표이므로, 수학식 1로부터 도출되는 마커(120)의 에지 포인트의 좌표는 카메라(110) 및 마커(120) 사이의 상대변위를 의미한다.
즉, 다중 마커 기반의 정합 가이드 시스템은 촬영 이미지로부터 추출되는 마커 이미지(130) 상에서의 에지 포인트를 기반으로, 수학식 1을 이용하여 카메라(110) 및 마커(120) 사이의 상대변위를 계산할 수 있다.
따라서, 다중 마커 기반의 정합 가이드 시스템은 상술한 원리를 기반으로 계산되는 카메라(110) 및 마커(120) 사이의 상대변위를 후술되는 마커들 사이의 상대변위를 획득하는 과정에서 이용할 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
도 2는 일실시예에 따른 마커들 사이의 상대변위를 획득하는 원리를 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템에 포함되는 카메라
Figure 112016040590638-pat00017
(210)는 제1 마커
Figure 112016040590638-pat00018
(220) 및 제2 마커
Figure 112016040590638-pat00019
(230)를 동시에 포함하는 촬영 이미지를 생성한다. 여기서, 제1 마커
Figure 112016040590638-pat00020
(220) 및 제2 마커
Figure 112016040590638-pat00021
(230) 각각에는 고유 식별자가 부여되어 있을 수 있다. 이에, 카메라
Figure 112016040590638-pat00022
(210)가 생성하는 촬영 이미지에는 제1 마커
Figure 112016040590638-pat00023
(220)가 촬영된 제1 마커 이미지 및 제2 마커
Figure 112016040590638-pat00024
(230)가 촬영된 제2 마커 이미지가 포함될 수 있다.
이 때, 다중 마커 기반의 정합 가이드 시스템은 도 1을 참조하여 상술한 원리를 기반으로 제1 마커 이미지를 이용하여 카메라
Figure 112016040590638-pat00025
(210) 및 제1 마커
Figure 112016040590638-pat00026
(220) 사이의 상대변위
Figure 112016040590638-pat00027
를 계산하고, 제2 마커 이미지를 이용하여 카메라
Figure 112016040590638-pat00028
(210) 및 제2 마커
Figure 112016040590638-pat00029
(230) 사이의 상대변위
Figure 112016040590638-pat00030
를 계산할 수 있다.
또한, 다중 마커 기반의 정합 가이드 시스템은 이와 같이 계산된 카메라
Figure 112016040590638-pat00031
(210) 및 제1 마커
Figure 112016040590638-pat00032
(220) 사이의 상대변위
Figure 112016040590638-pat00033
와 카메라
Figure 112016040590638-pat00034
(210) 및 제2 마커
Figure 112016040590638-pat00035
(230) 사이의 상대변위
Figure 112016040590638-pat00036
를 이용하여, 제1 마커
Figure 112016040590638-pat00037
(220) 및 제2 마커
Figure 112016040590638-pat00038
(230) 사이의 상대변위
Figure 112016040590638-pat00039
를 수학식 2와 같이 획득할 수 있다.
<수학식 2>
Figure 112016040590638-pat00040

상술한 바와 같이, 다중 마커 기반의 정합 가이드 시스템은 카메라
Figure 112016040590638-pat00041
(210)와 제1 마커
Figure 112016040590638-pat00042
(220) 및 제2 마커
Figure 112016040590638-pat00043
(230)를 이용함으로써, 제1 마커
Figure 112016040590638-pat00044
(220) 및 제2 마커
Figure 112016040590638-pat00045
(230) 사이의 상대변위를 획득할 수 있다. 또한, 제1 마커
Figure 112016040590638-pat00046
(220) 및 제2 마커
Figure 112016040590638-pat00047
(230) 각각이 서로 다른 물체(예컨대, 제1 마커
Figure 112016040590638-pat00048
(220)가 제1 물체에 배치되고, 제2 마커
Figure 112016040590638-pat00049
(230)가 제2 물체에 배치됨)에 배치되는 경우, 제1 마커
Figure 112016040590638-pat00050
(220) 및 제2 마커
Figure 112016040590638-pat00051
(230) 사이의 상대변위는 제1 물체 및 제2 물체 사이의 상대변위를 나타나게 된다. 따라서, 다중 마커 기반의 정합 가이드 시스템은 상술한 원리를 기반으로 제1 물체 및 제2 물체에 대한 정합을 수행할 수 있다.
도 3은 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템을 나타낸 도면이다.
도 3을 참조하면, 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템(300)은 제1 물체(310), 제2 물체(320), 카메라(330) 및 정합 가이드부(도면에는 도시되지 않음)를 포함한다.
여기서, 제1 물체(310)에는 미리 설정된 에지 포인트를 갖는 제1 마커(311)가 배치되고, 제2 물체(320)에는 미리 설정된 에지 포인트를 갖는 제2 마커(321)가 배치된다.
카메라(330)는 제1 마커(311) 및 제2 마커(321)를 포함하는 촬영 이미지를 생성한다. 특히, 카메라(330)는 제1 마커(311) 및 제2 마커(321)를 동시에 포함하는 촬영 이미지를 생성하도록 미리 설정된 위치에 설치될 수 있다. 이 때, 카메라(330)는 미리 설정된 위치에 정확하게 정렬될 필요 없이, 제1 마커(311) 및 제2 마커(321)를 동시에 포함하는 촬영 이미지를 생성하도록 설치되기만 하면 된다.
또한, 도면에는 카메라(330)가 제1 물체(310) 및 제2 물체(320) 모두와 독립적으로 배치되는 프레임에 설치되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 제1 물체(310)와 연결된 프레임에 설치되거나, 제2 물체(320)와 연결된 프레임에 설치될 수도 있다.
정합 가이드부는 카메라(330) 내부에 구비되거나, 별도로 독립된 모듈 형태로 구비되어, 카메라(330)를 통하여 생성되는 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여, 제1 마커(311) 및 제2 마커(321) 사이의 상대변위를 계산함으로써, 제1 물체(310) 및 제2 물체(320) 사이의 상대변위를 추정한다.
구체적으로, 정합 가이드부는 도 1을 참조하여 상술한 원리를 기반으로, 제1 마커 이미지의 에지 포인트에 기초하여 카메라(330) 및 제1 마커(311) 사이의 상대변위를 계산하고, 제2 마커 이미지의 에지 포인트에 기초하여 카메라(330) 및 제2 마커(321) 사이의 상대변위를 계산할 수 있다.
또한, 정합 가이드부는 도 2를 참조하여 상술한 원리를 기반으로, 카메라(330) 및 제1 마커(311) 사이의 상대변위와 카메라(330) 및 제2 마커(321) 사이의 상대변위를 이용하여, 제1 마커(311) 및 제2 마커(321) 사이의 상대변위를 획득할 수 있다. 여기서, 제1 마커(311) 및 제2 마커(321)는 각각 제1 물체(310) 및 제2 물체(320)에 배치되기 때문에, 제1 마커(311) 및 제2 마커(321) 사이의 상대변위는 제1 물체(310) 및 제2 물체(320) 사이의 상대변위를 나타낸다.
따라서, 정합 가이드부는 카메라(330)를 통하여 생성되는 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여, 제1 물체(310) 및 제2 물체(320) 사이의 상대변위를 추정할 수 있다.
또한, 정합 가이드부는 이와 같이 추정된 제1 물체(310) 및 제2 물체(320) 사이의 상대변위를 이용하여 제1 물체(310) 및 제2 물체(320)에 대한 정합을 수행할 수 있다. 예를 들어, 정합 가이드부는 제1 물체(310) 및 제2 물체(320) 사이의 상대변위를 고려하여 제1 물체(310) 및 제2 물체(320)가 정확하게 정렬되도록 정합을 수행할 수 있다. 이 때, 제1 물체(310) 및 제2 물체(320) 사이의 상대변위를 고려하여 제1 물체(310) 및 제2 물체(320)가 정확하게 정렬되도록 정합을 수행하는 구체적인 알고리즘은 기존의 다양한 물체 정합 알고리즘이 이용될 수 있다.
또한, 다중 마커 기반의 정합 가이드 시스템(300)은 카메라(330)를 복수 개 포함함으로써, 상술한 제1 물체(310) 및 제2 물체(320) 사이의 상대변위 추정 과정을 복수 개의 카메라들에 대해 수행할 수도 있다.
예를 들어, 다중 마커 기반의 정합 가이드 시스템(300)은 제1 카메라(330), 제1 마커(311) 및 제2 마커(321)를 기반으로 제1 물체(310) 및 제2 물체(320) 사이의 상대변위 추정 과정을 수행하고, 제2 카메라(331), 제3 마커(312) 및 제4 마커(322)를 기반으로 제1 물체(310) 및 제2 물체(320) 사이의 상대변위 추정 과정을 수행함으로써, 제1 물체(310) 및 제2 물체(320) 사이의 상대변위 추정치의 정확도를 향상시킬 수 있다.
다시 말해, 다중 마커 기반의 정합 가이드 시스템(300)은 하나의 카메라(330)만을 이용하여 제1 물체(320) 및 제2 물체(330) 사이의 상대변위를 추정할 뿐만 아니라, 복수의 카메라들(330, 331)을 이용함으로써, 복수의 카메라들(330, 331) 각각에 대응하는 마커들(상기 마커들은 제1 카메라(330)에 대한 제1 마커(311) 및 제2 마커(321)의 세트 또는 제2 카메라(331)에 대한 제3 마커(312) 및 제4 마커(322)의 세트와 같이, 각각 제1 물체(320) 및 제2 물체(330)에 배치되어 서로 대응됨)에 대해, 상술한 제1 물체(310) 및 제2 물체(320) 사이의 상대변위 추정 과정을 수행할 수 있다.
도 4는 일실시예에 따른 다중 마커 기반의 정합 가이드 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 다중 마커 기반의 정합 가이드 방법은 다중 마커 기반의 정합 가이드 시스템에 의해 수행된다. 특히, 다중 마커 기반의 정합 가이드 시스템은 전자 기기를 구현하는 컴퓨터와 결합되도록 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
다중 마커 기반의 정합 가이드 시스템은 카메라를 이용하여, 제1 물체에 배치되는 제1 마커 및 제2 물체에 배치되는 제2 마커를 포함하는 촬영 이미지를 생성한다(410). 이 때, 제1 마커 및 제2 마커 각각은 미리 설정된 에지 포인트를 갖는다. 또한, 제1 마커 및 제2 마커는 서로 다른 물체들(제1 물체 및 제2 물체)에 대응되도록 배치된 마커들 일 수 있다.
여기서, 카메라는 제1 마커 및 제2 마커를 동시에 포함하는 촬영 이미지를 생성하도록 미리 설정된 위치에 설치될 수 있다.
그 다음, 다중 마커 기반의 정합 가이드 시스템은 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 제1 마커 및 제2 마커 사이의 상대변위를 계산한다(420).
구체적으로, 420 단계에서 다중 마커 기반의 정합 가이드 시스템은 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트에 기초하여 카메라 및 제1 마커 사이의 상대변위를 계산하고, 촬영 이미지에 포함되는 제2 마커 이미지의 에지 포인트에 기초하여 카메라 및 제2 마커 사이의 상대변위를 계산하며, 카메라 및 제1 마커 사이의 상대변위와 카메라 및 제2 마커 사이의 상대변위를 이용하여 제1 마커 및 제2 마커 사이의 상대변위를 획득할 수 있다.
그 후, 다중 마커 기반의 정합 가이드 시스템은 제1 마커 및 제2 마커 사이의 상대변위에 기초하여 제1 물체 및 제2 물체 사이의 상대변위를 추정한다(430).
이 때, 430 단계에서 다중 마커 기반의 정합 가이드 시스템은 제1 물체에 배치되는 복수의 마커들 중 제1 마커를 제외한 적어도 어느 하나의 나머지 마커 및 제2 물체에 배치되는 복수의 마커들 중 제2 마커를 제외한 적어도 어느 하나의 나머지 마커 사이의 상대변위에 더 기초하여 제1 물체 및 제2 물체 사이의 상대변위를 추정할 수도 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
또한, 도면에는 도시되지 않았지만, 430 단계에서 다중 마커 기반의 정합 가이드 시스템은 제1 물체 및 제2 물체 사이의 상대변위를 이용하여 제1 물체 및 제2 물체에 대한 정합을 수행할 수도 있다.
또한, 다중 마커 기반의 정합 가이드 시스템은 카메라를 복수 개 포함함으로써, 410 단계 내지 430 단계를 복수 개의 카메라들에 대해 수행할 수도 있다. 이러한 경우, 복수 개의 카메라들은 제1 물체에 배치되는 복수의 마커들 및 제2 물체에 배치되는 복수의 마커들 중 서로 대응하는 마커들의 세트를 동시에 포함하는 촬영 이미지를 각각 생성하도록 미리 설정된 위치에 배치될 수 있다.
예를 들어, 다중 마커 기반의 정합 가이드 시스템은 제1 카메라를 이용하여, 제1 물체에 배치되는 제1 마커 및 제2 물체에 배치되는 제2 마커를 포함하는 촬영 이미지를 생성한 뒤, 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 제1 마커 및 제2 마커 사이의 상대변위를 계산할 수 있다. 이어서, 다중 마커 기반의 정합 가이드 시스템은 제2 카메라를 이용하여, 제1 물체에 배치되는 제3 마커 및 제2 물체에 배치되는 제4 마커를 포함하는 촬영 이미지를 생성한 뒤, 제3 마커 이미지의 에지 포인트 및 제4 마커 이미지의 에지 포인트에 기초하여 제3 마커 및 제4 마커 사이의 상대변위를 계산할 수 있다. 따라서, 다중 마커 기반의 정합 가이드 시스템은 제1 마커 및 제2 마커 사이의 상대변위와 제3 마커 및 제4 마커 사이의 상대변위에 기초하여 제1 물체 및 제2 물체 사이의 상대변위를 추정함으로써, 제1 물체 및 제2 물체 사이의 상대변위 추정치의 정확도를 향상시킬 수 있다.
도 5는 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 다중 마커 기반의 정합 가이드 시스템은 제1 물체(510), 제2 물체(520), 카메라(530) 및 정합 가이드부(540)를 포함한다.
제1 물체(510) 및 제2 물체(520)에는 미리 설정된 에지 포인트를 갖는 제1 마커(511) 및 제2 마커(521)가 각각 배치된다. 이 때, 제1 마커(511) 및 제2 마커(521)는 서로 다른 물체들(제1 물체(510) 및 제2 물체(520))에 대응되도록 배치된 마커들일 수 있다.
카메라(530)는 제1 마커(511) 및 제2 마커(521)를 포함하는 촬영 이미지를 생성한다. 여기서, 카메라(530)는 제1 마커(511) 및 제2 마커(521)를 동시에 포함하는 촬영 이미지를 생성하도록 미리 설정된 위치에 설치될 수 있다.
정합 가이드부(540)는 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 제1 마커(511) 및 제2 마커(521) 사이의 상대변위를 계산하고, 제1 마커(511) 및 제2 마커(521) 사이의 상대변위에 기초하여 제1 물체(510) 및 제2 물체(520) 사이의 상대변위를 추정한다.
구체적으로, 정합 가이드부(540)는 촬영 이미지에 포함되는 제1 마커 이미지의 에지 포인트에 기초하여 카메라(530) 및 제1 마커(511) 사이의 상대변위를 계산하고, 촬영 이미지에 포함되는 제2 마커 이미지의 에지 포인트에 기초하여 카메라(530) 및 제2 마커(521) 사이의 상대변위를 계산하며, 카메라(530) 및 제1 마커(511) 사이의 상대변위와 카메라(530) 및 제2 마커(521) 사이의 상대변위를 이용하여 제1 마커(511) 및 제2 마커(521) 사이의 상대변위를 획득할 수 있다.
이 때, 정합 가이드부(540)는 제1 물체(510)에 배치되는 복수의 마커들 중 제1 마커(511)를 제외한 적어도 어느 하나의 나머지 마커 및 제2 물체(520)에 배치되는 복수의 마커들 중 제2 마커(521)를 제외한 적어도 어느 하나의 나머지 마커 사이의 상대변위에 더 기초하여, 제1 물체(510) 및 제2 물체(520) 사이의 상대변위를 추정할 수도 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
또한, 정합 가이드부(540)는 제1 물체(510) 및 제2 물체(520) 사이의 상대변위를 이용하여 제1 물체(510) 및 제2 물체(520)에 대한 정합을 수행할 수도 있다.
또한, 다중 마커 기반의 정합 가이드 시스템은 카메라(530)를 복수 개 포함함으로써, 정합 가이드부(540)로 하여금 상술한 제1 물체(510) 및 제2 물체(520) 사이의 상대변위를 추정하는 과정을 복수 개의 카메라들에 대해 수행하도록 할 수도 있다. 이러한 경우, 복수 개의 카메라들은 제1 물체(510)에 배치되는 복수의 마커들 및 제2 물체(520)에 배치되는 복수의 마커들 중 서로 대응하는 마커들의 세트를 동시에 포함하는 촬영 이미지를 각각 생성하도록 미리 설정된 위치에 배치될 수 있다.
예를 들어, 제1 카메라가 제1 물체(510)에 배치되는 제1 마커(511) 및 제2 물체(520)에 배치되는 제2 마커(521)를 포함하는 촬영 이미지를 생성하면, 정합 가이드부(540)는 제1 마커 이미지의 에지 포인트 및 제2 마커 이미지의 에지 포인트에 기초하여 제1 마커(511) 및 제2 마커(521) 사이의 상대변위를 계산할 수 있다. 이어서, 제2 카메라가 제1 물체(510)에 배치되는 제3 마커 및 제2 물체(520)에 배치되는 제4 마커를 포함하는 촬영 이미지를 생성하면, 정합 가이드부(540)는 제3 마커 이미지의 에지 포인트 및 제4 마커 이미지의 에지 포인트에 기초하여 제3 마커 및 제4 마커 사이의 상대변위를 계산할 수 있다. 따라서, 정합 가이드부(540)는 제1 마커(511) 및 제2 마커(521) 사이의 상대변위와 제3 마커 및 제4 마커 사이의 상대변위에 기초하여 제1 물체(510) 및 제2 물체(520) 사이의 상대변위를 추정함으로써, 제1 물체(510) 및 제2 물체(520) 사이의 상대변위 추정치의 정확도를 향상시킬 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 카메라를 이용하여, 제1 물체에 배치되는 제1 마커 및 제2 물체에 배치되는 제2 마커를 포함하는 촬영 이미지를 생성하는 단계-상기 제1 마커 및 상기 제2 마커 각각은 미리 설정된 에지 포인트를 가짐-;
    상기 촬영 이미지에 포함되는 상기 제1 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제1 마커 사이의 상대변위를 계산하는 단계;
    상기 촬영 이미지에 포함되는 상기 제2 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제2 마커 사이의 상대변위를 계산하는 단계;
    상기 카메라 및 상기 제1 마커 사이의 상대변위와 상기 카메라 및 상기 제2 마커 사이의 상대변위를 이용하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 획득하는 단계; 및
    상기 제1 마커 및 상기 제2 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계
    를 포함하는 다중 마커 기반의 정합 가이드 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계는
    상기 제1 물체에 배치되는 복수의 마커들 중 상기 제1 마커를 제외한 적어도 어느 하나의 나머지 마커 및 상기 제2 물체에 배치되는 복수의 마커들 중 상기 제2 마커를 제외한 적어도 어느 하나의 나머지 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 단계
    를 더 포함하는 다중 마커 기반의 정합 가이드 방법.
  4. 제3항에 있어서,
    상기 카메라는
    상기 제1 물체에 배치되는 복수의 마커들 및 상기 제2 물체에 배치되는 복수의 마커들을 포함하는 복수의 촬영 이미지들을 생성하기 위하여 복수 개가 구비되는, 다중 마커 기반의 정합 가이드 방법.
  5. 제1항에 있어서,
    상기 카메라는
    상기 제1 마커 및 상기 제2 마커를 동시에 포함하는 촬영 이미지를 생성하도록 미리 설정된 위치에 설치되는, 다중 마커 기반의 정합 가이드 방법.
  6. 제1항에 있어서,
    상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 이용하여 상기 제1 물체 및 상기 제2 물체에 대한 정합을 수행하는 단계
    를 더 포함하는 다중 마커 기반의 정합 가이드 방법.
  7. 삭제
  8. 미리 설정된 에지 포인트를 갖는 제1 마커 및 제2 마커 각각이 배치되는 제1 물체 및 제2 물체;
    상기 제1 마커 및 상기 제2 마커를 포함하는 촬영 이미지를 생성하는 카메라; 및
    상기 촬영 이미지에 포함되는 상기 제1 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제1 마커 사이의 상대변위를 계산하고, 상기 촬영 이미지에 포함되는 상기 제2 마커 이미지의 에지 포인트에 기초하여 상기 카메라 및 상기 제2 마커 사이의 상대변위를 계산함으로써, 상기 카메라 및 상기 제1 마커 사이의 상대변위와 상기 카메라 및 상기 제2 마커 사이의 상대변위를 이용하여 상기 제1 마커 및 상기 제2 마커 사이의 상대변위를 획득하며, 상기 제1 마커 및 상기 제2 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는 정합 가이드부
    를 포함하는 다중 마커 기반의 정합 가이드 시스템.
  9. 삭제
  10. 제8항에 있어서,
    상기 정합 가이드부는
    상기 제1 물체에 배치되는 복수의 마커들 중 상기 제1 마커를 제외한 적어도 어느 하나의 나머지 마커 및 상기 제2 물체에 배치되는 복수의 마커들 중 상기 제2 마커를 제외한 적어도 어느 하나의 나머지 마커 사이의 상대변위에 기초하여 상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 추정하는, 다중 마커 기반의 정합 가이드 시스템.
  11. 제10항에 있어서,
    상기 카메라는
    상기 제1 물체에 배치되는 복수의 마커들 및 상기 제2 물체에 배치되는 복수의 마커들을 포함하는 복수의 촬영 이미지들을 생성하기 위하여 복수 개가 구비되는, 다중 마커 기반의 정합 가이드 시스템.
  12. 제8항에 있어서,
    상기 정합 가이드부는
    상기 제1 물체 및 상기 제2 물체 사이의 상대변위를 이용하여 상기 제1 물체 및 상기 제2 물체에 대한 정합을 수행하는, 다중 마커 기반의 정합 가이드 시스템.
  13. 삭제
KR1020160051558A 2016-04-27 2016-04-27 다중 마커 기반의 정합 가이드 방법 및 시스템 KR101837269B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160051558A KR101837269B1 (ko) 2016-04-27 2016-04-27 다중 마커 기반의 정합 가이드 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160051558A KR101837269B1 (ko) 2016-04-27 2016-04-27 다중 마커 기반의 정합 가이드 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170122508A KR20170122508A (ko) 2017-11-06
KR101837269B1 true KR101837269B1 (ko) 2018-03-09

Family

ID=60384313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160051558A KR101837269B1 (ko) 2016-04-27 2016-04-27 다중 마커 기반의 정합 가이드 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101837269B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102803B1 (ko) * 2017-12-07 2020-04-22 (주) 판타즈모 정적 마커 그리드 기반 실시간 실내 위치 측위 방법 및 그 시스템
KR102049666B1 (ko) * 2017-12-12 2019-11-28 한국과학기술원 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (ja) 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置
KR101028136B1 (ko) * 2010-12-30 2011-04-08 윤홍식 단 사진 측량 기반의 변위 측정을 통한 구조물 재해경보 시스템 및 그 방법
JP2011185897A (ja) 2010-03-11 2011-09-22 Toyota Motor Corp 物体情報検出システム、情報検出方法、及びプログラム
KR101283413B1 (ko) * 2013-01-04 2013-07-08 (주)대우건설 적외선 열화상 카메라를 이용한 구조물의 3차원 실시간 영상계측 모니터링 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (ja) 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置
JP2011185897A (ja) 2010-03-11 2011-09-22 Toyota Motor Corp 物体情報検出システム、情報検出方法、及びプログラム
KR101028136B1 (ko) * 2010-12-30 2011-04-08 윤홍식 단 사진 측량 기반의 변위 측정을 통한 구조물 재해경보 시스템 및 그 방법
KR101283413B1 (ko) * 2013-01-04 2013-07-08 (주)대우건설 적외선 열화상 카메라를 이용한 구조물의 3차원 실시간 영상계측 모니터링 시스템

Also Published As

Publication number Publication date
KR20170122508A (ko) 2017-11-06

Similar Documents

Publication Publication Date Title
JP4814669B2 (ja) ３次元座標取得装置
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
CN110567469A (zh) 视觉定位方法、装置、电子设备及系统
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
KR101672732B1 (ko) 객체 추적 장치 및 방법
KR101544021B1 (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
JP2014529727A (ja) 自動シーン較正
JP6413595B2 (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP6091658B2 (ja) 情報処理装置及び情報処理方法及びプログラム
JP2010181919A (ja) 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2021106025A5 (ko)
JP2017058274A (ja) 計測装置、方法及びプログラム
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템
CN113196165A (zh) 信息投影系统、控制装置以及信息投影方法
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
JP2011209070A (ja) 画像処理装置
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
Hamzah et al. Software Calibration for Stereo Camera on Stereo Vision Mobile Robot using Tsai's Method
WO2018134866A1 (ja) カメラ校正装置
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant