KR101583131B1 - System and method for providing offset calibration based augmented reality - Google Patents

System and method for providing offset calibration based augmented reality Download PDF

Info

Publication number
KR101583131B1
KR101583131B1 KR1020140028215A KR20140028215A KR101583131B1 KR 101583131 B1 KR101583131 B1 KR 101583131B1 KR 1020140028215 A KR1020140028215 A KR 1020140028215A KR 20140028215 A KR20140028215 A KR 20140028215A KR 101583131 B1 KR101583131 B1 KR 101583131B1
Authority
KR
South Korea
Prior art keywords
sensor node
tracking sensor
coordinate system
camera
coordinates
Prior art date
Application number
KR1020140028215A
Other languages
Korean (ko)
Other versions
KR20150106116A (en
Inventor
신도형
정원조
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020140028215A priority Critical patent/KR101583131B1/en
Publication of KR20150106116A publication Critical patent/KR20150106116A/en
Application granted granted Critical
Publication of KR101583131B1 publication Critical patent/KR101583131B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 상기 기준점별 위치 데이터를 계측기를 통해 획득하는 과정과, 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하는 과정과, 상기 카메라 설치위치로부터 기설정된 간격으로 대향하게 위치하는 트래킹 센서 노드의 위치와 방향 데이터를 상기 계측기를 통해 획득하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정과, 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하는 과정과, 검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 노드간 오프셋(offset)을 검출하여 보정을 수행하는 과정을 포함함을 특징으로 한다.According to the present invention, a plurality of reference points are set in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from a camera position of a predetermined region installed in a three-dimensional space, and the position data of the reference point set is acquired through a meter. Recognizing the plurality of reference points in the coordinates of the image acquired through the camera; acquiring position and direction data of the tracking sensor node located opposite from the camera installation position at a predetermined interval through the meter; A step of calculating a direction and a position of the sensor node, a step of coordinate-transforming the coordinate of the reference point of the fixed coordinate system and the coordinate of the reference point in the obtained image to the coordinate system of the tracking sensor node, And the difference between the detected reference points, Detecting the offset between the first and second sensor nodes and performing correction.

Description

증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템{SYSTEM AND METHOD FOR PROVIDING OFFSET CALIBRATION BASED AUGMENTED REALITY}[0001] SYSTEM AND METHOD FOR PROVIDING OFFSET CALIBRATION BASED AUGMENTED REALITY [0002]

본 발명은 증강현실 제공 시스템에서의 트래킹 독립적 오프셋 캘리브레이션에 관한 것이다.The present invention relates to tracking independent offset calibration in an augmented reality providing system.

비디오 시스루 증강현실 시스템에서 비디오 카메라 자체를 트래킹 센서로 사용하는 시스템은 비디와 카메라와 트래킹 센서가 하나이기 때문에 이들 사이의 오프셋은 존재하지 않는다. 따라서 이러한 시스템에서는 비디오 카메라와 트래킹 센서의 오프셋 캘리브레이션이 별도로 필요하지 않다.In a video see-through augmented reality system, there is no offset between the video camera itself and the tracking sensor because the video camera and the tracking sensor are one. Therefore, offset calibration of the video camera and the tracking sensor is not required separately in such a system.

ARToolworks 사의 ARToolKit 기반 시스템이나 Total Immersion사의 D`fusion 시리즈가 비디오 카메라-트래킹 센서 일체형 시스템의 대표적인 예이다.ARToolworks based ARToolKit based system or Total Immersion's D`fusion series are representative examples of video camera-tracking sensor integrated system.

하지만 이러한 일체형 시스템은 비디오 카메라에서 촬영한 실사 이미지에서 특정 포인트를 인식해 사전에 등록한 해당 포인트와 대비하여 비디오 카메라의 위치와 방향을 계산하는 특성상 빛의 세기나 반사 등의 광학적 노이즈에 상당히 민감한 단점이 있다.However, such an integrated system is disadvantageous in that it is sensitive to optical noise such as light intensity or reflection due to the characteristic of calculating the position and direction of a video camera in comparison with a corresponding point registered in advance by recognizing a specific point in a real image taken by a video camera have.

이에 반하여 비디오 카메라와는 별도의 트래킹 센서를 사용하는 비일체형 시스템은 트래킹 센서의 기능상 더욱 안정적인 트래킹을 구현할 수 있으나 비디오 카메라와 트레킹 센서 사이의 위치 및 방향 오프셋을 캘리브레이션 하여야 한다.On the other hand, an integrated system using a tracking sensor separate from a video camera can realize more stable tracking of the function of the tracking sensor, but the position and orientation offset between the video camera and the trekking sensor must be calibrated.

이러한 비디오 카메라와 트래킹 센서의 오프셋 캘리브레이션의 대표적인 예가 Shin and Dunston (2010)의 캘리브레이션 방법이다.A typical example of offset calibration of video cameras and tracking sensors is the calibration method of Shin and Dunston (2010).

Shin and Dunston (2010)은 트래킹 센서의 로컬축을 기준으로 비디로 카메라 중심과의 x, y, z축의 3개 위치 오프셋과 pan, tilt, roll 회전의 3개 방향 오프셋을 캘리브레이션 하였다.Shin and Dunston (2010) calibrated the three position offsets of the x, y, and z axes and the three direction offsets of the pan, tilt, and roll rotations based on the local axis of the tracking sensor.

이들이 사용한 방식은 실제 공간에 다수의 기준점을 설치한 후 이의 위치를 트래킹 좌표 기준로 계측하였다.In this method, a plurality of reference points are installed in the actual space, and their positions are measured based on the tracking coordinates.

또한 비디오 카메라와 트래킹 센서가 서로 고정된 상태에서 비디오 카메라로 설치된 기준점들의 전체 뷰를 다수 촬영하였다. 이때 촬영 시 비디오 카메라와 함께 움직인 트래킹 센서의 위치와 방향도 트래킹 시스템에서 계측되어 저장되었다.In addition, the video camera and the tracking sensor are fixed to each other, and a plurality of full views of the reference points provided by the video camera are photographed. At this time, the position and direction of the tracking sensor moved together with the video camera were also measured and stored in the tracking system.

이렇게 촬영된 사진마다 기준점들의 픽셀값들을 계측하였다. 이러한 u, v축 픽셀값을 실제 포인트 u, v 값(Real u, Real v)이라고 할 수 있다.The pixel values of the reference points were measured for each of the photographs thus taken. These u and v axis pixel values can be called real u and v values (Real u, Real v).

한편 기준점의 트래킹 좌표상 X, Y, Z 좌표값과 사진마다 촬영 함께 저장된 트래킹 센서의 방향과 위치값을 사용하여 이를 가상 카메라에 프로젝트 하여 가상 포인트의 u, v 값(Virtual u, Virtual v)이 계산된다.On the other hand, projecting the X, Y and Z coordinate values of the reference point and the direction and position values of the tracking sensor stored together with the photographing values of the photographs to the virtual camera, the u and v values (Virtual u, Virtual v) .

사진마다 이렇게 계산된 가상 포인트 u, v 값과 사진에서 직접 추출한 실제 포인트 u, v 값을 각각 비교하여(δu = |Real u-Virtual u|, δv = |Real v-Virtual v|) 그 오차를 합한다(δu+ δv). 이러한 식으로 각 사진 마다 모든 기준점들에 대한 u, v 값들의 오차를 계산하여 모든 사진에 걸쳐 그 합을 구하게 된다.(Δu = | Real u-Virtual u |, δv = | Real v-Virtual v |) by comparing the calculated virtual points u and v and the actual points u and v directly extracted from the photograph, (? U +? V). In this way, the error of the u and v values of all the reference points is calculated for each photograph, and the sum is obtained over all the photographs.

이때 초기에 임의로 설정한 6개(x, y, z, pan, tilt, roll)의 오프셋이 실제 오프셋과는 달라 가상 포인트 u, v 값과 실제 포인트 u, v의 값들 각각의 오차는 크게 나오게 된다.At this time, the offset of 6 (x, y, z, pan, tilt, roll) which is arbitrarily set is different from the actual offset, and the error of the virtual point u, v value and the actual point u, .

이러한 차이를 줄이는 방향으로 6개 오프셋이 조정되어 u, v 값들의 오차의 합이 산정되는 과정이 오차의 합이 허용치로 수렴될 때까지 반복적으로 수행된다.The process of calculating the sum of the errors of the u and v values by adjusting the six offsets in the direction of reducing the difference is repeatedly performed until the sum of the errors converges to the allowable value.

이러한 반복을 통하여 u, v값들의 오차의 합이 허용치로 수렴될 때의 6개의 오프셋 값이 최적의 오프셋으로 결정되게 된다.Through this repetition, the six offset values when the sum of the errors of the u and v values converge to the allowable values are determined as the optimal offsets.

하지만 Shin and Dunston (2010)의 방법은 사용되는 기준점들의 트래킹 좌표상 좌표값이 정확해야 한다는 조건이 충족되어야만 한다.However, the method of Shin and Dunston (2010) must satisfy the condition that the coordinates on the tracking coordinates of the reference points used are correct.

만약 기준점들의 좌표값이 정확하지 못하다면 오프셋 캘리브레이션 과정에서 오차의 합이 허용치로 수렴되지 못하고 부정확한 오프셋 값을 내놓게 된다.If the coordinate values of the reference points are not correct, the sum of the errors in the offset calibration process is not converged to the allowable value, and an incorrect offset value is output.

문제는 많은 트래킹 시스템들이 최소 수 mm의 오차를, 크게는 수 cm의 오차를 가지고있어 소수의 초정밀 트래킹 시스템을 제외하고는 기준점들의 좌표값을 정확하게 측정하기가 사실상 어렵다는 점이다.The problem is that many tracking systems have an error of at least a few millimeters and an error of a few centimeters, and it is practically difficult to accurately measure the coordinates of the reference points except for a few ultra-precise tracking systems.

따라서 본 발명은 비디오 카메라와 트래킹 센서의 오프셋 캘리브레이션 과정에서 트래킹 시스템의 정밀도가 영향을 주지 않도록 트래킹에 독립적인 오프셋 캘리브레이션 기술을 제공하고자 한다.Accordingly, the present invention seeks to provide a tracking-independent offset calibration technique so that the accuracy of the tracking system does not affect the offset calibration of the video camera and the tracking sensor.

본 발명의 일 견지에 따르면, 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 상기 기준점별 위치 데이터를 계측기를 통해 획득하는 과정과, 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하는 과정과, 상기 카메라 설치위치로부터 기설정된 간격으로 대향하게 위치하는 트래킹 센서 노드의 위치와 방향 데이터를 상기 계측기를 통해 획득하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정과, 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하는 과정과, 검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 노드간 오프셋(offset)을 검출하여 보정을 수행하는 과정을 포함함을 특징으로 한다.According to one aspect of the present invention, a plurality of reference points are set in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from a camera position of a predetermined region installed in a three-dimensional space, and the position data pertaining to the reference point is acquired through a meter Recognizing the plurality of reference points in the coordinates of an image obtained through camera shooting; acquiring position and direction data of a tracking sensor node located opposite to the camera installation position at predetermined intervals through the meter; The method of claim 1, further comprising: calculating a direction and a position of a tracking sensor node in a fixed coordinate system; performing coordinate transformation of the coordinate of the reference point of the fixed coordinate system and the coordinate of the reference point in the obtained image to a coordinate system of the tracking sensor node, A step of detecting a difference, and a step of detecting a difference between the detected reference points La camera detects the tracking sensor and an offset (offset) between nodes, is characterized in that it comprises the step of performing a correction.

본 발명의 다른 견지에 따르면, 3차원 공간 내 소정 영역에 설치된 카메라와, 상기 카메라와 대향하여 기설정된 간격으로 소정 거리를 두어 위치되는 트래킹 센서 노드와, 상기 카메라 및 트래킹 센서 노드에 인접하게 위치하여 상기 카메라 및 트래킹 센서 노드 기반으로 생성되는 임의의 기준점을 계측하는 계측기와, 네트워크를 통해 연결된 상기 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 기준점별 위치 데이터가 계측기를 통해 계측되도록 제어하고, 상기 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하여 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하여 카메라와 트래킹 센서 노드 간 오프셋(offset)을 검출하여 보정하는 제어 서버를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided an image processing apparatus including a camera installed in a predetermined area in a three-dimensional space, a tracking sensor node positioned at a predetermined distance from the camera at a predetermined interval, A plurality of reference points are set in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from the camera position connected through the network, and a set of reference point position data The coordinates of the reference point in the fixed coordinate system and the coordinates in which the reference point is recognized in the obtained image are detected by the tracking sensor node < RTI ID = 0.0 > Coordinate coordinate system, Detects a difference based characterized in that it comprises a control server that is detected to correct the camera, and the tracking sensor node between the offset (offset).

본 발명은 트래킹 독립적 오프셋 캘리브레이션을 통해 트래킹 시스템의 정밀도가 오프셋 캘리브레이션에 영향을 주지 않도록 함으로써 초정밀 트래킹 시스템을 사용하지 않더라도 정확한 오프셋 캘리브레이션이 가능한 효과가 있다.The present invention has the effect of enabling precise offset calibration without using an ultra-precise tracking system by preventing the accuracy of the tracking system from affecting the offset calibration through tracking independent offset calibration.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템의 구성도.
도 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템에서 트래킹 센서 노드를 보인 예시도.1 is an overall flow diagram of an augmented reality-based offset calibration method in accordance with an embodiment of the present invention.
2 is a configuration diagram of a system for providing an augmented reality-based offset calibration according to an embodiment of the present invention;
FIG. 2 is a diagram illustrating a tracking sensor node in an augmented reality-based offset calibration providing system according to an exemplary embodiment of the present invention;

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be appreciated that those skilled in the art will readily observe that certain changes in form and detail may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. To those of ordinary skill in the art.

본 발명은 비디오 시스루(see-through) 증강현실 시스템에서 레지스트레이션(registration)의 완벽한 구현을 위한 비디오 카메라와 트래킹 센서 사이의 오프셋 캘리브레이션을 수행함에 있어, 트래킹의 정확성에 영향을 받지 않고 오프셋 캘리브레이션을 수행할 수 있는 트래킹 독립적 오프셋 캘리브레이션에 관한 기술을 제공하고자 한다.
The present invention performs offset calibration between a video camera and a tracking sensor for a complete implementation of registration in a video see-through augmented reality system without being affected by the accuracy of tracking To provide a technique for tracking independent offset calibration.

우선, 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 방법에 관해 도 1을 참조하여 자세히 살펴보기로 한다.First, an augmented reality-based offset calibration method according to an embodiment of the present invention will be described in detail with reference to FIG.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 방법에 관한 전체 흐름도이다.1 is an overall flowchart of an augmented reality-based offset calibration method according to an embodiment of the present invention.

계측기를 사용하여 Using the instrument 트래킹Tracking 센서 노드의 위치 및 방향 산정 Location and orientation of sensor nodes

도 1을 참조하면, 먼저 110 과정에서는 3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정한다.Referring to FIG. 1, in step 110, a plurality of reference points are set in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from camera positions of a predetermined region installed in a three-dimensional space.

여기서, 상기 세 개의 직교하는 좌표축은 기설정된 영역에 고정되어 설치된 카메라를 중심으로 3차원 공간에서 방향성을 나타내는 3축의 x, y, z축을 의미하는 것으로, 지구 중심 좌표계에 대한 카메라에 대한 임의의 고정 좌표계 내에서 각각 가로(수평, 넓이, 좌우), 세로(높이, 상하, 수직), 깊이(심도, 원근)을 나타낸다.Here, the three orthogonal coordinate axes denote the three axes x, y, and z axes indicating the direction in the three-dimensional space around the camera fixedly installed in the predetermined area. The arbitrary fixed (Horizontal, width, horizontal), vertical (height, vertical, vertical) and depth (depth, perspective) in the coordinate system.

112 과정에서는 토털스테이션(total station)과 같은 계측기를 사용하여 임의의(이하 후술되는 캘리브레이션 동안은 고정된) 고정 좌표계에서 3개 이상의 기준점의 위치 데이터를 획득한다.In step 112, position data of three or more reference points are obtained in a fixed coordinate system (which is fixed during calibration, which will be described below) using an instrument such as a total station.

이때, 상기 계측기는 각도와 거리를 함께 측정할 수 있는 측량기로, 본 발명의 실시 예에 따라 임의의 고정 좌표계에서 미리 설정된 다수의 기준점의 위치를 움직임 추정이 가능한 트래킹(tracking) 시스템으로 계측하는 대신 상기 계측기를 사용하여 임의의 고정 좌표계의 좌표 상에 대한 좌표로 계측을 수행하여 위치 데이터를 획득한다.In this case, the instrument is an instrument capable of measuring an angle and a distance together. Instead of measuring the positions of a plurality of preset reference points in an arbitrary fixed coordinate system according to an embodiment of the present invention by a tracking system capable of motion estimation And the position data is acquired by performing measurement using coordinates on coordinates of an arbitrary fixed coordinate system using the instrument.

실제 포인트 u, v값을 획득하기 위하여 임의의 좌표계 내에서 카메라와 트래킹 센서노드가 서로 고정된 다음 114 과정에서는 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식한다.In order to obtain the actual points u and v, the camera and the tracking sensor node are fixed within an arbitrary coordinate system. Then, in step 114, the plurality of reference points are recognized in the coordinates of the image obtained through the camera photographing.

즉, 상기 카메라를 통해 입력된 초기 영상으로부터 임의의 고정 좌표계 내 기준점별 위치를 전체 영상 영역에 포함된 화소들을 인식하여 저장하는 것으로, 실제 포인트 u, v값을 얻기 위하여 기설정된 주기별로 촬영된 영상마다 기준점들의 픽셀값들을 계측한다. 이러한 u, v축 픽셀값을 실제 포인트 u, v값(Real u, Real v)라고 할 수 있다. That is, from the initial image input through the camera, the positions of the reference points in a certain fixed coordinate system are recognized and stored in the entire image area. In order to obtain the actual points u and v, The pixel values of the reference points are measured. These u and v axis pixel values can be called real u and v values (Real u, Real v).

또한, 실제 포인트 u, v값을 얻기 위하여 카메라와 트래킹 센서 노드가 서로 고정된 다음 카메라로 기준점 뷰(view)를 다수 촬영해야 하는데 이때 촬영 시 트래킹 센서노드의 위치와 방향을 계측해야 해야 하므로, 116 과정에서는 상기 계측기를 통해 트래킹 센서 노드의 위치와 방향 데이터를 획득하고, 이를 통해 118 과정에서는 상기 트래킹 센서 노드의 방향 및 위치 산정을 상기 고정 좌표계 기반 하에 수행한다. 이때, 상기 트래킹 센서 노드의 위치 및 방향 계측값은 기준점의 위치 계측값과 함께 가상 포인트 u, v 값을 계산하는데 사용된다.In order to obtain the actual points u and v, a camera and a tracking sensor node are fixed to each other, and then a plurality of reference point views must be photographed with the camera. In this case, the position and direction of the tracking sensor node must be measured at the time of photographing. The position and direction data of the tracking sensor node are acquired through the meter, and the direction and the position of the tracking sensor node are calculated based on the fixed coordinate system. At this time, the position and direction measurement values of the tracking sensor node are used to calculate the virtual points u and v together with the position measurement value of the reference point.

상기 트래킹 센서 노드는 본 발명의 실시 예에 따라 카메라의 설치위치로부터 기설정된 간격으로 대향하게 위치하는 것으로, 본 발명에서는 카메라와 트래킹 센서 노드가 서로 고정된 상태에서 카메라로 설치된 기준점들의 전체 뷰를 다수 촬영하고, 촬영 시 카메라와 함께 움직인 트래킹 센서 노드의 위치와 방향도 트래킹 시스템에서 계측되어 저장되는 것과 달리, 상기 임의의 고정 좌표계에서 설정된 기준점과 마찬가지로 상기 트래킹 센서 노드의 위치 및 방향의 계측도 트래킹 시스템에서 계측하는 것이 아니라, 기준점의 위치를 계측한 상기 계측기를 통해 동일한 임의의 고정된 좌표 상에서 계측하게 된다.According to an embodiment of the present invention, the tracking sensor node is located at a predetermined interval from the installation position of the camera. In the present invention, a camera and a tracking sensor node are fixed to each other, The position and direction of the tracking sensor node moving along with the camera at the time of photographing are also measured and stored in the tracking system, and the measurement of the position and the direction of the tracking sensor node is also performed in the same manner as the reference point set in the arbitrary fixed coordinate system. It is not measured by the system but measured on the same arbitrary fixed coordinates through the measuring instrument measuring the position of the reference point.

상기 118 과정에서 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 것은, 상기 계측기를 통해 트래킹 센서 노드에 마킹된 복수의 포인트를 계측하여 수행되는 것으로, 도 3에 도시된 트래킹 센서 노드 상부에 마킹된 P1, P2, P3를 포함한다.The calculation of the direction and position of the tracking sensor node in the fixed coordinate system in step 118 is performed by measuring a plurality of points marked on the tracking sensor node through the meter, And includes marked P1, P2, and P3.

상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표에 대하여 임의의 고정 좌표계에서의 트래킹 센서 노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,A tracking sensor node coordinate axis and a tracking sensor node position coordinate axis in an arbitrary fixed coordinate system with respect to the coordinates of any one of the plurality of marked points,

상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향을 정의하여 하기의 수학식 1에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되고 상기 중점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서 노드의 위치와 방향이 산정된다.The center point and direction of the tracking sensor node are defined with reference to the coordinate axes in the arbitrary fixed coordinate system, and the marked plurality of point-by-point equations are generated as shown in Equation (1) An unknown variable is generated to estimate the position and orientation of the tracking sensor node with respect to the coordinate axes in any fixed coordinate system.

Figure 112014023416577-pat00001
Figure 112014023416577-pat00001

더욱 상세하게는, 도 3을 참조하여 설명하면, 도 3에 도시된 바와 같이, 임의의 고정 좌표축을 기준으로 한

Figure 112014023416577-pat00002
의 좌표는 (
Figure 112014023416577-pat00003
), 트래킹 센서 노드 좌표축을 기준으로 한
Figure 112014023416577-pat00004
의 좌표는
Figure 112014023416577-pat00005
로 나타낼 수 있다.More specifically, referring to FIG. 3, as shown in FIG. 3,
Figure 112014023416577-pat00002
The coordinates of (
Figure 112014023416577-pat00003
), Based on the coordinate axis of the tracking sensor node
Figure 112014023416577-pat00004
The coordinates of
Figure 112014023416577-pat00005
.

여기서, 임의의 고정 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향을 (

Figure 112014023416577-pat00006
,
Figure 112014023416577-pat00007
,
Figure 112014023416577-pat00008
,
Figure 112014023416577-pat00009
, ,
Figure 112014023416577-pat00010
)라고 하면, 수학식 1에서와 같이
Figure 112014023416577-pat00011
,
Figure 112014023416577-pat00012
,
Figure 112014023416577-pat00013
에 대하여 각각 3개씩 9개의 방정식이 생성되고 언노운(unknown) 변수는 (
Figure 112014023416577-pat00014
,
Figure 112014023416577-pat00015
,
Figure 112014023416577-pat00016
,
Figure 112014023416577-pat00017
,
Figure 112014023416577-pat00018
,
Figure 112014023416577-pat00019
)로 6개가 된다. 따라서 최소 제곱법으로 6개 변수에 대한 값을 구함으로써 임의의 고정 좌표축에 대한 센서 중심의 위치와 방향을 산정할 수 있게 된다.Here, the center position and direction of the tracking sensor node with respect to any fixed coordinate axis are expressed as (
Figure 112014023416577-pat00006
,
Figure 112014023416577-pat00007
,
Figure 112014023416577-pat00008
,
Figure 112014023416577-pat00009
,,
Figure 112014023416577-pat00010
), As shown in Equation (1)
Figure 112014023416577-pat00011
,
Figure 112014023416577-pat00012
,
Figure 112014023416577-pat00013
Nine equations are generated for each of the three equations, and the unknown variable is
Figure 112014023416577-pat00014
,
Figure 112014023416577-pat00015
,
Figure 112014023416577-pat00016
,
Figure 112014023416577-pat00017
,
Figure 112014023416577-pat00018
,
Figure 112014023416577-pat00019
). Therefore, it is possible to calculate the position and direction of the center of the sensor with respect to any fixed coordinate axes by obtaining the values for the six variables by the least squares method.

120 과정에서는 상기 고정 좌표계의 기준점의 좌표 및 상기 카메라를 통해 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서노드의 좌표계로 좌표 변환한다.In step 120, the coordinate of the reference point of the fixed coordinate system and the coordinate of the reference point of the image obtained through the camera are converted into a coordinate system of the tracking sensor node.

상기 트래킹 센서노드의 좌표계는, 상술한 최소 제곱법에 의해 트래킹 센서노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되어 생성된다.
The coordinate system of the tracking sensor node is generated by coordinate transformation by calculating a value corresponding to six variables having a position and a direction angle of the middle point of the tracking sensor node by the aforementioned least squares method.

트래킹Tracking 센서 노드 좌표를 기준으로 한 카메라의 위치와 방향 산정 Position and direction of camera based on sensor node coordinates

이후, 122 과정에서 고정 좌표계에서 설정된 기준점별 위치와, 상기 고정 좌표계의 기준점을 촬영한 영상에 대한 좌표에서 기준점별 위치에 차이를 각각 검출한다.Thereafter, in step 122, a difference between the position of the reference point set in the fixed coordinate system and the position of the reference point in the coordinates of the image of the reference point of the fixed coordinate system are respectively detected.

124 과정에서는 검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 간 오프셋(offset)을 검출하여 보정을 수행한다.In step 124, an offset between the camera and the tracking sensor is detected and corrected according to the difference of the reference points detected.

더욱 상세하게는, 임의 고정 좌표축을 기준으로 트래킹 센서 노드의 중심으로부터 카메라 중심의 위치는 수학식 2와 같이 표현 가능하다.More specifically, the position of the center of the camera from the center of the tracking sensor node with respect to any fixed coordinate axis can be expressed by Equation (2).

Figure 112014023416577-pat00020
Figure 112014023416577-pat00020

여기서, Δx, Δy, Δz는 트래킹 센서 노드 좌표계를 기준으로 트래킹 센서 노드 중심에 대한 카메라 중심의 오프셋을 나타낸다.Here, [Delta] x, [Delta] y, and [Delta] z represent the center offset of the camera with respect to the center of the tracking sensor node with reference to the tracking sensor node coordinate system.

카메라 좌표계가 트래킹 센서 노드 좌표계에 대하여

Figure 112014023416577-pat00021
,
Figure 112014023416577-pat00022
,
Figure 112014023416577-pat00023
축에 대하여 각각 Δp, Δt, Δr 만큼 틀어질 경우, If the camera coordinate system is the coordinate system of the tracking sensor node
Figure 112014023416577-pat00021
,
Figure 112014023416577-pat00022
,
Figure 112014023416577-pat00023
When they are turned by? P,? T, and? R with respect to the axis,

Figure 112014023416577-pat00024
Figure 112014023416577-pat00024

도 2에 도시된 바와 같이, 임의의 고정 좌표축을 기준으로 바닥의 3개 이상의 기준점

Figure 112014023416577-pat00025
의 좌표는
Figure 112014023416577-pat00026
이 되고, 이에 대응되는 영상 좌표를
Figure 112014023416577-pat00027
라고 하면, 영상 좌표
Figure 112014023416577-pat00028
를 영상 중심을 기준으로 한 센서 좌표계(
Figure 112014023416577-pat00029
,
Figure 112014023416577-pat00030
)로 나타낸다면 하기와 같이 표현할 수 있다.As shown in FIG. 2, based on arbitrary fixed coordinate axes, three or more reference points
Figure 112014023416577-pat00025
The coordinates of
Figure 112014023416577-pat00026
And the image coordinates corresponding to the coordinates
Figure 112014023416577-pat00027
In this case,
Figure 112014023416577-pat00028
The sensor coordinate system based on the image center (
Figure 112014023416577-pat00029
,
Figure 112014023416577-pat00030
) Can be expressed as follows.

Figure 112014023416577-pat00031
Figure 112014023416577-pat00031

(여기서, Width=영상의 폭(pixel), Height=영상의 높이(pixel))(Where Width = width of image, Height = height of image)

Figure 112014023416577-pat00032
의 좌표
Figure 112014023416577-pat00033
에 대응되는 (
Figure 112014023416577-pat00034
,
Figure 112014023416577-pat00035
)를 공선조건을 이용하여 나타내면 하기의 수학식 4와 같은 형태이다.
Figure 112014023416577-pat00032
Coordinates of
Figure 112014023416577-pat00033
Corresponding to (
Figure 112014023416577-pat00034
,
Figure 112014023416577-pat00035
) Can be expressed using the collinear condition as shown in Equation (4) below.

Figure 112014023416577-pat00036
Figure 112014023416577-pat00036

(여기서, f=초점거리(pixel),

Figure 112014023416577-pat00037
는 스케일 팩터)(Where f = focal distance,
Figure 112014023416577-pat00037
Is a scale factor)

수학식 4를 간략히 표현하면 하기의 수학식 5와 같다.Equation (4) can be simply expressed as Equation (5).

Figure 112014023416577-pat00038
Figure 112014023416577-pat00038

수학식 5로부터From equation (5)

Figure 112014023416577-pat00039
영상에서 측정된
Figure 112014023416577-pat00040
와 수학식 5에서 산정된
Figure 112014023416577-pat00041
값의 차이를
Figure 112014023416577-pat00042
라고 하면 하기의 수학식 6과 같이 표현할 수 있다.
Figure 112014023416577-pat00039
Measured in video
Figure 112014023416577-pat00040
And equation (5)
Figure 112014023416577-pat00041
Difference in value
Figure 112014023416577-pat00042
Can be expressed as Equation (6) below.

Figure 112014023416577-pat00043
Figure 112014023416577-pat00043

한편, 수학식 2, 3, 4에서 보듯이 U, V, W는 Δx, Δy, Δz, Δp, Δt, Δr로 구성된 function들이다.On the other hand, as shown in Equations 2, 3 and 4, U, V and W are functions composed of? X,? Y,? Z,? P,? T and? R.

점

Figure 112014023416577-pat00044
하나에 수학식 6과 같이 방정식이 2개가 생성됨으로 3개 이상의
Figure 112014023416577-pat00045
를 사용하면 최소 6개의 방정식이 생성된다. 여기서, unknown 변수는 Δx, Δy, Δz, Δp, Δt, Δr로 6개 임으로서 최소 제곱법으로 이를 구할 수 있게 된다.
point
Figure 112014023416577-pat00044
Two equations are generated as shown in Equation 6, so that three or more
Figure 112014023416577-pat00045
, At least six equations are generated. Here, the unknown variable is six with Δx, Δy, Δz, Δp, Δt, and Δr, and it can be obtained by the least squares method.

이상에서는 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 방법에 대해서 살펴보았다.In the foregoing, a method of providing an augmented reality-based offset calibration according to an embodiment of the present invention has been described.

이하, 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 시스템에 대한 구성을 도 2를 참조하여 살펴보기로 한다.Hereinafter, a configuration of an augmented reality-based offset calibration system according to an embodiment of the present invention will be described with reference to FIG.

도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템의 구성도이다.2 is a configuration diagram of a system for providing an augmented reality-based offset calibration according to an embodiment of the present invention.

도 2를 참조하면, 본 발명이 적용된 시스템(200)은 고정 좌표계(20), 카메라(21), 트래킹 센서 노드(22), 제어 서버(23) 및 계측기(24)를 포함한다.Referring to FIG. 2, a system 200 to which the present invention is applied includes a fixed coordinate system 20, a camera 21, a tracking sensor node 22, a control server 23, and a meter 24.

상기 카메라(21)는 3차원 공간 내 소정 영역에 설치된다.The camera 21 is installed in a predetermined area in a three-dimensional space.

상기 트래킹 센서 노드(22)는 카메라(21)와 대향하여 기설정된 간격으로 소정 거리를 두어 위치된다.The tracking sensor node 22 is positioned at a predetermined distance from the camera 21 so as to face the camera 21 at a predetermined interval.

상기 계측기(24)는 카메라(21) 및 트래킹 센서 노드(22)에 인접하게 위치하여 상기 카메라(21) 및 트래킹 센서 노드(22) 기반으로 생성되는 임의의 기준점을 계측한다.The meter 24 is positioned adjacent to the camera 21 and the tracking sensor node 22 to measure any reference point generated based on the camera 21 and the tracking sensor node 22.

상기 제어 서버(23)는 카메라(21), 계측기(24) 및 트래킹 센서 노드(22)와 네트워크로 연결되어 통신하며, 상기 카메라(21), 계측기(24) 및 트래킹 센서 노드(22)로부터의 출력 결과를 기반으로 증강현실 기반 오프셋 캘리브레이션 제공 시스템의 전반적인 동작을 제어한다.The control server 23 communicates with the camera 21, the meter 24 and the tracking sensor node 22 via a network and communicates with the camera 21, the meter 24 and the tracking sensor node 22, Provides augmented reality-based offset calibration based on output results. Controls the overall operation of the system.

더욱 상세하게는, 네트워크를 통해 연결된 상기 카메라(21) 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 기준점별 위치 데이터가 계측기(24)를 통해 계측되도록 제어하고, 상기 카메라(21) 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하여 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드(22)의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하여 카메라(21)와 트래킹 센서 노드(22)간 오프셋(offset)을 검출하여 보정한다.More specifically, a plurality of reference points are set in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from the position of the camera 21 connected via a network, and the position data per set reference point is measured through the measuring device 24 , Recognizes the plurality of reference points in the coordinates of the image obtained through the photographing of the camera 21 and outputs the coordinates of the reference point of the fixed coordinate system and the coordinates of the reference point in the obtained image to the coordinate system of the tracking sensor node 22 And detects an offset between the camera 21 and the tracking sensor node 22 to detect the offset.

이때, 상기 제어 서버(23)는 디지털 방송 단말기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 아이패드(Ipad), 3G 단말기 예를 들면 IMT-2000(International Mobile Telecommunication 2000)단말기, WCDMA(Wideband Code Division Multiple Access)단말기, GSM/GPRS(Global System For Mobile Communication Packet Radio Service) 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 모든 정보통신기기 및 멀티미디어 기기 등이 포함될 수 있다. 그러나 본 명세서에서 기재된 실시 예에 따른 구성은 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술 분야의 당업자라면 쉽게 알 수 있을 것이다.The control server 23 may be a digital broadcasting terminal, a personal digital assistant (PDA), a smart phone, a tablet PC, an iPad, a 3G terminal, for example, an IMT- (UMTS) terminal, a Wideband Code Division Multiple Access (WCDMA) terminal, a GSM / GPRS (Universal Mobile Telecommunication Service) terminal and a UMTS (Universal Mobile Telecommunication Service) And the like. However, it will be apparent to those skilled in the art that the configuration according to the embodiments described herein may be applied to a fixed terminal such as a desktop computer.

상기 제어 서버(23)는 계측기(24)를 통해 트래킹 센서 노드(22)에 마킹된 복수의 포인트를 계측하여 고정 좌표계에서의 트래킹 센서 노드(22)의 방향 및 위치를 산정하고, 상기 트랙킹 센서 노드(22)의 좌표계가 최소 제곱법에 의해 트래킹 센서 노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되도록 제어한다.The control server 23 measures a plurality of points marked on the tracking sensor node 22 through the meter 24 to estimate the direction and position of the tracking sensor node 22 in the fixed coordinate system, The coordinate system of the sensor 22 calculates a value corresponding to six variables having a position and a direction angle of the middle point of the tracking sensor node by the least squares method and controls the coordinate conversion.

즉, 상기 제어 서버(23)는 상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표를 임의의 고정 좌표계에서의 트래킹 센서노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,That is, the control server 23 defines the coordinates of any one of the marked points on the basis of the tracking sensor node coordinate axes and the tracking sensor node position based coordinate axes in an arbitrary fixed coordinate system,

상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서노드의 중심점 위치와 방향을 정의하여 하기의 수학식 7에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되고 상기 중심점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서노드의 위치와 방향을 산정한다.A center point position and a direction of a tracking sensor node with reference to a coordinate axis in the arbitrary fixed coordinate system are defined and an equation of each of the marked points is generated as shown in Equation (7) below, and corresponding to the center point position and direction Is generated to calculate the position and direction of the tracking sensor node with respect to the coordinate axes in an arbitrary fixed coordinate system.

Figure 112014023416577-pat00046
Figure 112014023416577-pat00046

상기와 같이 본 발명에 따른 증강현실 기반 오프셋 캘리브레이션 제공 시스템 및 방법에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
As described above, the system and method for providing an augmented reality-based offset calibration according to the present invention can be performed. While the present invention has been described with respect to specific embodiments thereof, . Accordingly, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by equivalents of the claims and the claims.

[참고문헌][references]

Figure 112014023416577-pat00047
Figure 112014023416577-pat00047

21: 카메라 22: 트래킹 센서 노드
23: 제어 서버 24: 계측기21: camera 22: tracking sensor node
23: control server 24:

Claims (8)

3차원 공간 내 설치된 소정 영역의 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 상기 기준점별 위치 데이터를 계측기를 통해 획득하는 과정과,
카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하는 과정과,
상기 카메라 설치위치로부터 기설정된 간격으로 대향하게 위치하는 트래킹 센서 노드의 위치와 방향 데이터를 상기 계측기를 통해 획득하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정과,
상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하는 과정과,
검출된 상기 기준점의 차이에 따라 카메라와 트래킹 센서 노드간 오프셋(offset)을 검출하여 보정을 수행하는 과정을 포함함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.Setting a plurality of reference points in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from a camera position of a predetermined region installed in the three-dimensional space and acquiring the set positional data by the measuring instrument;
Recognizing the plurality of reference points in coordinates of an image obtained through camera shooting;
Acquiring a position and direction data of a tracking sensor node located opposite to the camera installation position at predetermined intervals through the meter to calculate a direction and a position of the tracking sensor node in the fixed coordinate system;
Detecting coordinates of each reference point based on the coordinate of the reference point of the fixed coordinate system and the coordinates of the reference point of the acquired image by coordinate conversion to the coordinate system of the tracking sensor node;
Detecting an offset between the camera and the tracking sensor node according to the detected difference of the reference points, and performing correction. 제1항에 있어서, 상기 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정하는 과정은,
상기 계측기를 통해 트래킹 센서 노드에 마킹된 복수의 포인트를 계측하여 수행됨을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.The method of claim 1, wherein calculating the direction and position of the tracking sensor node in the fixed coordinate system comprises:
And measuring a plurality of points marked on the tracking sensor node through the meter. 제1항에 있어서, 상기 트래킹 센서 노드의 좌표계는,
최소 제곱법에 의해 트래킹 센서 노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되어 생성됨을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.The method of claim 1, wherein the coordinate system of the tracking sensor node comprises:
Calculating a value corresponding to six variables having a position and a direction angle of a middle point of the tracking sensor node by a least squares method, and performing coordinate conversion on the calculated value. 제2항에 있어서,
상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표에 대하여 임의의 고정 좌표계에서의 트래킹 센서 노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,
상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향을 정의하여 하기의 수학식에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되고 상기 중점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서 노드의 위치와 방향이 산정됨을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 방법.
Figure 112015080113069-pat00048

(여기서, 임의의 고정 좌표축을 기준으로 한
Figure 112015080113069-pat00053
의 좌표는 (
Figure 112015080113069-pat00054
), 트래킹 센서 노드 좌표축을 기준으로 한
Figure 112015080113069-pat00055
의 좌표는
Figure 112015080113069-pat00056
이고,
Figure 112015080113069-pat00057
,
Figure 112015080113069-pat00058
,
Figure 112015080113069-pat00059
,
Figure 112015080113069-pat00060
, ,
Figure 112015080113069-pat00061
: 임의의 고정 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향인 경우
Figure 112015080113069-pat00062
,
Figure 112015080113069-pat00063
,
Figure 112015080113069-pat00064
에 대하여 각각 3개씩 9개의 방정식이 생성되고 언노운(unknown) 변수는 (
Figure 112015080113069-pat00065
,
Figure 112015080113069-pat00066
,
Figure 112015080113069-pat00067
,
Figure 112015080113069-pat00068
,
Figure 112015080113069-pat00069
,
Figure 112015080113069-pat00070
)로 6개)3. The method of claim 2,
A tracking sensor node coordinate axis and a tracking sensor node position coordinate axis in an arbitrary fixed coordinate system with respect to the coordinates of any one of the plurality of marked points,
A center point and a direction of a tracking sensor node are defined with reference to a coordinate axis in the arbitrary fixed coordinate system, and the marked plurality of point-by-point equations are generated as shown in the following equation, wherein an unknown variable is generated to estimate the position and orientation of the tracking sensor node with respect to the coordinate axes in an arbitrary fixed coordinate system.
Figure 112015080113069-pat00048

(Here, a reference is made to an arbitrary fixed coordinate axis
Figure 112015080113069-pat00053
The coordinates of (
Figure 112015080113069-pat00054
), Based on the coordinate axis of the tracking sensor node
Figure 112015080113069-pat00055
The coordinates of
Figure 112015080113069-pat00056
ego,
Figure 112015080113069-pat00057
,
Figure 112015080113069-pat00058
,
Figure 112015080113069-pat00059
,
Figure 112015080113069-pat00060
,,
Figure 112015080113069-pat00061
: Tracking based on arbitrary fixed coordinate axes In the case of the center position and direction of the sensor node
Figure 112015080113069-pat00062
,
Figure 112015080113069-pat00063
,
Figure 112015080113069-pat00064
Nine equations are generated for each of the three equations, and the unknown variable is
Figure 112015080113069-pat00065
,
Figure 112015080113069-pat00066
,
Figure 112015080113069-pat00067
,
Figure 112015080113069-pat00068
,
Figure 112015080113069-pat00069
,
Figure 112015080113069-pat00070
) 6) 3차원 공간 내 소정 영역에 설치된 카메라와,
상기 카메라와 대향하여 기설정된 간격으로 소정 거리를 두어 위치되는 트래킹 센서 노드와,
상기 카메라 및 트래킹 센서 노드에 인접하게 위치하여 상기 카메라 및 트래킹 센서 노드 기반으로 생성되는 임의의 기준점을 계측하는 계측기와,
네트워크를 통해 연결된 상기 카메라 위치로부터 세 개의 직교하는 좌표축 기반 임의의 고정 좌표계에서 복수의 기준점을 설정하고, 설정된 기준점별 위치 데이터가 계측기를 통해 계측되도록 제어하고, 상기 카메라 촬영을 통해 획득된 영상의 좌표에서 상기 복수의 기준점을 인식하여 상기 고정 좌표계의 기준점의 좌표 및 상기 획득된 영상에서 기준점이 인식된 좌표를 상기 트래킹 센서 노드의 좌표계로 좌표 변환하여 각 기준점 위치 기반 차이를 검출하여 카메라와 트래킹 센서 노드 간 오프셋(offset)을 검출하여 보정하는 제어 서버를 포함함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.A camera provided in a predetermined area in a three-dimensional space,
A tracking sensor node positioned at a predetermined distance to face the camera at predetermined intervals;
A meter positioned adjacent to the camera and the tracking sensor node to measure an arbitrary reference point generated based on the camera and the tracking sensor node;
Setting a plurality of reference points in an arbitrary fixed coordinate system based on three orthogonal coordinate axes from the camera position connected through a network and controlling the position data per set reference point to be measured through a meter, Based on the coordinates of the reference point of the fixed coordinate system and the coordinates of which the reference point is recognized in the obtained image by the coordinate system of the tracking sensor node, And a control server for detecting and correcting a liver offset of the at least one augmented reality-based offset. 제5항에 있어서, 상기 제어 서버는,
상기 계측기를 통해 트래킹 센서 노드에 마킹된 복수의 포인트를 계측하여 고정 좌표계에서의 트래킹 센서 노드의 방향 및 위치를 산정함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.6. The control server according to claim 5,
Wherein the direction and position of the tracking sensor node in the fixed coordinate system are estimated by measuring a plurality of points marked on the tracking sensor node through the meter. 제5항에 있어서, 상기 제어 서버는,
상기 트랙킹 센서 노드의 좌표계가 최소 제곱법에 의해 트래킹 센서 노드 중점의 위치와 방향각을 가지는 6개의 변수에 대응하는 값을 산출하여 좌표 변환되도록 제어함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.6. The control server according to claim 5,
Wherein the coordinate system of the tracking sensor node is calculated by calculating a value corresponding to six variables having a position and a direction angle of a middle point of the tracking sensor node by a least squares method and performing coordinate conversion. 제6항에 있어서, 상기 제어 서버는,
상기 마킹된 복수의 포인트 중 어느 하나의 포인트의 좌표를 임의의 고정 좌표계에서의 트래킹 센서 노드 좌표축과 트래킹 센서 노드 위치 기반 좌표축을 기준으로 각각 정의하고,
상기 임의의 고정 좌표계에서의 좌표축을 기준으로 한 트래킹 센서 노드의 중심점 위치와 방향을 정의하여 하기의 수학식에서와 같이 상기 마킹된 복수의 포인트별 방정식이 생성되어 상기 중심점 위치와 방향에 각각 대응하는 언노운(unknown)변수가 생성되어 임의의 고정 좌표계에서의 좌표축에 대한 트래킹 센서노드의 위치와 방향을 산정함을 특징으로 하는 증강현실 기반 오프셋 캘리브레이션 제공 시스템.
Figure 112015080113069-pat00049

(여기서, 임의의 고정 좌표축을 기준으로 한
Figure 112015080113069-pat00071
의 좌표는 (
Figure 112015080113069-pat00072
), 트래킹 센서 노드 좌표축을 기준으로 한
Figure 112015080113069-pat00073
의 좌표는
Figure 112015080113069-pat00074
이고,
Figure 112015080113069-pat00075
,
Figure 112015080113069-pat00076
,
Figure 112015080113069-pat00077
,
Figure 112015080113069-pat00078
, ,
Figure 112015080113069-pat00079
: 임의의 고정 좌표축을 기준으로 한 트래킹 센서 노드의 중점 위치와 방향인 경우
Figure 112015080113069-pat00080
,
Figure 112015080113069-pat00081
,
Figure 112015080113069-pat00082
에 대하여 각각 3개씩 9개의 방정식이 생성되고 언노운(unknown) 변수는 (
Figure 112015080113069-pat00083
,
Figure 112015080113069-pat00084
,
Figure 112015080113069-pat00085
,
Figure 112015080113069-pat00086
,
Figure 112015080113069-pat00087
,
Figure 112015080113069-pat00088
)로 6개)
7. The control server according to claim 6,
The coordinates of any one of the plurality of marked points are defined with reference to a tracking sensor node coordinate axis and a tracking sensor node position based coordinate axis in an arbitrary fixed coordinate system,
The center point position and direction of the tracking sensor node are defined with reference to the coordinate axes in the arbitrary fixed coordinate system, and the marked plurality of pointwise equations are generated as shown in the following equation, wherein an unknown variable is generated to estimate the position and orientation of the tracking sensor node with respect to the coordinate axes in an arbitrary fixed coordinate system.
Figure 112015080113069-pat00049

(Here, a reference is made to an arbitrary fixed coordinate axis
Figure 112015080113069-pat00071
The coordinates of (
Figure 112015080113069-pat00072
), Based on the coordinate axis of the tracking sensor node
Figure 112015080113069-pat00073
The coordinates of
Figure 112015080113069-pat00074
ego,
Figure 112015080113069-pat00075
,
Figure 112015080113069-pat00076
,
Figure 112015080113069-pat00077
,
Figure 112015080113069-pat00078
,,
Figure 112015080113069-pat00079
: Tracking based on arbitrary fixed coordinate axes In the case of the center position and direction of the sensor node
Figure 112015080113069-pat00080
,
Figure 112015080113069-pat00081
,
Figure 112015080113069-pat00082
Nine equations are generated for each of the three equations, and the unknown variable is
Figure 112015080113069-pat00083
,
Figure 112015080113069-pat00084
,
Figure 112015080113069-pat00085
,
Figure 112015080113069-pat00086
,
Figure 112015080113069-pat00087
,
Figure 112015080113069-pat00088
) 6)
KR1020140028215A 2014-03-11 2014-03-11 System and method for providing offset calibration based augmented reality KR101583131B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140028215A KR101583131B1 (en) 2014-03-11 2014-03-11 System and method for providing offset calibration based augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140028215A KR101583131B1 (en) 2014-03-11 2014-03-11 System and method for providing offset calibration based augmented reality

Publications (2)

Publication Number Publication Date
KR20150106116A KR20150106116A (en) 2015-09-21
KR101583131B1 true KR101583131B1 (en) 2016-01-07

Family

ID=54245072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028215A KR101583131B1 (en) 2014-03-11 2014-03-11 System and method for providing offset calibration based augmented reality

Country Status (1)

Country Link
KR (1) KR101583131B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125430B (en) * 2021-11-19 2024-05-14 天津津航技术物理研究所 Calibration method for visual axis deviation degree of camera on photoelectric turret

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099188A (en) 2004-09-28 2006-04-13 Canon Inc Information processing method and apparatus
JP2008224626A (en) 2007-03-15 2008-09-25 Canon Inc Information processor, method for processing information, and calibration tool
KR101326010B1 (en) 2012-06-13 2013-11-07 에이알비전 (주) Coordinate converting system of a camera based on a cylindrical marker for augmented reality and method therefor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020085432A (en) * 2001-05-08 2002-11-16 (주)이음미디어 A object virtual reality image construction system and a method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099188A (en) 2004-09-28 2006-04-13 Canon Inc Information processing method and apparatus
JP2008224626A (en) 2007-03-15 2008-09-25 Canon Inc Information processor, method for processing information, and calibration tool
KR101326010B1 (en) 2012-06-13 2013-11-07 에이알비전 (주) Coordinate converting system of a camera based on a cylindrical marker for augmented reality and method therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Also Published As

Publication number Publication date
KR20150106116A (en) 2015-09-21

Similar Documents

Publication Publication Date Title
KR102085228B1 (en) Imaging processing method and apparatus for calibrating depth of depth sensor
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
CN107148639B (en) Determine method and device, tracking device and the system of the location information of tracking target
JP6442193B2 (en) Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method and program
JP5961945B2 (en) Image processing apparatus, projector and projector system having the image processing apparatus, image processing method, program thereof, and recording medium recording the program
US9163940B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
KR102255017B1 (en) Method for calibrating an image capture sensor comprising at least one sensor camera using a time coded pattern target
CN108111828B (en) Projection equipment correction method and device and projection equipment
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
WO2015073548A2 (en) Point-to-point measurements using a handheld device
CN108932732B (en) Method and device for acquiring data information of monitored object
JP2015184767A (en) Information processor, information processing method, position attitude estimation device and robot system
CN106705860B (en) A kind of laser distance measurement method
CN114445506A (en) Camera calibration processing method, device, equipment and storage medium
CN111442845A (en) Infrared temperature measurement method and device based on distance compensation and computer storage medium
CN105043252A (en) Image processing based size measuring method without reference object
JPWO2016135856A1 (en) Three-dimensional shape measurement system and measurement method thereof
KR101583131B1 (en) System and method for providing offset calibration based augmented reality
TW201326776A (en) Lens test device and method
US20140313324A1 (en) Dynamic results projection for moving test object
JP5267100B2 (en) Motion estimation apparatus and program
US20160171017A1 (en) Mobile positioning apparatus and positioning method thereof
KR101459522B1 (en) Location Correction Method Using Additional Information of Mobile Instrument
JP2018112476A (en) Minute displacement measuring device and minute displacement measuring method
KR101996226B1 (en) Apparatus for measuring three-dimensional position of subject and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 4