KR20200142391A - Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System - Google Patents

Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System Download PDF

Info

Publication number
KR20200142391A
KR20200142391A KR1020190069599A KR20190069599A KR20200142391A KR 20200142391 A KR20200142391 A KR 20200142391A KR 1020190069599 A KR1020190069599 A KR 1020190069599A KR 20190069599 A KR20190069599 A KR 20190069599A KR 20200142391 A KR20200142391 A KR 20200142391A
Authority
KR
South Korea
Prior art keywords
marker
coordinates
camera
image
point
Prior art date
Application number
KR1020190069599A
Other languages
Korean (ko)
Other versions
KR102289688B1 (en
Inventor
김충일
박진하
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Priority to KR1020190069599A priority Critical patent/KR102289688B1/en
Publication of KR20200142391A publication Critical patent/KR20200142391A/en
Application granted granted Critical
Publication of KR102289688B1 publication Critical patent/KR102289688B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

The present invention relates to a method for estimating the 3D marker coordinates of an optical position tracking system. With the present invention, it is possible to recognize information on the position and posture of a rigid body by recognizing the 3D marker coordinates of an optical position tracking system. The method is to estimate 3D marker coordinates by analyzing a marker image taken with multiple cameras. The method includes: a step of acquiring a camera position and posture information parameter on a 3D space and internal and distortion variables of each camera by performing camera calibration on each of multiple cameras; a step of estimating the marker coordinates of a 2D image by receiving the input of a marker image from the multiple cameras; a step of acquiring normalized marker coordinates by calibrating the distortion of the 2D image marker coordinates through the camera position and posture information parameter and the internal and distortion variables acquired through the calibration of the multiple cameras; a step of overlapping the straight lines of the marker dots extending from the multiple cameras by converting the normalized marker coordinates into infinite straight lines; a step of acquiring the coordinates of the point of overlapping of the straight lines extending from the multiple cameras; and a step of estimating the 3D marker coordinates by calculating the average position of the coordinates of the point of overlapping of the straight lines. According to the present invention, it is possible to accurately estimate the position of the 3D coordinates.

Description

광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법 {Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System}Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System}

본 발명은 3차원 마커 좌표 추정 방법에 관한 것으로, 특히 광학식 위치 추적 시스템의 3차원 마커 좌표를 인식하여 강체의 위치 및 자세 정보를 인식할 수 있도록 하는 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법에 관한 것이다. The present invention relates to a method of estimating 3D marker coordinates, and in particular, to a method of estimating 3D marker coordinates of an optical position tracking system that enables recognition of the position and posture information of a rigid body by recognizing the 3D marker coordinates of the optical position tracking system. About.

영상 처리 기술이 발전함에 따라 종래 하나의 카메라를 통하여 획득되는 영상을 단순 활용하는 것에서 벗어나, 근래에는 여러 대의 카메라를 이용하여 대상을 촬영한 후 촬영된 영상을 정합함으로써 입체적인 스테레오 영상을 제작하는 방법을 많이 이용하고 있다. 일반적으로 광학식 위치 추적 시스템은 여러 대의 카메라를 통해서 인체나 사물 등 대상에 부착된 마커의 위치를 추적함으로서 인체 및 사물의 위치를 추적하게 되는데, 이러한 광학식 위치 추적 방식은 마커의 위치 추적을 통하여 대상의 정밀한 위치 정보를 제공해 줄 수 있게 된다. With the development of image processing technology, a method of producing a three-dimensional stereo image by matching the captured images after photographing an object using multiple cameras has been devised from the simple use of an image acquired through a conventional camera. I use it a lot. In general, an optical location tracking system tracks the location of a human body and an object by tracking the position of a marker attached to an object such as a human body or an object through multiple cameras.This optical location tracking method It will be able to provide precise location information.

한편, 이러한 광학식 위치 추적 시스템에서 여러 대의 카메라로 촬영된 영상은 마커 사이의 대응점을 찾아 정합 및 보정해야 하는데, 이렇게 카메라 간에 2차원 영상의 마커 사이 대응점을 찾아내기 위해서는 에피폴라 제약 조건을 이용하게 되며, 에피폴라 제약 조건을 이용하기 위해 검색원(search circle)을 사용하게 된다. 이때, 자신의 마커 좌표에 상대 카메라의 예측된 점이 일정 반경 이내에 있으면 대응점으로 간주하게 되는데, 도 1은 마커의 대응점 정렬이 성공한 일례를 나타낸 것이다. On the other hand, in such an optical position tracking system, images taken with multiple cameras need to be matched and corrected by finding the corresponding points between the markers.To find the corresponding points between the markers of the 2D image between the cameras, an epipolar constraint is used. In other words, a search circle is used to use epipolar constraints. At this time, if the predicted point of the relative camera is within a certain radius in the own marker coordinates, it is regarded as a corresponding point. FIG. 1 shows an example in which the corresponding point alignment of the marker is successful.

하지만, 이러한 방식은 다수의 마커를 검색할 때 예측된 대응점이 예측된 마커 뿐만 아니라 다른 좌표도 검색될 가능성이 발생하기 때문에, 대응점끼리 정렬시 오류가 발생할 수 있다. 도 2는 마커의 대응점 정렬에 오류가 발생한 일례를 나타낸 것으로, 이러한 경우 추정된 마커의 3차원 좌표 정보가 정렬되어 있지 않기 때문에 사전에 등록한 사물의 강체(Rigid-body)를 찾을 수 없게 되는 문제점이 발생한다. However, in this method, when searching for a plurality of markers, since there is a possibility that not only the predicted marker but also other coordinates are searched for the predicted corresponding point, an error may occur when the corresponding points are aligned. 2 shows an example in which an error occurred in the alignment of the corresponding points of the markers. In this case, since the estimated three-dimensional coordinate information of the marker is not aligned, the rigid-body of the object registered in advance cannot be found. Occurs.

대한민국 등록특허공보 제10-0502560호 (2005.07.12. 등록)Republic of Korea Patent Publication No. 10-0502560 (registered on July 12, 2005) 대한민국 등록특허공보 제10-1221449호 (2013.01.07. 등록)Republic of Korea Patent Publication No. 10-1221449 (registered on Jan. 7, 2013)

본 발명은 상기 종래 마커 대응점 탐색시 발생하는 오류를 줄이기 위해서 제안된 것으로서, 본 발명의 목적은 마커의 대응점 검색을 2차원 영상에서 변환 행렬을 이용하지 않고 3차원 공간에서 3대 이상의 카메라에서 모든 마커에 관하여 무한대의 광선을 그어주고 광선과 광선 사이 최단 거리가 되는 지점들을 찾아서 3차원 마커의 위치를 추정할 수 있도록 하는 3차원 마커 좌표 추정 방법을 제공하는 데 있다. The present invention has been proposed in order to reduce the error that occurs when searching for the conventional marker correspondence point, and an object of the present invention is to perform a search for a marker correspondence point in a two-dimensional image without using a transformation matrix, and all markers in three or more cameras in a three-dimensional space. In relation to, an infinite ray is drawn, and a 3D marker coordinate estimation method is provided that enables the position of the 3D marker to be estimated by finding points that are the shortest distance between the ray and the ray.

상기 목적을 달성하기 위한 본 발명에 따른 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법은 다중 카메라를 통하여 촬영되는 마커 영상을 분석하여 3차원 마커 좌표를 추정하는 3차원 마커 좌표 추정 방법에 있어서, 다중 카메라 각각에 대하여 카메라 보정을 수행하여, 각 카메라의 내부 변수와 왜곡 변수 및 3차원 공간상의 카메라 위치 및 자세정보 파라미터를 구하는 단계(a)와; 다중 카메라로부터 마커 영상을 입력받아, 2차원 영상의 마커 좌표를 추정하는 단계(b)와; 다중 카메라 보정을 통해 구해진 내부 변수와 왜곡 변수, 카메라 위치 및 자세정보 파라미터를 통하여 2차원 영상 마커 좌표의 왜곡을 보정하여 정규화된 마커의 좌표를 구하는 단계(c)와; 정규화된 마커 좌표를 무한대 직선의 형태로 변환하여, 다중 카메라 각각에서 뻗어나온 마커 점의 직선 라인이 겹쳐지도록 하는 단계(d)와; 상기 다중 카메라 각각에서 뻗어나온 직선 라인이 겹쳐지는 지점의 좌표를 구하는 단계(e)와; 직선 라인이 겹쳐지는 지점의 좌표들의 평균 위치를 계산하여 3차원 마커 좌표를 추정하는 단계(f);를 포함한다. The method for estimating 3D marker coordinates of the optical position tracking system according to the present invention for achieving the above object is a 3D marker coordinate estimation method for estimating 3D marker coordinates by analyzing a marker image photographed through multiple cameras, comprising: (A) performing camera correction for each camera to obtain an internal variable and a distortion variable of each camera, and a camera position and attitude information parameter in a three-dimensional space; (B) receiving marker images from multiple cameras and estimating marker coordinates of the 2D image; (C) correcting the distortion of the coordinates of the 2D image marker through the internal and distortion variables obtained through multi-camera correction, and the camera position and posture information parameters to obtain the normalized marker coordinates; (D) converting the normalized marker coordinates into an infinite straight line so that the straight line lines of the marker points extending from each of the multiple cameras overlap; (E) obtaining coordinates of a point where the linear lines extending from each of the multiple cameras overlap; And estimating the three-dimensional marker coordinates by calculating the average position of the coordinates of the point where the linear line overlaps.

상기 단계 (a)에서 다중 카메라 보정은, 다중 카메라 보정을 위해 각각의 카메라에 대한 초기 카메라 내부 변수를 추정하고, 다중 카메라로부터 카메라 보정에 사용할 마커 영상을 입력받아, 각각의 카메라에서 추적된 보정용 봉의 마커 정보를 이용하여 초기 카메라 외부 변수를 추정하며, 상기 추정된 개별 카메라의 카메라 내부 변수와 외부 변수를 이용하여 보정용 봉의 마커를 3차원 삼각측량 방식을 통해 3차원 좌표로 계산한 뒤, 광속 조정법(bundle adjustment)을 통하여 카메라 내부 및 외부 변수에 대해 최적화를 수행하여 다중 카메라를 보정하게 된다. In the multi-camera correction in step (a), the initial camera internal variables for each camera are estimated for multi-camera correction, a marker image to be used for camera correction is input from the multi-camera, and the correction rod tracked by each camera is The initial camera external variable is estimated using the marker information, and the marker of the correction rod is calculated as a three-dimensional coordinate through a three-dimensional triangulation method using the estimated camera internal and external variables of the individual camera, and then the luminous flux adjustment method ( bundle adjustment) to calibrate multiple cameras by optimizing internal and external variables.

또한, 상기 단계 (c)에서, 영상 좌표계(image plane)에 위치하는 2차원 영상 마커의 좌표를 정규 좌표계(normalized image plane)로 변환하여 왜곡 보정을 수행하되, 입력 영상의 영상 좌표계(image plane)의 좌표는

Figure pat00001
, 정규 좌표계(normalized image plane)의 변환 좌표는
Figure pat00002
로 사용하고, 카메라 내부 변수(intrinsic matrix)는
Figure pat00003
, 왜곡 변수(distortion)는 5개의 요소의 왜곡 계수 입력 벡터인
Figure pat00004
로 나타내며, 정규 좌표계에서 영상 좌표계로 변환하는 다음의 수학식을 역으로 풀이하여 정규 좌표계에서 정규화된 마커의 좌표를 구하게 된다. In addition, in the step (c), distortion correction is performed by converting the coordinates of the 2D image marker located in the image plane into a normalized image plane, but the image plane of the input image Is the coordinates of
Figure pat00001
, The transformed coordinates of the normalized image plane are
Figure pat00002
And the intrinsic matrix of the camera is
Figure pat00003
, The distortion variable is the input vector of the distortion factor of 5 elements.
Figure pat00004
And the following equation for converting from the normal coordinate system to the image coordinate system is reversely solved to obtain the coordinates of the marker normalized in the normal coordinate system.

Figure pat00005
Figure pat00005

상기 구해진 정규화된 마커의 좌표는 다음의 수학식을 통해 월드 좌표계롤 변환되는 것이 바람직하다.It is preferable that the obtained coordinates of the normalized marker are converted to the world coordinate system through the following equation.

Figure pat00006
Figure pat00006

(여기서 R은 회전행렬, t는 병진벡터를 의미한다)(Where R is the rotation matrix and t is the translation vector)

한편, 상기 단계 (e)에서, 상기 다중 카메라 각각에서 뻗어나온 직선 라인이 겹쳐지는 지점은 마커가 존재하는 영역으로 두 직선의 최단 거리인 지점으로서, 3차원 공간에서 두 카메라의 원점을 P11과 P21이라 하고, 카메라 원점(P11, P21)에서 월드 좌표계에서 정규화된 마커의 점을 지나는 직선을 L1, L2라 하며, 두 직선(L1, L2) 사이의 거리는 a이고, 이 a가 가장 최소화된 지점의 좌표가 P1, P2가 될 때, 상기 두점 P1, P2는 직선의 정의에서 수학식

Figure pat00007
(여기서, V1은 P11에서 P1 을 지나는 벡터이고, V2는 P21에서 P2를 지나는 벡터를 나타낸다)로 나타내고, 상기 점 P1에서 L2를 향해 수직의 방향으로 선을 내리면 P2 지점과 만나게 되어 수학식
Figure pat00008
로 표현되고, 이때, 벡터 P1P2와 L1도 수직으로 쌍방의 내적이 0이 되어, t1은 수학식
Figure pat00009
을 통해 구해져, 페어(pair) 된 두 카메라의 P1, P2를 구하여, 모든 카메라에 투영된 모든 마커 좌표에 대하여 구해지게 된다. Meanwhile, in step (e), the point where the straight line extending from each of the multiple cameras overlaps is the area where the marker exists, which is the shortest distance between the two straight lines, and the origins of the two cameras in the three-dimensional space are P11 and P21. The straight lines passing from the camera origin (P11, P21) to the point of the normalized marker in the world coordinate system are called L1 and L2, and the distance between the two straight lines (L1, L2) is a, and this a is the minimum point. When the coordinates are P1, P2, the two points P1, P2 are equations in the definition of a straight line
Figure pat00007
(Here, V1 is a vector passing from P11 to P1, and V2 is a vector passing from P21 to P2), and if you descend a line from the point P1 to L2 in a vertical direction, it meets the point P2, and the equation
Figure pat00008
At this time, the dot product of both vectors P1P2 and L1 is also vertically 0, and t1 is the equation
Figure pat00009
It is obtained through, P1 and P2 of two paired cameras are obtained, and all marker coordinates projected on all cameras are obtained.

여기에서 구해지는 좌표는 일정 범위 내의 8진 트리(octree) 구조로 데이터 구조가 변환하여 일정 범위 이내에 존재하는 좌표들만 모아서 정렬되며, 상기 일정 범위 내에 존재하는 두 직선의 최단 거리의 좌표의 수가 3대 이상의 카메라에서 관찰이 될 경우, 마커가 존재하는 지점이라고 판단된다. The coordinates obtained here are sorted by collecting only the coordinates that exist within a certain range by converting the data structure into an octree structure within a certain range, and the number of coordinates of the shortest distance of the two straight lines existing within the certain range is three. If the above camera is observed, it is determined that the marker is present.

또한, 상기 단계 (f)는, 상기 마커가 존재하는 것으로 판단된 영역에서 두 직선의 최단 거리의 좌표의 평균을 구하여 3차원 마커가 존재하는 지점의 좌표로 구하게 된다. Further, in the step (f), the average of the coordinates of the shortest distances of two straight lines in the area where the marker is determined to exist is obtained as the coordinates of the point where the 3D marker is present.

본 발명에 따른 3차원 마커 좌표 추정 방법은 다중 카메라에 대한 광선 간의 최단 거리 지점을 찾는 방법을 통해 오류 없이 다중 카메라 간의 2차원 마커 위치의 대응점을 정렬하도록 함으로써 3차원 좌표를 정확하게 계산할 수 있는 효과가 있다.The method of estimating 3D marker coordinates according to the present invention has the effect of accurately calculating 3D coordinates by aligning the corresponding points of the positions of the 2D markers between the multiple cameras without errors through a method of finding the shortest distance point between the rays of the multiple cameras. have.

도 1은 종래 광학식 위치 추적 시스템에서 마커의 대응점 정렬이 성공한 일례,
도 2는 종래 광학식 위치 추적 시스템에서 마커의 대응점 정렬에 오류가 발생한 일례,
도 3은 본 발명에 따른 3차원 마커 좌표 추정 시스템의 전체적인 개념도,
도 4는 본 발명에 따른 3차원 마커 좌표 추정부를 통하여 3차원 마커 좌표가 측정되는 과정을 나타낸 흐름도,
도 5는 본 발명에 따른 다중 카메라의 보정 과정을 나타낸 개념도,
도 6은 본 발명에 따른 핀혼 카메라 모델의 모식도,
도 7은 본 발명에 따라 정규좌표계에서 영상 좌표계로 변환하는 모식도,
도 8은 본 발명에 따라 정규화된 좌표를 월드 좌표계로 변환하는 모식도,
도 9는 본 발명에 따라 모든 카메라에서 반사 마커의 2차원 좌표를 정규좌표계로 변환한 모식도,
도 10은 본 발명에 따라 반사 마커의 2D 좌표를 정규화된 3D 좌표로 변환한 모식도
도 11은 본 발명에 따라 정규화된 마커의 좌표가 무한대의 직선 형태로 표시되는 일례,
도 12는 도 11에서 겹쳐지는 라인의 마커가 존재하는 영역의 확대도,
도 13은 본 발명에 따라 겹쳐지는 두 직선의 최단 거리를 나타낸 모식도,
도 14는 본 발명에 따른 8대의 카메라에서 마커를 바라볼 때 3차원 마커가 존재하는 지점으로 판단된 일례를 나타낸 것이다.1 is an example of successful alignment of corresponding points of markers in a conventional optical positioning system,
2 is an example in which an error occurs in alignment of corresponding points of markers in a conventional optical positioning system,
3 is an overall conceptual diagram of a three-dimensional marker coordinate estimation system according to the present invention,
4 is a flowchart showing a process of measuring 3D marker coordinates through a 3D marker coordinate estimation unit according to the present invention;
5 is a conceptual diagram showing a correction process of multiple cameras according to the present invention;
6 is a schematic diagram of a pinhorn camera model according to the present invention,
7 is a schematic diagram of converting from a normal coordinate system to an image coordinate system according to the present invention;
8 is a schematic diagram of converting normalized coordinates into a world coordinate system according to the present invention;
9 is a schematic diagram of converting two-dimensional coordinates of reflective markers into a normal coordinate system in all cameras according to the present invention;
10 is a schematic diagram of converting 2D coordinates of reflective markers into normalized 3D coordinates according to the present invention
11 is an example in which the coordinates of the normalized marker according to the present invention are displayed in the form of an infinite straight line;
12 is an enlarged view of a region in which markers of lines overlapping in FIG. 11 exist;
13 is a schematic diagram showing the shortest distance of two overlapping straight lines according to the present invention,
14 shows an example determined as a point where a 3D marker exists when looking at a marker from eight cameras according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 실시 예에 따른 3차원 마커 좌표 추정 시스템의 전체적인 개념도를 나타낸 것이다. 3 is an overall conceptual diagram of a 3D marker coordinate estimation system according to an embodiment of the present invention.

본 발명에 따른 3차원 마커 추정 시스템은 인체나 사물 등 대상(강체)에 부착되는 마커(100)와, 상기 마커(100)를 촬영하는 복수의 카메라(200)와, 상기 카메라(100)로부터 마커 영상을 전송받아 분석하여 3차원 마커 좌표를 측정하는 3차원 마커 추정부(300)를 포함한다. The 3D marker estimation system according to the present invention includes a marker 100 attached to an object (rigid body) such as a human body or an object, a plurality of cameras 200 for photographing the marker 100, and a marker from the camera 100. It includes a 3D marker estimating unit 300 that receives and analyzes the image and measures 3D marker coordinates.

상기 3차원 마커 추정부(300)에는 마커(100)의 영상을 촬영하는 복수의 카메라(200)에 대해 각각 보정을 수행하는 카메라 보정모듈(310)과, 보정된 복수의 카메라(200)를 통하여 촬영되는 마커(100)의 영상을 분석하여 3차원 마커 좌표를 계산하는 3차원 마커 좌표 추정모듈(320)이 구비된다. 이 3차원 마커 추정부(300)는 광학식 위치 추적 시스템에 포함되거나, 광학식 위치 추적 시스템과 네트워크를 통하여 연결되는 별도의 컴퓨터 시스템으로 구축될 수 있다. The three-dimensional marker estimating unit 300 includes a camera correction module 310 that performs correction for each of a plurality of cameras 200 that photograph an image of the marker 100, and a plurality of corrected cameras 200. A three-dimensional marker coordinate estimation module 320 that analyzes the image of the captured marker 100 and calculates three-dimensional marker coordinates is provided. The 3D marker estimating unit 300 may be included in an optical position tracking system, or may be constructed as a separate computer system connected to the optical position tracking system through a network.

도 4는 본 발명의 실시 예에 따른 3차원 마커 좌표 추정부를 통하여 3차원 마커 좌표가 측정되는 과정을 나타낸 흐름도이다. 4 is a flowchart illustrating a process of measuring 3D marker coordinates through a 3D marker coordinate estimation unit according to an exemplary embodiment of the present invention.

단계 S100 : 3차원 마커 추정부(300)는 3차원 마커 좌표 추정에 앞서, 먼저 카메라 보정모듈(310)을 통하여 마커(100)를 촬영하는 다중 카메라(200)에 대한 보정 과정을 수행하게 되는데, 도 5는 다중 카메라의 보정 과정을 나타낸 개념도이다. Step S100: Prior to estimating the coordinates of the 3D marker, the 3D marker estimating unit 300 first performs a calibration process for the multiple cameras 200 photographing the marker 100 through the camera calibration module 310, 5 is a conceptual diagram showing a correction process of multiple cameras.

도 5에 도시된 바와 같이, 광학식 마커의 위치 추정을 위해 다중 카메라 보정을 수행하여야 하는데, 다중 카메라 보정을 위해서 먼저 각각의 카메라에 대한 초기 내부 변수를 추정하기 위해 카메라 보정 과정을 수행하며, 다중 카메라로부터 카메라 보정에 사용할 마커 영상을 입력 받게 된다. As shown in FIG. 5, multi-camera correction must be performed to estimate the position of the optical marker. For multi-camera correction, first, a camera correction process is performed to estimate initial internal variables for each camera, and the multi-camera The marker image to be used for camera calibration is input from.

또한, 추정된 초기 카메라 내부 변수와 각각의 카메라에서 추적된 보정용 봉의 마커 정보를 이용하여, 초기 카메라 외부 변수를 추정하게 된다.In addition, by using the estimated initial camera internal variable and marker information of the correction rod tracked by each camera, the initial camera external variable is estimated.

이후, 개별 카메라의 카메라 내부 변수와 외부 변수를 이용하여 보정용 봉의 마커를 3차원 삼각측량 방식을 통해 3차원 좌표로 계산한 뒤, 광속 조정법(bundle adjustment)을 통하여 카메라 내부 및 외부 변수에 대해 최적화를 수행하여 다중 카메라를 보정하게 된다. After that, using the camera internal and external variables of each camera, the marker of the correction rod is calculated in 3D coordinates through a 3D triangulation method, and then optimized for the internal and external variables of the camera through the bundle adjustment method. To calibrate multiple cameras.

단계 S110, S120, S130, S140 : 카메라 보정모듈(310)은 상기 다중 카메라 보정 과정을 통하여 개별 카메라의 내부 변수(intrinsic matrix), 왜곡 변수(distortion), 그리고 3차원 공간상의 카메라 위치 및 자세정보(rotation matrix, translation vector)의 파라미터를 구하게 된다. 이러한 파라미터는 2차원 영상의 좌표를 3차원 좌표로 계산하기 위한 변수로 사용하도록 하는데, 다중 카메라(200)이기 때문에 보정에 사용하는 모든 카메라에 대하여 파라미터를 구하게 된다.Steps S110, S120, S130, S140: The camera correction module 310 includes an intrinsic matrix of an individual camera, a distortion variable, and camera position and posture information in a three-dimensional space through the multi-camera correction process. The parameters of rotation matrix, translation vector) are obtained. These parameters are used as variables for calculating the coordinates of the 2D image as 3D coordinates. Since the multi-camera 200 is used, parameters are obtained for all cameras used for correction.

한편, 다중 카메라(200)의 입력 영상으로부터 3차원 마커 좌표를 추정하기 위해서 3차원 마커 좌표 추정모듈(320)은, 먼저 개별 카메라에 투영된 active/passive 마커(100)의 좌표를 입력 받아(S110), 2차원 영상의 마커 좌표로 추정하게 된다(S120). Meanwhile, in order to estimate the 3D marker coordinates from the input image of the multi-camera 200, the 3D marker coordinate estimation module 320 first receives the coordinates of the active/passive marker 100 projected on the individual camera (S110). ), it is estimated by the marker coordinates of the 2D image (S120).

이때, 2차원 영상 속 마커의 좌표는 영상 좌표계에 위치하고 있기 때문에 이상적인 점 좌표계로 변환하는 과정이 필요하며, 이러한 과정은 입력 좌표의 왜곡 보정 과정이 된다(S130). 입력 좌표의 왜곡 보정은 영상 좌표계(image plane)에서 정규 좌표계(normalized image plane)로 변환하는 과정이라 할 수 있으며, 입력 영상의 image plane의 좌표는

Figure pat00010
, normalized image plane의 변환 좌표는
Figure pat00011
로 사용하도록 한다.At this time, since the coordinates of the markers in the 2D image are located in the image coordinate system, a process of converting to an ideal point coordinate system is required, and this process becomes a distortion correction process of the input coordinates (S130). The distortion correction of input coordinates can be said to be a process of converting from an image plane to a normalized image plane, and the coordinates of the image plane of the input image
Figure pat00010
, the transform coordinate of the normalized image plane is
Figure pat00011
Use it as.

이때, 내부 변수(intrinsic matrix)는

Figure pat00012
(여기서, fx, fy는 초점 거리(focal length)를, cx, cy는 주점(principal point)), 왜곡 변수(distortion)는
Figure pat00013
(여기서, k1, k2, k3은 방사 왜곡(radial distortion coeffiicients), p1, p2는 접선 왜곡(tangential distortion coefficients))로 5개의 요소의 왜곡 계수 입력 벡터로 나타낸다. At this time, the intrinsic matrix is
Figure pat00012
(Where fx and fy are the focal length, cx and cy are the principal point), and the distortion variable is
Figure pat00013
(Here, k1, k2, and k3 are radial distortion coeffiicients, and p1 and p2 are tangential distortion coefficients), which is represented by a distortion coefficient input vector of five elements.

도 6은 핀혼(pinhole) 카메라 모델의 모식도이고, 도 7은 정규좌표계에서 영상 좌표계로 변환하는 모식도를 나타낸 것이다. 또한, 다음의 수학식 1은 도 7의 모식도에 따라 정규좌표계에서 영상 좌표계로 변환하는 과정을 수학식으로 나타낸 것으로, 이를 역으로 계산 과정을 풀이하면 정규좌표계에서의 정규화된 마커(100)의 좌표를 구할 수 있게 된다. 6 is a schematic diagram of a pinhole camera model, and FIG. 7 is a schematic diagram of conversion from a normal coordinate system to an image coordinate system. In addition, the following Equation 1 shows the process of converting from the normal coordinate system to the image coordinate system according to the schematic diagram of FIG. 7 as an equation. If this calculation process is solved in reverse, the coordinates of the normalized marker 100 in the normal coordinate system Can be saved.

Figure pat00014
Figure pat00014

여기서 계산한 정규화된 좌표는 카메라 자신을 기준으로 삼는 카메라 좌표계에서의 3차원 좌표로서, 이는 외부 행렬의 위치 및 자세 정보를 이용하여 월드 좌표계(world coordinate)를 기준으로 변환되어야 한다. 도 8은 정규화된 좌표를 월드 좌표계로 변환하는 모식도를 나타낸 것이고, 수학식 2는 도 8의 모식도에 따라 정규화된 좌표를 월드 좌표계롤 변환하는 수학식을 나타낸 것이다. The normalized coordinates calculated here are three-dimensional coordinates in the camera coordinate system based on the camera itself, which must be converted based on the world coordinate system using position and posture information of the external matrix. FIG. 8 shows a schematic diagram for converting normalized coordinates to a world coordinate system, and Equation 2 shows an equation for converting normalized coordinates to a world coordinate system according to the schematic diagram of FIG. 8.

Figure pat00015
Figure pat00015

여기서 R은 회전행렬, t는 병진벡터를 의미한다. Here, R is the rotation matrix and t is the translation vector.

상기 과정은 다중 카메라 모두에 대하여 진행되어, 남은 카메라가 존재하지 않을 때까지 반복 수행된다(S140).The process is performed for all of the multiple cameras, and is repeatedly performed until there are no remaining cameras (S140).

단계 S150 : 상기 과정을 통하여 모든 카메라에 투영된 마커(100)의 2차원 좌표가 정규화된 좌표로 변환되면, 카메라 원점에서 정규좌표계까지 라인(line)으로 그리게 된다. 도 9는 이러한 모든 카메라에서 반사 마커의 2차원 좌표를 정규좌표계로 변환한 모식도이고, 도 10은 반사 마커의 2D 좌표를 정규화된 3D 좌표로 변환한 모식도를 나타낸 것이다. 이후, 정규화된 마커(100)의 좌표를 무한대의 직선의 형태로 변환하여 표시하게 되는데, 도 11은 이렇게 정규화된 마커의 좌표가 무한대의 직선 형태로 표시되는 일례를 나타낸 것이다. Step S150: When the two-dimensional coordinates of the markers 100 projected on all cameras through the above process are converted into normalized coordinates, a line is drawn from the camera origin to the normal coordinate system. 9 is a schematic diagram of converting the 2D coordinates of a reflective marker into a normal coordinate system in all of these cameras, and FIG. 10 shows a schematic diagram of converting the 2D coordinates of a reflective marker into normalized 3D coordinates. Thereafter, the coordinates of the normalized marker 100 are converted and displayed in the form of an infinite straight line. FIG. 11 shows an example in which the coordinates of the normalized marker 100 are displayed in the form of an infinite straight line.

단계 S160 : 상기 도 11에서와 같이, 각각의 카메라에서 뻗어나온 마커 점의 직선 라인은 겹쳐지는 지점이 발생하게 되는데, 이때 겹쳐지는 지점의 위치가 3차원 공간에서 마커(100)가 존재하는 영역이라고 가정하도록 한다. 도 12는 도 11에서 겹쳐지는 라인의 마커가 존재하는 영역을 확대하여 나타낸 것이다. Step S160: As shown in FIG. 11, a point where the straight line of the marker point extending from each camera overlaps occurs, and the position of the overlap point is an area where the marker 100 exists in the 3D space. Let's assume. FIG. 12 is an enlarged view of an area in which markers of overlapping lines in FIG. 11 exist.

여기에서, 마커(100)가 존재하는 영역은 다수의 직선이 겹쳐지는 곳으로서, 기본적으로 두 직선의 최단 거리인 지점을 찾는 과정이라 할 수 있다. 도 13은 겹쳐지는 두 직선의 최단 거리를 나타낸 모식도로서, P11과 P21이 3차원 공간에서 두 카메라의 원점이라고 가정할 경우, 카메라 원점에서 월드 좌표계에서 정규화된 마커의 점을 지나는 직선이 L1, L2가 된다. 이때 두 직선 사이의 거리는 a라고 할 때, a가 가장 최소화된 지점의 좌표가 P1, P2가 된다. Here, the area where the marker 100 exists is a place where a plurality of straight lines overlap, and may be referred to as a process of finding a point that is the shortest distance between two straight lines. 13 is a schematic diagram showing the shortest distance of two overlapping straight lines. Assuming that P11 and P21 are the origins of two cameras in a three-dimensional space, straight lines passing from the camera origin to the point of the normalized marker in the world coordinate system are L1 and L2. Becomes. At this time, if the distance between the two straight lines is a, the coordinates of the point where a is the most minimized are P1 and P2.

이때, 상기 점 P1, P2는 직선의 정의에서 다음 수학식 3과 같이 나타낼 수 있다. In this case, the points P1 and P2 may be expressed as in Equation 3 below in the definition of a straight line.

Figure pat00016
Figure pat00016

또한, 도 13에서 점 P1에서 L2를 향해 수직의 방향으로 선을 내리면 P2 지점과 만나게 되는데, 이를 수식으로 표현하면 다음의 수학식 4와 같다. In addition, in FIG. 13, when the line is lowered in a vertical direction from point P1 to L2, it meets point P2, which is expressed as an equation as in Equation 4 below.

Figure pat00017
Figure pat00017

그리고 벡터 P1P2와 L1도 수직으로 쌍방의 내적이 0이므로, t1은 다음 수학식 5를 통해 구할 수 있게 된다. And since the dot product of both vectors P1P2 and L1 is also vertically 0, t1 can be obtained through Equation 5 below.

Figure pat00018
Figure pat00018

상기 과정을 통해 페어(pair) 된 두 카메라의 P1, P2를 구하게 되며, 모든 카메라에 투영된 모든 마커 좌표에 대하여 모두 계산하도록 한다. 이렇게 모은 겹쳐지는 직선의 좌표는 일정 범위 내의 8진 트리(octree) 구조로 데이터 구조를 변환하여 일정 범위 이내에 존재하는 좌표들만 모아서 정렬한다.Through the above process, P1 and P2 of two paired cameras are obtained, and all marker coordinates projected on all cameras are calculated. The coordinates of the overlapping straight lines collected in this way are converted into an octree structure within a certain range, and only coordinates existing within a certain range are collected and aligned.

이렇게 일정 범위 내에 존재하는 두 직선의 최단 거리의 좌표의 수가 3대 이상의 카메라에서 관찰이 될 경우 마커(100)가 존재하는 지점이라고 판단하도록 하며, 그 수는 경우의 수를 구하여 판단하게 된다. In this way, when the number of coordinates of the shortest distance of two straight lines within a certain range is observed by three or more cameras, it is determined that the marker 100 exists, and the number is determined by obtaining the number of cases.

예를 들어, 8대의 카메라에서 하나의 마커(100)를 바라볼 경우 경우의 수는

Figure pat00019
이므로 56개이며, 3대 이상의 카메라서 관찰할 경우 나타나는 경우의 수는 6개가 된다. 따라서 정렬된 데이터 수가 6개 이상 56개 이하일 때, 3차원 마커(100)가 존재하는 지점으로 판단하도록 한다. 도 14는 이러한 8대의 카메라에서 마커를 바라볼 때 3차원 마커가 존재하는 지점으로 판단된 일례를 나타낸 것이다.For example, when looking at one marker 100 from 8 cameras, the number of cases is
Figure pat00019
Therefore, it is 56, and the number of cases is 6 when observed with 3 or more cameras. Therefore, when the number of aligned data is 6 or more and 56 or less, it is determined as a point where the 3D marker 100 exists. 14 shows an example of determining a point where a 3D marker exists when looking at a marker from these eight cameras.

단계 S170, S180 : 상기의 과정을 통하여 판단된 마커(100)가 존재하는 영역에서 두 직선의 최단 거리의 좌표의 평균을 구하여 3차원 마커(100)가 존재하는 지점의 좌표로 구하게 된다(S170). 이러한 3차원 마커 좌표를 구하는 과정은 모든 마커에 대하여 수행되어 남은 마커가 존재하지 않을 때까지 반복 수행된다(S180). Steps S170, S180: The average of the coordinates of the shortest distances of two straight lines in the area where the marker 100 determined through the above process exists is obtained as the coordinates of the point where the 3D marker 100 exists (S170). . The process of obtaining the 3D marker coordinates is performed for all markers and repeatedly performed until there are no remaining markers (S180).

이와 같이, 본 발명에서는 3차원 공간에서 3대 이상의 카메라에서 모든 마커에 관하여 무한대의 광선을 그어주고, 광선과 광선 사이 최단 거리가 되는 지점들을 찾아서 3차원 마커의 위치를 추정하게 된다. As described above, in the present invention, infinite rays are drawn with respect to all markers from three or more cameras in a three-dimensional space, and the positions of the three-dimensional markers are estimated by finding points that are the shortest distance between the rays and the rays.

이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. The present invention is not limited to the above-described embodiments, and various modifications and variations within the scope of the technical idea of the present invention and the scope of the claims to be described below by those of ordinary skill in the technical field to which the present invention belongs. Of course this can be done.

100 : 마커 200 : 카메라
300 : 3차원 마커 측정부 310 : 카메라 보정모듈
320 : 3차원 마커 좌표 추정모듈100: marker 200: camera
300: 3D marker measuring unit 310: Camera correction module
320: 3D marker coordinate estimation module

Claims (7)

다중 카메라를 통하여 촬영되는 마커 영상을 분석하여 3차원 마커 좌표를 추정하는 3차원 마커 좌표 추정 방법에 있어서,
(a) 다중 카메라 각각에 대하여 카메라 보정을 수행하여, 각 카메라의 내부 변수와 왜곡 변수 및 3차원 공간상의 카메라 위치 및 자세정보 파라미터를 구하는 단계와;
(b) 다중 카메라로부터 마커 영상을 입력받아, 2차원 영상의 마커 좌표를 추정하는 단계와;
(c) 다중 카메라 보정을 통해 구해진 내부 변수와 왜곡 변수, 카메라 위치 및 자세정보 파라미터를 통하여 2차원 영상 마커 좌표의 왜곡을 보정하여 정규화된 마커의 좌표를 구하는 단계와;
(d) 정규화된 마커 좌표를 무한대 직선의 형태로 변환하여, 다중 카메라 각각에서 뻗어나온 마커 점의 직선 라인이 겹쳐지도록 하는 단계와;
(e) 상기 다중 카메라 각각에서 뻗어나온 직선 라인이 겹쳐지는 지점의 좌표를 구하는 단계와;
(f) 직선 라인이 겹쳐지는 지점의 좌표들의 평균 위치를 계산하여 3차원 마커 좌표를 추정하는 단계;를 포함하는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.
In a three-dimensional marker coordinate estimation method for estimating three-dimensional marker coordinates by analyzing a marker image photographed through multiple cameras,
(a) performing camera correction for each of the multiple cameras to obtain internal variables and distortion variables of each camera, and camera position and attitude information parameters in a three-dimensional space;
(b) receiving marker images from multiple cameras and estimating marker coordinates of the 2D image;
(c) calculating the coordinates of the normalized marker by correcting the distortion of the coordinates of the two-dimensional image marker through the internal and distortion variables obtained through multi-camera correction, and the camera position and posture information parameters;
(d) converting the normalized marker coordinates into an infinite straight line so that the straight line lines of the marker points extending from each of the multiple cameras overlap;
(e) obtaining coordinates of a point where the linear lines extending from each of the multiple cameras overlap;
(f) estimating the three-dimensional marker coordinates by calculating the average position of the coordinates of the point where the linear line overlaps. 3D marker coordinate estimation method comprising a.
 제 1항에 있어서,
상기 단계 (a)에서 다중 카메라 보정은,
다중 카메라 보정을 위해 각각의 카메라에 대한 초기 카메라 내부 변수를 추정하고,
다중 카메라로부터 카메라 보정에 사용할 마커 영상을 입력받아, 각각의 카메라에서 추적된 보정용 봉의 마커 정보를 이용하여 초기 카메라 외부 변수를 추정하며,
상기 추정된 개별 카메라의 카메라 내부 변수와 외부 변수를 이용하여 보정용 봉의 마커를 3차원 삼각측량 방식을 통해 3차원 좌표로 계산한 뒤, 광속 조정법(bundle adjustment)을 통하여 카메라 내부 및 외부 변수에 대해 최적화를 수행하여 다중 카메라를 보정하는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.
The method of claim 1,
In step (a), the multi-camera correction,
For multi-camera calibration, we estimate the initial camera internal variables for each camera,
Receive marker images to be used for camera calibration from multiple cameras, and estimate initial camera external variables using marker information of calibration rods tracked from each camera,
Using the estimated internal and external variables of each camera, the marker of the correction rod is calculated as 3D coordinates through a 3D triangulation method, and then optimized for the internal and external variables of the camera through the bundle adjustment method. 3D marker coordinate estimation method, characterized in that to calibrate the multi-camera by performing.
 제 1항에 있어서,
상기 단계 (c)에서,
영상 좌표계(image plane)에 위치하는 2차원 영상 마커의 좌표를 정규 좌표계(normalized image plane)로 변환하여 왜곡 보정을 수행하되,
입력 영상의 영상 좌표계(image plane)의 좌표는
Figure pat00020
, 정규 좌표계(normalized image plane)의 변환 좌표는
Figure pat00021
로 사용하고,
카메라 내부 변수(intrinsic matrix)는
Figure pat00022
, 왜곡 변수(distortion)는 5개의 요소의 왜곡 계수 입력 벡터인
Figure pat00023
로 나타내며,
정규 좌표계에서 영상 좌표계로 변환하는 다음의 수학식을 역으로 풀이하여 정규 좌표계에서 정규화된 마커의 좌표를 구하는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.
[수학식]
Figure pat00024

The method of claim 1,
In step (c),
Perform distortion correction by converting the coordinates of the 2D image marker located in the image plane into a normalized image plane,
The coordinates of the image plane of the input image are
Figure pat00020
, The transformed coordinates of the normalized image plane are
Figure pat00021
Used as,
The camera intrinsic matrix is
Figure pat00022
, The distortion variable is the input vector of the distortion factor of 5 elements.
Figure pat00023
Represented by
A method for estimating 3D marker coordinates, characterized in that the following equation for converting from a normal coordinate system to an image coordinate system is solved in reverse to obtain the coordinates of the normalized marker in the normal coordinate system.
[Equation]
Figure pat00024

 제 3항에 있어서,
상기 구해진 정규화된 마커의 좌표는 다음의 수학식을 통해 월드 좌표계롤 변환되는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.
[수학식]
Figure pat00025

(여기서 R은 회전행렬, t는 병진벡터를 의미한다)
The method of claim 3,
The three-dimensional marker coordinate estimation method, characterized in that the obtained coordinates of the normalized marker are transformed into a world coordinate system through the following equation.
[Equation]
Figure pat00025

(Where R is the rotation matrix and t is the translation vector)
 제 1항에 있어서,
상기 단계 (e)에서,
상기 다중 카메라 각각에서 뻗어나온 직선 라인이 겹쳐지는 지점은 마커가 존재하는 영역으로 두 직선의 최단 거리인 지점으로서,
3차원 공간에서 두 카메라의 원점을 P11과 P21이라 하고, 카메라 원점(P11, P21)에서 월드 좌표계에서 정규화된 마커의 점을 지나는 직선을 L1, L2라 하며, 두 직선(L1, L2) 사이의 거리는 a이고, 이 a가 가장 최소화된 지점의 좌표가 P1, P2가 될 때, 상기 두점 P1, P2는 직선의 정의에서 수학식
Figure pat00026

(여기서, V1은 P11에서 P1 을 지나는 벡터이고, V2는 P21에서 P2를 지나는 벡터를 나타낸다)로 나타내고,
상기 점 P1에서 L2를 향해 수직의 방향으로 선을 내리면 P2 지점과 만나게 되어 수학식
Figure pat00027

로 표현되고,
이때, 벡터 P1P2와 L1도 수직으로 쌍방의 내적이 0이 되어, t1은 수학식
Figure pat00028

을 통해 구해져,
페어(pair) 된 두 카메라의 P1, P2를 구하여, 모든 카메라에 투영된 모든 마커 좌표에 대하여 구해지는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.
The method of claim 1,
In step (e),
The point where the straight line extending from each of the multiple cameras overlaps is the area where the marker exists, which is the shortest distance between the two straight lines,
The origins of the two cameras in the three-dimensional space are called P11 and P21, and the straight lines passing through the normalized marker point in the world coordinate system at the camera origins (P11, P21) are called L1 and L2, and between the two lines (L1 and L2) The distance is a, and when the coordinates of the point where a is the most minimized are P1 and P2, the two points P1 and P2 are equations in the definition of a straight line.
Figure pat00026

(Here, V1 is a vector passing from P11 to P1, and V2 is a vector passing from P21 to P2),
If the line is lowered in a vertical direction from the point P1 to L2, it meets the point P2, and the equation
Figure pat00027

Is expressed as,
At this time, the dot product of both vectors P1P2 and L1 is also vertically 0, and t1 is the equation
Figure pat00028

Saved through,
3D marker coordinate estimation method, characterized in that by obtaining P1 and P2 of two paired cameras, and obtaining all marker coordinates projected to all cameras.
 제 5항에 있어서,
상기 구해지는 좌표는 일정 범위 내의 8진 트리(octree) 구조로 데이터 구조가 변환하여 일정 범위 이내에 존재하는 좌표들만 모아서 정렬되며,
상기 일정 범위 내에 존재하는 두 직선의 최단 거리의 좌표의 수가 3대 이상의 카메라에서 관찰이 될 경우, 마커가 존재하는 지점이라고 판단되는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.
The method of claim 5,
The obtained coordinates are aligned by collecting only the coordinates existing within a certain range by converting the data structure into an octree structure within a certain range,
3D marker coordinate estimation method, characterized in that when the number of coordinates of the shortest distance of two straight lines existing within the predetermined range is observed by three or more cameras, it is determined that a marker exists.
 제 6항에 있어서,
상기 단계 (f)는,
상기 마커가 존재하는 것으로 판단된 영역에서 두 직선의 최단 거리의 좌표의 평균을 구하여 3차원 마커가 존재하는 지점의 좌표로 구하는 것을 특징으로 하는 3차원 마커 좌표 추정 방법.The method of claim 6,
The step (f),
3D marker coordinate estimation method, characterized in that the average of the coordinates of the shortest distances of two straight lines in the area where the marker is determined to be present is obtained as the coordinates of the point where the 3D marker exists.
KR1020190069599A 2019-06-12 2019-06-12 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System KR102289688B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190069599A KR102289688B1 (en) 2019-06-12 2019-06-12 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190069599A KR102289688B1 (en) 2019-06-12 2019-06-12 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System

Publications (2)

Publication Number Publication Date
KR20200142391A true KR20200142391A (en) 2020-12-22
KR102289688B1 KR102289688B1 (en) 2021-08-13

Family

ID=74086406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190069599A KR102289688B1 (en) 2019-06-12 2019-06-12 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System

Country Status (1)

Country Link
KR (1) KR102289688B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456872B1 (en) * 2021-12-30 2022-10-21 서울대학교산학협력단 System and method for tracking hand motion using strong coupling fusion of image sensor and inertial sensor
KR20230071330A (en) 2021-11-16 2023-05-23 주식회사 디지트랙 Apparatus for Optical Position Tracking
KR102542556B1 (en) * 2022-11-01 2023-06-13 (주) 지오씨엔아이 Method and system for real-time detection of major vegetation in wetland areas and location of vegetation objects using high-resolution drone video and deep learning object recognition technology
KR102621814B1 (en) 2023-10-16 2024-01-09 주식회사 에이펀인터렉티브 Video generating device and method therfor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284059A (en) * 2002-03-27 2003-10-03 Toshiba Lighting & Technology Corp Mobile article tracking apparatus by camera image and method and apparatus for calibrating camera parameter
JP2004037270A (en) * 2002-07-03 2004-02-05 Topcon Corp Data measuring device, method and program for calibration, computer readable recording medium and image data processing device
KR100502560B1 (en) 2002-07-25 2005-07-20 주식회사 솔루션닉스 Apparatus and Method for Registering Multiple Three Dimensional Scan Data by using Optical Marker
KR100825859B1 (en) * 2007-02-15 2008-04-28 한국과학기술연구원 Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system
KR101221449B1 (en) 2009-03-27 2013-01-11 한국전자통신연구원 Apparatus and method for calibrating image between cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284059A (en) * 2002-03-27 2003-10-03 Toshiba Lighting & Technology Corp Mobile article tracking apparatus by camera image and method and apparatus for calibrating camera parameter
JP2004037270A (en) * 2002-07-03 2004-02-05 Topcon Corp Data measuring device, method and program for calibration, computer readable recording medium and image data processing device
KR100502560B1 (en) 2002-07-25 2005-07-20 주식회사 솔루션닉스 Apparatus and Method for Registering Multiple Three Dimensional Scan Data by using Optical Marker
KR100825859B1 (en) * 2007-02-15 2008-04-28 한국과학기술연구원 Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system
KR101221449B1 (en) 2009-03-27 2013-01-11 한국전자통신연구원 Apparatus and method for calibrating image between cameras

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071330A (en) 2021-11-16 2023-05-23 주식회사 디지트랙 Apparatus for Optical Position Tracking
KR102456872B1 (en) * 2021-12-30 2022-10-21 서울대학교산학협력단 System and method for tracking hand motion using strong coupling fusion of image sensor and inertial sensor
KR102542556B1 (en) * 2022-11-01 2023-06-13 (주) 지오씨엔아이 Method and system for real-time detection of major vegetation in wetland areas and location of vegetation objects using high-resolution drone video and deep learning object recognition technology
KR102621814B1 (en) 2023-10-16 2024-01-09 주식회사 에이펀인터렉티브 Video generating device and method therfor

Also Published As

Publication number Publication date
KR102289688B1 (en) 2021-08-13

Similar Documents

Publication Publication Date Title
JP4095491B2 (en) Distance measuring device, distance measuring method, and distance measuring program
KR102289688B1 (en) Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System
JP5392415B2 (en) Stereo image generation apparatus, stereo image generation method, and computer program for stereo image generation
JP6573354B2 (en) Image processing apparatus, image processing method, and program
US6381302B1 (en) Computer assisted 2D adjustment of stereo X-ray images
WO2014061372A1 (en) Image-processing device, image-processing method, and image-processing program
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
US8971576B2 (en) Information processing apparatus and processing method thereof
JP2017091079A (en) Image processing device and method for extracting image of object to be detected from input data
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
JP6282098B2 (en) Calibration apparatus and method
CN101563709A (en) Calibrating a camera system
JP2016197287A (en) Information processing apparatus, information processing method, and program
KR101544021B1 (en) Apparatus and method for generating 3d map
JP6677522B2 (en) Information processing apparatus, control method for information processing apparatus, and program
CN110926330B (en) Image processing apparatus, image processing method, and program
WO2021063128A1 (en) Method for determining pose of active rigid body in single-camera environment, and related apparatus
JP2007333679A (en) Three-dimensional position correcting apparatus
JP2014013147A5 (en)
CN112509125A (en) Three-dimensional reconstruction method based on artificial markers and stereoscopic vision
KR100951309B1 (en) New Calibration Method of Multi-view Camera for a Optical Motion Capture System
CN112200056B (en) Face living body detection method and device, electronic equipment and storage medium
JP6922348B2 (en) Information processing equipment, methods, and programs
KR102289690B1 (en) Method for Estimating Rotation and Movement Position Between Corresponding 3D Marker
CN112802114A (en) Multi-vision sensor fusion device and method and electronic equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant