KR100825859B1 - Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system - Google Patents

Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system Download PDF

Info

Publication number
KR100825859B1
KR100825859B1 KR1020070015858A KR20070015858A KR100825859B1 KR 100825859 B1 KR100825859 B1 KR 100825859B1 KR 1020070015858 A KR1020070015858 A KR 1020070015858A KR 20070015858 A KR20070015858 A KR 20070015858A KR 100825859 B1 KR100825859 B1 KR 100825859B1
Authority
KR
South Korea
Prior art keywords
coordinate system
user
camera
mark point
attached
Prior art date
Application number
KR1020070015858A
Other languages
Korean (ko)
Inventor
정문호
유범재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020070015858A priority Critical patent/KR100825859B1/en
Application granted granted Critical
Publication of KR100825859B1 publication Critical patent/KR100825859B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

An indirect object pose estimating method for a user-wearable camera using an environment camera system is provided to attach a mark point to a user and simultaneously detect the mark point attached to the user and a mark point attached to a moving object by using the environment camera, thereby obtaining change relation between a user-wearable camera coordinate system and an object mark point coordinate system. An indirect object pose estimating method comprises the following steps of: detecting a change relation of a coordinate system of a mark point(34) attached to a user for a global coordinate system and a change relation of a coordinate system of a camera(33) that the user wears for a global coordinate system by using an environment camera group(31); obtaining a change function of the camera coordinate system that the user wears with respect to the mark point coordinate system attached to the user; detecting change relation of a coordinate system of a mark point(35) attached an object for the global coordinate system by using the environment camera group; and obtaining a change function of the mark point coordinate system attached to the object with respect to the camera coordinate system that the user wears.

Description

환경 카메라 시스템을 이용한 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법{Indirect Object Pose Estimation Method With Respect To User-Wearable Camera Using Multi-view Camera System}Indirect Object Pose Estimation Method With Respect To User-Wearable Camera Using Multi-view Camera System

도 1은 본 발명의 일실시예에 포함되는 카메라 캘리브레이션용 구조물을 나타낸 개략도이다.1 is a schematic diagram showing a structure for camera calibration included in an embodiment of the present invention.

도 2는 본 발명의 일실시예에 포함되는 사용자에 부착되는 마크점을 나타낸 사진이다.2 is a photograph showing mark points attached to a user included in an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 시스템의 전체 구성을 나타낸 개략도이다.Figure 3 is a schematic diagram showing the overall configuration of a system according to an embodiment of the present invention.

도 4는 본 발명의 일실시예에 따라 사용자에 부착된 마크점 좌표계와 사용자 착용 카메라 좌표계 사이의 변환관계를 구하는 방법을 나타낸 개략도이다.4 is a schematic diagram illustrating a method of obtaining a transformation relationship between a mark point coordinate system attached to a user and a user wearing camera coordinate system according to an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

31, 41: 환경 카메라군 32, 42: 3차원 캘리브레이션 용 구조물31, 41: environmental camera group 32, 42: structure for 3D calibration

33, 43: 사용자 착용 카메라 34, 44: 사용자 마크점33, 43: user wearing camera 34, 44: user mark point

35: 물체 마크점35: object mark point

본 발명은 3차원 영상기기를 사용하는 시스템에서의 좌표 변환 방법에 관한 것이다. 더욱 구체적으로, 본 발명은 세대 이상의 복수의 카메라를 포함하는 환경 카메라를 사용하여, 환경 카메라에서 사용자의 마크점과 물체의 마크점을 검출하여 사용자 착용 카메라에 물체가 어떻게 투영되는지 알아보는 방법에 관한 것이다.The present invention relates to a coordinate transformation method in a system using a three-dimensional imaging device. More specifically, the present invention relates to a method of detecting an object's mark point and an object's mark point in an environment camera using an environment camera including a plurality of cameras of generations or more, and how to find out how an object is projected on a user's wearing camera. will be.

카메라로 특정한 마크점을 주시할 때, 회전행렬, 이동벡터 등의 변수를 구하여 이들 사이의 변환관계(transformation)를 구하는 방법은 이미 오래전부터 연구되어 왔다. 대표적으로 1987년에 출간된 "IEEE J. Robotics and Automation, Vol.RA-3, No.4" 에 기재된 R.Y.Tsai의 "기성품 TV 카메라 및 렌즈를 이용한 고정밀 3D 머신 비전 도량형을 위한 다용도 카메라 캘리브레이션 기술(a versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the shelf tv cameras and lenses)" 에는 임의의 캘리브레이션(calibration) 타겟에 원점이 위치한 세계 좌표계로부터 카메라 좌표계로의 변환을 구하는 방법이 개시되어 있다. 또한 1987년에 출간된 "the Optical Society of America A, Vol.4"에 기재된 B.K.P. Horn의 "유닛 쿼터니언을 이용한 절대표정의 닫힌 해(closed-form solution of absolute orientation using unit quaternions)" 에는 두 좌표계에서의 3차원 좌표점들이 각각 주어졌을 때, 이 좌표계 사이의 변환관계를 구하는 방법이 제시되어 있다. 또한 복수의 카메라가 특정한 마크점을 주시 할 때 이들 사이의 변환관계도 많이 연구되어 왔다. 대표적으로 2000년 대영사에서 출간된 조강현, 유범재 공역의 "3차원 비젼" 에는 복수 개의 카메라 및 3차원 마크점이 있을 때, 세계 좌표계에 대한 마크점의 좌표를 구하는 방법이 제시되어 있다.When looking at a specific mark point with a camera, a method of obtaining a transformation between them by obtaining variables such as a rotation matrix and a moving vector has been studied for a long time. Versatile camera calibration technology for high-precision 3D machine vision metrology using off-the-shelf TV cameras and lenses from RYTsai, typically published in 1987, "IEEE J. Robotics and Automation, Vol.RA-3, No.4." A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the shelf tv cameras and lenses "discloses a method of obtaining a conversion from a world coordinate system to a camera coordinate system whose origin is located at an arbitrary calibration target. have. See also B.K.P., "The Optical Society of America A, Vol. 4", published in 1987. Horn's "closed-form solution of absolute orientation using unit quaternions" provides a way to calculate the transformation relationship between three coordinate points given two coordinate systems. Presented. In addition, when a plurality of cameras look at a particular mark point, the conversion relationship between them has been studied a lot. Representatively, “3D Vision” of Cho Kang-hyun and Yoo Beom-jae, published by the British Consulate in 2000, shows how to obtain the coordinates of the mark points for the world coordinate system when there are a plurality of cameras and three-dimensional mark points.

복수 개의 환경 카메라가 설치되어 있고, 이러한 환경 카메라의 시야각 내에 마크점 및 카메라(예: HMD 투시형(see-through) 카메라)를 착용한 사용자가 움직이는 물체의 마크점을(예: 로봇의 마크점) 주시할 때, 종래의 방법을 사용하여 세계 좌표계와 사용자 마크점 좌표계 사이의 변환관계 및 사용자 착용 카메라 좌표계와 움직이는 물체의 마크점 좌표계 사이의 변환관계를 구할 수 있다. A plurality of environmental cameras are installed, and mark points of moving objects (e.g., mark points of a robot) that are worn by a user wearing a camera (e.g., HMD see-through camera) within the viewing angle of the environment camera. ), The relation between the world coordinate system and the user mark point coordinate system and the transformation relationship between the user wearing camera coordinate system and the mark point coordinate system of the moving object can be obtained using conventional methods.

그러나 사용자 착용 카메라에 물체의 마크점이 보이지 않는 경우, 종래의 방법으로는 사용자 착용 카메라 좌표계와 움직이는 물체에 부착된 마크점 좌표계 사이의 변환관계를 구할 수 없다. 이 경우, 사용자 및 물체가 전부 환경 카메라 시야각 내에 있기 때문에 환경 카메라를 이용하여 간접적으로 사용자 착용 카메라와 물체 마크점 좌표계 간의 관계를 구해야만 할 것이다.However, when the mark point of an object is not visible to the user wearing camera, the conventional method cannot obtain a conversion relationship between the user wearing camera coordinate system and the mark point coordinate system attached to the moving object. In this case, since the user and the object are all within the environmental camera viewing angle, the relationship between the user wearing camera and the object mark point coordinate system should be obtained indirectly using the environmental camera.

종래 기술에 의할 경우 사용자 착용 카메라에 물체의 마크점이 보이지 않는 경우에는 사용자 착용 카메라와 물체 마크점 좌표계 사이의 변환관계를 구할 수 없다. 본 발명은 상기 문제점을 해결하기 위하여, 사용자에 마크점을 부착하고 환경 카메라를 이용하여 사용자에 부착된 마크점과 움직이는 물체에 부착된 마크점을 동시에 검출함으로써, 사용자 착용 카메라 좌표계와 물체 마크점 좌표계 사이의 변환 관계를 구하는 방법을 제시하는 것을 목적으로 한다.According to the related art, when the mark point of the object is not visible to the user wearing camera, the conversion relationship between the user wearing camera and the object mark point coordinate system cannot be obtained. In order to solve the problem, the present invention attaches a mark point to a user and simultaneously detects a mark point attached to the user and a mark point attached to a moving object by using an environmental camera, so that the user wearing camera coordinate system and the object mark point coordinate system The purpose of this article is to show how to find the transformation relationship between them.

본 발명은 환경 카메라에서 사용자 착용 카메라에 부착된 마크점과 물체에 부착된 마크점을 검출하여, 사용자 착용 카메라에 물체가 어떻게 투영되는지를 알아보는 방법에 관한 것이다. 이것은 결국 사용자 착용 카메라 좌표계와 움직이는 물체에 부착된 마크점 좌표계 사이의 변환관계를 구하는 것과 같다. The present invention relates to a method of detecting a mark point attached to a user wearing camera and a mark point attached to an object in an environmental camera to find out how an object is projected onto the user wearing camera. This is, after all, equivalent to finding a transformation relationship between the coordinates of the user's wearing camera and the coordinates of the mark point attached to the moving object.

좌표계 사이의 변환관계를 구하는 전체 과정The whole process of finding the transformation relationship between coordinate systems

이하, 도 3을 참조하여 본 발명의 일 실시예에 따른 시스템을 설명한다. 도 3에 도시되는 바와 같이, 본 발명에 따른 시스템은 세대 이상의 복수의 카메라를 포함하는 환경 카메라군(31), 3차원 캘리브레이션용 구조물(32), 사용자 착용 카메라(33), 사용자 착용 카메라에 부착된 사용자 마크점(34) 및 사용자로부터 이격되어 위치하는 움직이는 물체에 부착된 마크점(35)을 포함한다.Hereinafter, a system according to an embodiment of the present invention will be described with reference to FIG. 3. As shown in FIG. 3, the system according to the present invention is attached to an environmental camera group 31 including a plurality of generations or more cameras, a structure for three-dimensional calibration 32, a user wearing camera 33, and a user wearing camera. A user mark point 34 and a mark point 35 attached to a moving object spaced apart from the user.

본 발명에서는 3차원 캘리브레이션 용 구조물(32)의 원점에 세계 좌표계가 설정되어 있다. 이때, 세계 좌표계에 대한 사용자 착용 카메라(33) 좌표계의 변환관계

Figure 112007014100063-pat00001
는, 세계 좌표계에 대한 사용자 마크점(34) 좌표계의 변환관계
Figure 112007014100063-pat00002
및 사용자 마크점(34) 좌표계에 대한 사용자 착용 카메라(33) 좌표계의 변환관계
Figure 112007014100063-pat00003
를 이용하여, 다음 수학식에 의하여 얻을 수 있다. In the present invention, a world coordinate system is set at the origin of the three-dimensional calibration structure 32. At this time, the conversion relationship of the coordinate system of the user wearing camera 33 to the world coordinate system
Figure 112007014100063-pat00001
Is a transformation relationship between the user mark point 34 coordinate system and the world coordinate system.
Figure 112007014100063-pat00002
Relationship between the coordinates of the user wearing camera 33 and the coordinate system of the user mark point 34
Figure 112007014100063-pat00003
By using, it can be obtained by the following equation.

Figure 112007014100063-pat00004
Figure 112007014100063-pat00004

이때, 세계 좌표계와 물체 마크점(35) 좌표계 사이의 변환관계를

Figure 112007014100063-pat00005
라 하면, 본 발명의 목적인 사용자 착용 카메라(33) 좌표계에 대한 물체 마크점(35) 좌표계의 변환관계
Figure 112007014100063-pat00006
은 다음 수학식에 의하여 구할 수 있다.At this time, the conversion relationship between the world coordinate system and the coordinate system of the object mark point 35
Figure 112007014100063-pat00005
Then, the transformation relationship of the object mark point 35 coordinate system with respect to the coordinate system of the user wearing camera 33, which is an object of the present invention
Figure 112007014100063-pat00006
Can be obtained by the following equation.

Figure 112007014100063-pat00007
Figure 112007014100063-pat00007

사용자와 물체는 움직이는 존재이므로,

Figure 112007014100063-pat00008
및
Figure 112007014100063-pat00009
은 각각 환경카메라군(31)에 의해 사용자에 부착된 마크점(34) 및 물체에 부착된 마크점(35)을 검출하여 매 프레임 구해야 하는 것이고, 사용자 마크점(34) 좌표계와 사용자 착용 카메라(33) 좌표계 사이의 변환관계
Figure 112007014100063-pat00010
는 고정된 값이므로 오프라인(offline)으로 한 번만 구하면 된다. Since you and the object are moving beings,
Figure 112007014100063-pat00008
And
Figure 112007014100063-pat00009
Is to detect the mark point 34 attached to the user and the mark point 35 attached to the object by the environmental camera group 31, and obtain each frame. The user mark point 34 coordinate system and the user wearing camera ( 33) Conversion relationship between coordinate systems
Figure 112007014100063-pat00010
Is a fixed value and you only need to get it offline once.

사용자 user 마크점Mark point 좌표계에 대한 사용자 착용 카메라 좌표계의 변환 방법 How to Convert User Wearing Camera Coordinate System to Coordinate System

이하, 도 4를 참조하여 사용자 마크점 좌표계에 대한 사용자 착용 카메라 좌표계의 변환관계를 구하는 방법을 설명한다. 도 4에 도시되어 있는 바와 같이, 환경 카메라군(41)은 사용자의 마크점(44) 및 원점에 세계 좌표계가 설정되어 있는 캘리브레이션 용 구조물(42)을 주시하고, 사용자 착용 카메라(43)는 캘리브레이션 용 구조물(42)의 마크점을 주시하도록 한다. 그리고 이러한 마크점의 검출과정을 동시에 수행하고 후술하는 방법에 의하여 각각

Figure 112007014100063-pat00011
및
Figure 112007014100063-pat00012
를 구한다. 이렇게 하면
Figure 112007014100063-pat00013
는 다음 수학식에 의하여 구할 수 있다. Hereinafter, a method of obtaining a transformation relationship of a user wearing camera coordinate system with respect to a user mark point coordinate system will be described with reference to FIG. 4. As shown in FIG. 4, the environmental camera group 41 looks at the user's mark point 44 and the calibration structure 42 in which the world coordinate system is set at the origin, and the user wearing camera 43 is calibrated. The mark point of the structure 42 is to be observed. In addition, the detection process of these mark points is performed at the same time and by the method described below.
Figure 112007014100063-pat00011
And
Figure 112007014100063-pat00012
Obtain This way
Figure 112007014100063-pat00013
Can be obtained by the following equation.

Figure 112007014100063-pat00014
Figure 112007014100063-pat00014

세계 좌표계에 대한 사용자 착용 카메라 좌표계의 변환 방법How to convert user wearing camera coordinate system to world coordinate system

캘리브레이션용 타겟과 카메라가 주어진 경우, 카메라의 내부 변수로서 영상 중심점, 초점 거리 및 외부 변수로서 카메라 좌표계에 대한 캘리브레이션 타겟의 좌표계의 변환관계는 공지된 여러 가지 방법에 의하여 얻어질 수 있고, 대표적인 것으로 전술한 Tsai의 방법이 있다. 도 4와 같은 상태에서, 이러한 방법을 활용하여 사용자 착용 카메라 좌표계에 대한 세계 좌표계의 변환관계로서 회전 행렬

Figure 112007014100063-pat00015
및 이동 벡터
Figure 112007014100063-pat00016
를 구한다. 이때, 세계 좌표계에 대한 사용자 착용 카메라 좌표계의 변환 관계는 다음 수학식에 의하여 구해진다.Given a calibration target and a camera, the transformation relationship of the coordinate target of the calibration target to the camera coordinate system as the image center point, focal length and external variables as the internal variables of the camera can be obtained by various known methods. There is one way of Tsai. In the state as shown in FIG. 4, the rotation matrix is used as a transformation relationship of the world coordinate system to the user wearing camera coordinate system using this method.
Figure 112007014100063-pat00015
And move vector
Figure 112007014100063-pat00016
Obtain At this time, the conversion relationship of the user wearing camera coordinate system with respect to the world coordinate system is obtained by the following equation.

Figure 112007014100063-pat00017
Figure 112007014100063-pat00017

세계 좌표계에 대한 사용자 User for world coordinate system 마크점Mark point 좌표계 및 물체  Coordinate system and object 마크점Mark point 좌표계의 변환 방법 How to Convert Coordinate Systems

3차원 캘리브레이션 용 구조물을 이용하여 환경 카메라군을 구성하는 각 카메라의 캘리브레이션을 수행한다. 이것은 전술한 세계 좌표계에 대한 사용자 착용 카메라 좌표계의 변환 방법을 구하는 과정과 같이, 널리 알려진 여러 가지 카메라 캘리브레이션 방법 중 한 가지를 선택하여 수행할 수 있으며, 대표적인 것으로 전술한 Tsai의 방법이 있다. 그 결과, 각 환경 카메라의 내부 변수로서 Ai, 외부 변수로서 회전 행렬 Ri 및 이동벡터 Ti를 얻을 수 있다. 여기서, i는 각 환경 카메라를 표시하는 인덱스이다. 이때, Pi를 설정하여, 그 값은 다음 수학식에 따라 결정한다.Calibration is performed for each camera constituting the environmental camera group using the three-dimensional calibration structure. This may be performed by selecting one of a variety of well-known camera calibration methods, such as a process of obtaining a conversion method of a user-wearing camera coordinate system with respect to the world coordinate system described above, and the typical Tsai method. As a result, Ai can be obtained as an internal variable of each environment camera, a rotation matrix Ri and a motion vector Ti as an external variable. Where i is an index indicating each environmental camera. At this time, P i is set and its value is determined according to the following equation.

Figure 112007014100063-pat00018
Figure 112007014100063-pat00018

다음으로, 세계 좌표계에서의 사용자의 마크점 혹은 물체 마크점의 좌표를 Mj 라 한다. 여기서 j는 각 마크점을 표시하는 인덱스이다. 또한, 이것에 대응하여 환경 카메라군을 구성하는 각 카메라에 투영된 영상 좌표를 mi (j) 라 하며, 그 값은 다음 수학식에 따라 설정한다.Next, the coordinates of the user's mark point or the object mark point in the world coordinate system M j It is called. Where j is an index indicating each mark point. Corresponding to this, an image coordinate projected on each camera constituting the environmental camera group is referred to as m i (j) , and its value is set according to the following equation.

Figure 112007014100063-pat00019
Figure 112007014100063-pat00019

이 경우, 스케일 값을 si (j)라 하면, 다음 수학식이 성립한다.In this case, if the scale value is s i (j) , the following equation holds.

Figure 112007014100063-pat00020
Figure 112007014100063-pat00020

여기서, i는 2 이상 K 이하의 정수 값이다. 또한, 전술한 수학식 7에 의하여 다음 수학식을 얻을 수 있다.Here, i is an integer value of 2 or more and K or less. Further, the following equation can be obtained by the above equation (7).

Figure 112007014100063-pat00021
Figure 112007014100063-pat00021

Figure 112007014100063-pat00022
Figure 112007014100063-pat00022

Figure 112007014100063-pat00023
Figure 112007014100063-pat00023

단, 여기서 2 ≤ i ≤ K 이며,

Figure 112007014100063-pat00024
은
Figure 112007014100063-pat00025
의 m행 n열을 의미한다.Provided that 2 ≦ i ≦ K,
Figure 112007014100063-pat00024
silver
Figure 112007014100063-pat00025
M means n rows.

이때 Mj 는 다음 수학식에 의하여 구할 수 있다.Where M j Can be obtained by the following equation.

Figure 112007014100063-pat00026
Figure 112007014100063-pat00026

전술한 방법에 의하여 세 개 이상의 좌표점을 구한다. 이들 좌표점으로부터 마크점의 좌표계를 설정한다. 좌표계를 설정하는 방법은 SVD(Singular Value Decomposition)를 이용하는 것과, 특정한 세 점들로부터 구하는 방법이 있다. 이들 방법 중 어떤 방법을 쓰더라도 좌표계의 원점

Figure 112007014100063-pat00027
및 세 축
Figure 112007014100063-pat00028
,
Figure 112007014100063-pat00029
,
Figure 112007014100063-pat00030
을 구할 수 있다. 설정된 마크점 좌표계에 대한 마크점의 좌표 Nj는 다음 수학식에 의하여 구할 수 있다.Three or more coordinate points are obtained by the method described above. The coordinate system of the mark point is set from these coordinate points. There are two methods of setting the coordinate system: SVD (Singular Value Decomposition) and obtaining from three specific points. The origin of the coordinate system in either of these methods
Figure 112007014100063-pat00027
And three axis
Figure 112007014100063-pat00028
,
Figure 112007014100063-pat00029
,
Figure 112007014100063-pat00030
Can be obtained. The coordinate N j of the mark point with respect to the set mark point coordinate system can be obtained by the following equation.

Figure 112007014100063-pat00031
Figure 112007014100063-pat00031

수학식 12는 한번 수행하는 것으로 설정된 좌표계에 대한 마크점의 좌표를 초기화 하는 과정이다.Equation 12 is a process of initializing the coordinates of the mark point for the coordinate system set to be performed once.

두 좌표계에서 각각 좌표를 측정한 세 개 이상의 점으로부터 두 좌표계 사이의 변환관계를 구하는 방법은 이미 많이 연구되어 왔으며, 대표적인 것으로 전술한 Horn의 저술에 설명된 방법이 있다. 이러한 방법을 적용하면 세계 좌표계에 대한 사용자 마크점 좌표계의 변환관계

Figure 112007014100063-pat00032
및 세계 좌표계에 대한 물체 마크점 좌표계의 변환관계
Figure 112007014100063-pat00033
를 구할 수 있다. The method of obtaining the transformation relationship between two coordinate systems from three or more points measuring coordinates in each of the two coordinate systems has been studied a lot, and the representative method is the method described in the aforementioned Horn. By applying this method, the transformation relationship of the user mark point coordinate system to the world coordinate system
Figure 112007014100063-pat00032
Relation of Object Mark Point Coordinate System with Representation and World Coordinate System
Figure 112007014100063-pat00033
Can be obtained.

Figure 112007014100063-pat00034
및
Figure 112007014100063-pat00035
은 수학식 2에서와 같이,
Figure 112007014100063-pat00036
을 구하기 위하여 매 프레임 계산되어야 한다. 이때, 수학식 11에 의하여 매 프레임마다 각 Nj에 대응하는 대응점 Mj 를 구해야 한다. 그리고 도 4에 도시되는 바와 같이,
Figure 112007014100063-pat00037
은 수학식 3을 이용하여
Figure 112007014100063-pat00038
를 구할 때도 계산되어야 한다.
Figure 112007014100063-pat00034
And
Figure 112007014100063-pat00035
Is as in Equation 2,
Figure 112007014100063-pat00036
Each frame must be calculated to find. In this case, the corresponding point corresponding to each N j in every frame according to Equation 11 M j Should be obtained. And as shown in FIG. 4,
Figure 112007014100063-pat00037
Using equation (3)
Figure 112007014100063-pat00038
It should also be calculated when

본 발명에 의하면, 도 4와 같은 상태에서 세계 좌표계에 대한 사용자 착용 카메라 좌표계의 변환관계

Figure 112007014100063-pat00039
및 세계 좌표계에 대한 사용자 마크점 좌표계의 변환관계
Figure 112007014100063-pat00040
를 동시에 구하여, 사용자 마크점 좌표계에 대한 사용자 착용 카메라 좌표계의 변환관계
Figure 112007014100063-pat00041
를 구할 수 있고, 이렇게 미리 구해둔 변환관계
Figure 112007014100063-pat00042
와 도 3과 같은 상태에서 매 프레임 구한 세계 좌표계에 대한 물체 마크점 좌표계의 변환 관계
Figure 112007014100063-pat00043
및 세계 좌표계에 대한 사용자 마크점 좌표계의 변환관계
Figure 112007014100063-pat00044
를 이용하여, 본 발명의 목적인 사용자 착용 카메라 좌표계에 대한 물체 마크점 좌표계의 변환관계
Figure 112007014100063-pat00045
를 얻을 수 있다.According to the present invention, the conversion relationship of the user wearing camera coordinate system to the world coordinate system in the state as shown in FIG.
Figure 112007014100063-pat00039
Relationship between the user mark point coordinate system and the global coordinate system
Figure 112007014100063-pat00040
Transformation Relationship of User's Wearing Camera Coordinate System to User Mark Point Coordinate System
Figure 112007014100063-pat00041
You can get the conversion relationship
Figure 112007014100063-pat00042
3 and the transformation relationship between the object mark point coordinate system and the world coordinate system obtained every frame in the same state as in FIG. 3.
Figure 112007014100063-pat00043
Relationship between the user mark point coordinate system and the global coordinate system
Figure 112007014100063-pat00044
Transformation relationship of the object mark point coordinate system to the user wearing camera coordinate system which is an object of the present invention using
Figure 112007014100063-pat00045
Can be obtained.

전술한 내용은 본 발명의 일 실시예를 기초로 하여 서술되었으나, 세계 좌표계에 대한 각 좌표계의 변환관계를 구하는 방법은 상기 실시예에 의하여 제한되지 않으며, 당업자는 다양한 방법들을 사용하여 좌표계 사이의 변환관계를 구할 수 있다. 따라서 전술한 실시예는 단지 예시로서 기술되었으며, 본 발명은 후술하는 특허청구범위 이외의 것에 의하여 제한되지 않는다.Although the foregoing has been described on the basis of an embodiment of the present invention, the method for obtaining the transformation relationship of each coordinate system with respect to the world coordinate system is not limited by the above embodiment, and those skilled in the art can convert between coordinate systems using various methods. A relationship can be obtained. Accordingly, the foregoing embodiments have been described by way of example only, and the present invention is not limited by the scope of the claims below.

본 발명에 따라, 사용자가 마크점을 부착하고 HMD 투시형 카메라를 착용하고 있으며 마크점을 부착한 로봇이 원격지의 사람의 움직임을 따라하는 시스템을 구성할 수 있다. 이 경우 사용자가 착용한 HMD 투시형 카메라에 원격지의 사람을 묘사한 아바타를 로봇 대신에 디스플레이하면 원격지의 사람을 눈 앞에서 만나는 것과 같은 효과를 얻을 수 있으며, 이러한 효과는 엔터테인먼트 분야에서 폭넓게 활용될 수 있다.According to the present invention, a user attaches a mark point and wears an HMD see-through camera, and the robot with the mark point can configure a system that follows the movement of a person in a remote place. In this case, an avatar depicting a remote person can be displayed on the HMD see-through camera worn by the user instead of a robot, and the same effect as meeting the remote person in front of the eyes can be widely used in the entertainment field. .

Claims (8)

복수의 카메라를 포함하는 환경 카메라군, 원점에 세계 좌표계가 설정되는 카메라 캘리브레이션용 3차원 구조물, 사용자가 착용하는 카메라, 상기 사용자에 부착된 마크점 및 상기 사용자로부터 이격되어 위치하는 물체에 부착된 마크점을 포함하는 시스템을 사용하여,Environmental camera group including a plurality of cameras, three-dimensional structure for the camera calibration, the world coordinate system is set to the origin, the camera worn by the user, the mark point attached to the user and the mark attached to the object spaced apart from the user Using a system that includes points, 상기 환경 카메라군을 이용하여 상기 세계 좌표계에 대한 상기 사용자에 부착된 마크점 좌표계의 변환관계 및 상기 세계 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환 관계를 검출하는 단계(a);Detecting a conversion relationship between a mark point coordinate system attached to the user to the world coordinate system and a conversion relationship between a camera coordinate system worn by the user to the world coordinate system using the environmental camera group; 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환식을 구하는 단계(b);Obtaining a conversion equation of a camera coordinate system worn by the user with respect to the mark point coordinate system attached to the user; 상기 환경 카메라군을 이용하여 상기 세계 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환관계를 검출하는 단계(c); 및(C) detecting a transformation relationship of a mark point coordinate system attached to the object with respect to the world coordinate system using the environment camera group; And 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환식을 구하는 단계(d)를 포함하는 것을 특징으로 하는 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법.And (d) obtaining a conversion equation of a mark point coordinate system attached to the object with respect to the camera coordinate system worn by the user. 제1항에 있어서, The method of claim 1, 상기 단계(b)는,Step (b) is, 상기 세계 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00046
, 상기 세계 좌표계에 대한 상기 사용자에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00047
, 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00048
라 할 경우, The conversion relationship of the camera coordinate system worn by the user with respect to the world coordinate system
Figure 112007014100063-pat00046
A transformation relationship between a mark point coordinate system attached to the user and the world coordinate system;
Figure 112007014100063-pat00047
A conversion relationship between a camera coordinate system worn by the user and a mark point coordinate system attached to the user.
Figure 112007014100063-pat00048
If you do
Figure 112007014100063-pat00049
의 수학식에 의하여 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환식을 구하는 단계인 것을 특징으로 하는 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법.
Figure 112007014100063-pat00049
And obtaining a conversion equation of the camera coordinate system worn by the user with respect to the mark point coordinate system attached to the user by the following equation. 제1항에 있어서, The method of claim 1, 상기 단계(d)는,Step (d) is, 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 세계 좌표계의 변환관계를
Figure 112007014100063-pat00050
, 상기 세계 좌표계에 대한 상기 사용자에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00051
, 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00052
, 상기 세계 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00053
, 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00054
라 할 경우,The conversion relationship of the world coordinate system to the camera coordinate system worn by the user
Figure 112007014100063-pat00050
A transformation relationship between a mark point coordinate system attached to the user and the world coordinate system;
Figure 112007014100063-pat00051
A conversion relationship between a camera coordinate system worn by the user and a mark point coordinate system attached to the user.
Figure 112007014100063-pat00052
, The transformation relationship of the mark point coordinate system attached to the object with respect to the world coordinate system
Figure 112007014100063-pat00053
And a transformation relationship between a mark point coordinate system attached to the object and a camera coordinate system worn by the user.
Figure 112007014100063-pat00054
If you do
Figure 112007014100063-pat00055
의 수학식에 의하여 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환식을 구하는 단계인 것을 특징으로 하는 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법.
Figure 112007014100063-pat00055
And calculating a transformation equation of a mark point coordinate system attached to the object with respect to the camera coordinate system worn by the user. 제1항에 있어서,The method of claim 1, 상기 단계(b)는,Step (b) is, 상기 세계 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00056
, 상기 세계 좌표계에 대한 상기 사용자에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00057
, 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00058
라 할 경우,The conversion relationship of the camera coordinate system worn by the user with respect to the world coordinate system
Figure 112007014100063-pat00056
A transformation relationship between a mark point coordinate system attached to the user and the world coordinate system;
Figure 112007014100063-pat00057
A conversion relationship between a camera coordinate system worn by the user and a mark point coordinate system attached to the user.
Figure 112007014100063-pat00058
If you do
Figure 112007014100063-pat00059
의 수학식에 의하여 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환식을 구하는 단계이며,
Figure 112007014100063-pat00059
Obtaining a conversion equation of the camera coordinate system worn by the user with respect to the mark point coordinate system attached to the user by 상기 단계(d)는,Step (d) is, 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 세계 좌표계의 변환관계 를
Figure 112007014100063-pat00060
, 상기 세계 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00061
, 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00062
라 할 경우,The conversion relationship of the world coordinate system to the camera coordinate system worn by the user
Figure 112007014100063-pat00060
, The transformation relationship of the mark point coordinate system attached to the object with respect to the world coordinate system
Figure 112007014100063-pat00061
And a transformation relationship between a mark point coordinate system attached to the object and a camera coordinate system worn by the user.
Figure 112007014100063-pat00062
If you do
Figure 112007014100063-pat00063
의 수학식에 의하여 상기 사용자가 착용하는 카메라 좌표계에 대한 상기 물체에 부착된 마크점 좌표계의 변환식을 구하는 단계인 것을 특징으로 하는 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법.
Figure 112007014100063-pat00063
And calculating a transformation equation of a mark point coordinate system attached to the object with respect to the camera coordinate system worn by the user. 제1항 또는 제4항 중 어느 하나의 항에 있어서,The method according to any one of claims 1 to 4, 상기 환경 카메라군은 3대 이상의 환경 카메라를 포함하는 것을 특징으로 하는 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법.And the environmental camera group includes three or more environmental cameras. 제1항 또는 제4항 중 어느 하나의 항에 있어서,The method according to any one of claims 1 to 4, 상기 사용자가 착용하는 카메라는 HMD 투시형 카메라인 것을 특징으로 하는 사용자 착용 카메라에 대한 물체 자세의 간접적 추정 방법.The indirect estimation method of the object posture with respect to the user wearing camera, characterized in that the camera worn by the user is a HMD perspective camera. 복수의 카메라를 포함하는 환경 카메라군, 원점에 세계 좌표계가 설정되는 카메라 캘리브레이션용 3차원 구조물, 사용자가 착용하는 카메라 및 상기 사용자에 부착된 마크점을 포함하는 시스템을 사용하여,Using a system including an environmental camera group including a plurality of cameras, a three-dimensional structure for camera calibration in which the world coordinate system is set at the origin, a camera worn by a user, and a mark point attached to the user, 상기 환경 카메라군을 이용하여 상기 세계 좌표계에 대한 상기 사용자에 부착된 마크점 좌표계의 변환관계 및 상기 세계 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환 관계를 검출하는 단계; 및Detecting a transformation relationship between a mark point coordinate system attached to the user with respect to the world coordinate system and a transformation relationship between a camera coordinate system worn by the user with respect to the world coordinate system using the environmental camera group; And 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환식을 구하는 단계를 포함하는 것을 특징으로 하는 사용자에 부착된 마크점 좌표계와 사용자 착용 카메라 좌표계 사이의 변환관계를 구하는 방법.And obtaining a conversion equation of the camera coordinate system worn by the user with respect to the mark point coordinate system attached to the user. 제 7항에 있어서,The method of claim 7, wherein 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환식을 구하는 단계는,Obtaining a conversion equation of the camera coordinate system worn by the user with respect to the mark point coordinate system attached to the user, 상기 세계 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00064
, 상기 세계 좌표계에 대한 상기 사용자에 부착된 마크점 좌표계의 변환관계를
Figure 112007014100063-pat00065
, 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환관계를
Figure 112007014100063-pat00066
라 할 경우, The conversion relationship of the camera coordinate system worn by the user with respect to the world coordinate system
Figure 112007014100063-pat00064
A transformation relationship between a mark point coordinate system attached to the user and the world coordinate system;
Figure 112007014100063-pat00065
A conversion relationship between a camera coordinate system worn by the user and a mark point coordinate system attached to the user.
Figure 112007014100063-pat00066
If you do
Figure 112007014100063-pat00067
의 수학식에 의하여 상기 사용자에 부착된 마크점 좌표계에 대한 상기 사용자가 착용하는 카메라 좌표계의 변환식을 구하는 단계인 것을 특징으로 하는 사용자에 부착된 마크점 좌표계와 사용자 착용 카메라 좌표계 사이의 변환관계를 구하는 방법.
Figure 112007014100063-pat00067
Obtaining a conversion relationship between a mark point coordinate system attached to the user and a user wearing camera coordinate system, wherein the conversion equation of the camera coordinate system worn by the user with respect to the mark point coordinate system attached to the user is calculated according to the following equation. Way.
KR1020070015858A 2007-02-15 2007-02-15 Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system KR100825859B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070015858A KR100825859B1 (en) 2007-02-15 2007-02-15 Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070015858A KR100825859B1 (en) 2007-02-15 2007-02-15 Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system

Publications (1)

Publication Number Publication Date
KR100825859B1 true KR100825859B1 (en) 2008-04-28

Family

ID=39572810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070015858A KR100825859B1 (en) 2007-02-15 2007-02-15 Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system

Country Status (1)

Country Link
KR (1) KR100825859B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962557B1 (en) 2009-02-05 2010-06-11 한국과학기술원 Augmented reality implementation apparatus and method of the same
KR20200142391A (en) * 2019-06-12 2020-12-22 (주)코어센스 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System
KR20210085549A (en) * 2019-12-30 2021-07-08 주식회사 버넥트 Method and system for posture estimation about object tracking taken by camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889550A (en) 1996-06-10 1999-03-30 Adaptive Optics Associates, Inc. Camera tracking system
KR20040008456A (en) * 2002-07-18 2004-01-31 손광훈 Apparatus for Embodying Stereo/Multiview Realistic Mixed Reality using Pose Estimation and Method Thereof
JP2005345161A (en) 2004-05-31 2005-12-15 Rikogaku Shinkokai System and method of motion capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889550A (en) 1996-06-10 1999-03-30 Adaptive Optics Associates, Inc. Camera tracking system
KR20040008456A (en) * 2002-07-18 2004-01-31 손광훈 Apparatus for Embodying Stereo/Multiview Realistic Mixed Reality using Pose Estimation and Method Thereof
JP2005345161A (en) 2004-05-31 2005-12-15 Rikogaku Shinkokai System and method of motion capture

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962557B1 (en) 2009-02-05 2010-06-11 한국과학기술원 Augmented reality implementation apparatus and method of the same
KR20200142391A (en) * 2019-06-12 2020-12-22 (주)코어센스 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System
KR102289688B1 (en) * 2019-06-12 2021-08-13 (주)코어센스 Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System
KR20210085549A (en) * 2019-12-30 2021-07-08 주식회사 버넥트 Method and system for posture estimation about object tracking taken by camera
KR102299936B1 (en) * 2019-12-30 2021-09-09 주식회사 버넥트 Method and system for posture estimation about object tracking taken by camera

Similar Documents

Publication Publication Date Title
EP3552077B1 (en) Systems and methods for tracking motion and gesture of heads and eyes
JP6687204B2 (en) Projection image generation method and apparatus, and mapping method between image pixels and depth values
EP4224424A1 (en) Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale
CN111899282B (en) Pedestrian track tracking method and device based on binocular camera calibration
CN106980368A (en) A kind of view-based access control model calculating and the virtual reality interactive device of Inertial Measurement Unit
US20160125585A1 (en) Camera system and image registration method thereof
JP2016525842A (en) Method for camera motion prediction and correction
JP2009042162A (en) Calibration device and method therefor
CN114615441A (en) Calibration device and calibration method
CN113361365B (en) Positioning method, positioning device, positioning equipment and storage medium
US11504608B2 (en) 6DoF inside-out tracking game controller
CN109474817B (en) Optical sensing device, method and optical detection module
KR100825859B1 (en) Indirect object pose estimation method with respect to user-wearable camera using multi-view camera system
CN107449403B (en) Time-space four-dimensional joint imaging model and application
Satoh et al. Robot vision-based registration utilizing bird's-eye view with user's view
CN111383282A (en) Pose information determination method and device
EP3577893A1 (en) Imaging apparatus
US11941851B2 (en) Systems and methods for calibrating imaging and spatial orientation sensors
CN113474819A (en) Information processing apparatus, information processing method, and program
CN113947621A (en) Method and system for estimating displacement and three-dimensional scene point coordinates of multi-view camera
Zhao et al. A real-time handheld 3D temperature field reconstruction system
Yan et al. Camera calibration in binocular stereo vision of moving robot
Janin et al. Videometric head tracker for augmented reality applications
Triputen et al. Closed-form solution for IMU based LSD-SLAM point cloud conversion into the scaled 3D world environment
JP2015100868A (en) Robot system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170809

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee