KR101575934B1 - Apparatus and method for motion capture using inertial sensor and optical sensor - Google Patents

Apparatus and method for motion capture using inertial sensor and optical sensor Download PDF

Info

Publication number
KR101575934B1
KR101575934B1 KR1020130142187A KR20130142187A KR101575934B1 KR 101575934 B1 KR101575934 B1 KR 101575934B1 KR 1020130142187 A KR1020130142187 A KR 1020130142187A KR 20130142187 A KR20130142187 A KR 20130142187A KR 101575934 B1 KR101575934 B1 KR 101575934B1
Authority
KR
South Korea
Prior art keywords
calculating
velocity
motion information
image frame
estimating
Prior art date
Application number
KR1020130142187A
Other languages
Korean (ko)
Other versions
KR20150058882A (en
Inventor
장준수
김근호
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020130142187A priority Critical patent/KR101575934B1/en
Publication of KR20150058882A publication Critical patent/KR20150058882A/en
Application granted granted Critical
Publication of KR101575934B1 publication Critical patent/KR101575934B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

모션 캡쳐 장치는 제1 오브젝트의 모션 정보를 측정하는 관성 센서; 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부; 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 추정부를 포함할 수 있다.The motion capture device includes an inertia sensor for measuring motion information of the first object; An image obtaining unit obtaining at least one image frame for a pattern marker attached to the inertial sensor; A calculation unit for calculating a first position of the first object from the motion information and a second position of the first object based on the obtained at least one image frame; And an estimating unit estimating a position of the first object including the first position and the second position at respective reflection ratios.

Description

관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법{APPARATUS AND METHOD FOR MOTION CAPTURE USING INERTIAL SENSOR AND OPTICAL SENSOR}TECHNICAL FIELD [0001] The present invention relates to an apparatus and method for motion capture using an inertial sensor and an optical sensor,

모션 캡쳐 장치 및 방법에 연관되며, 구체적으로는 관성 센서를 기반으로 한 모션 캡쳐에 광학 센서에 의한 모션 캡쳐를 반영하여 오브젝트에 대한 모션 정보를 정확하게 추정하는 장치 및 방법에 연관된다.And more particularly to an apparatus and method for accurately estimating motion information on an object by reflecting motion capture by an optical sensor in motion capture based on an inertial sensor.

모션 캡쳐는 움직이는 물체(인체, 도구 등의 움직임이 가능한 오브젝트)를 컴퓨터에서 인식할 수 있는 디지털 형태로 기록하는 장치 및 과정을 의미한다.Motion capture refers to an apparatus and a process for recording a moving object (an object capable of moving human bodies, tools, etc.) in a digital form that can be recognized by a computer.

모션 캡쳐는 주로 인간의 동작을 캡쳐하여 합성된 가상의 연기자를 생성하는 데에 사용된다.Motion capture is mainly used to capture human motion and generate synthesized virtual actors.

특별히 제작된 마커나 센서들을 연기자의 관절 주위에 부착시킨 후, 시간에 따른 마커들의 3차원 위치를 샘플링하는 하드웨어를 이용하여 모션 데이터 집합을 얻어낼 수 있다. 이들 데이터를 처리하는 소프트웨어 또는 하드웨어를 사용하여 연기자의 동작 데이터를 획득하게 된다.Motion data sets can be obtained using hardware that attaches specially crafted markers or sensors around the performer's joints and then samples the three-dimensional position of the markers over time. Software or hardware that processes these data is used to obtain the actor's operational data.

기계식 방식의 모션 캡쳐 장치는 데이터의 품질이 떨어지는 점이 있으며, 자이로 방식의 모션 켭쳐 장치는 위치 값 등의 부재로 부정확한 위치값과 계단을 오를 수 없는 점이 있다. 마그네틱 방식의 모션 캡쳐 장치는 외부의 영향을 매우 쉽게 받아서 왜곡되는 일이 생길 수 있다.The mechanical motion capture device has poor data quality, and the gyro-type motion-on-turn-by device is incapable of ascending the stance due to the incorrect position value due to the absence of the position value or the like. The magnetic motion capture device can be easily distorted due to external influences.

또한, 광학식 방식의 모션 캡쳐 장치는 마커의 손실로 인한 동작의 에러 및 마커가 뒤바뀌는 스왑 현상이 있다.In addition, the optical type motion capture device has a swap phenomenon in which an error in operation due to the loss of the marker and a reversal of the marker occur.

따라서, 움직이는 오브젝트에 대한 정확하고 안정적인 위치 값 등을 추정할 수 있는 장치 및 방법이 필요하다.Therefore, there is a need for an apparatus and method that can estimate accurate and stable position values for a moving object.

일측에 따르면, 제1 오브젝트의 모션 정보를 측정하는 관성 센서; 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부; 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 추정부를 포함하는 모션 캡쳐 장치가 제공된다.According to one aspect, an inertial sensor for measuring motion information of a first object; An image obtaining unit obtaining at least one image frame for a pattern marker attached to the inertial sensor; A calculation unit for calculating a first position of the first object from the motion information and a second position of the first object based on the obtained at least one image frame; And an estimator for estimating a position of the first object including the first position and the second position at respective reflection ratios.

일실시예에 따르면, 상기 추정부는, 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산할 수 있다.According to an embodiment, the estimator may calculate a reliability corresponding to a ratio of the magnitude of the first noise detected in the first position calculation and the magnitude of the second noise detected in the second position calculation.

다른 일실시예에 따르면, 상기 추정부는, 상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정할 수 있다.According to another embodiment, the estimating unit may determine the reflection ratio of each of the first position and the second position based on the calculated noise.

일실시예에 따르면, 상기 신뢰도는, 상기 패턴 마커에 있는 전체 특징점 개수에 대한 검출된 특징점 개수에 비례할 수 있다.According to one embodiment, the reliability may be proportional to the number of detected feature points for the total number of feature points in the pattern marker.

다른 일실시예에 따르면, 상기 신뢰도는, 상기 패턴 마커에 대한 측정된 컬러값 편차에 반비례할 수 있다.According to another embodiment, the reliability may be inversely proportional to the measured color value deviation for the pattern marker.

한편, 상기 측정된 컬러값 편차는, 세부 패턴 마커 각각의 내부 픽셀 컬러값의 표준편차의 합일 수 있다.Meanwhile, the measured color value deviation may be the sum of the standard deviation of the internal pixel color values of the detailed pattern markers.

또 다른 일실시예에 따르면, 상기 신뢰도는, 상기 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값에 비례할 수 있다.According to another embodiment, the reliability may be proportional to the pixel difference value in the contour corresponding to the boundary of the detailed pattern markers for the pattern marker.

일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나일 수 있다.According to one embodiment, the motion information may be at least one of acceleration information and angular acceleration information of the first object.

다른 일실시예에 따르면, 상기 계산부는, 상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하고, 상기 추정부는, 상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정할 수 있다.According to another embodiment, the calculation unit may calculate the first velocity of the first object from the motion information, calculate the second velocity of the first object based on the obtained at least one image frame, The estimator may estimate the velocity of the first object including the first velocity and the second velocity as reflection ratios, respectively.

또 다른 일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 각속도 정보이며, 상기 계산부는, 적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정할 수 있다.According to another embodiment, the motion information is the angular velocity information of the first object, and the calculation unit calculates the normal vector of the plane for the feature points from the coordinate values of at least three feature points in the at least one image frame. (Normal Vector) may be calculated to estimate at least one of an angle and an angular velocity.

일실시예에 따르면, 상기 추정부는, 서로 다른 패턴을 가지고 있는 제1 패턴 마커와 제2 패턴 마커를 구별할 수 있다.According to an embodiment, the estimating unit can distinguish the first pattern marker and the second pattern marker having different patterns.

또한, 상기 서로 다른 패턴은, 서로 다른 색깔 조합 및 서로 다른 명암 조합 중 적어도 하나일 수 있다.In addition, the different patterns may be at least one of different color combinations and different light and dark combinations.

다른 일측에 따르면, 관성 센서가 제1 오브젝트의 모션 정보를 측정하는 단계; 이미지 획득부가 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계; 계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 단계; 및 추정부가 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 단계를 포함하는 모션 캡쳐 방법이 제공된다.According to another aspect, an inertial sensor measures motion information of a first object; Wherein the image acquisition unit obtains at least one image frame for a pattern marker attached to the inertial sensor; Calculating a first position of the first object from the motion information and calculating a second position of the first object based on the obtained at least one image frame; And estimating a position of the first object including the first position and the second position as the respective reflection ratios.

일실시예에 따르면, 상기 제1 오브젝터의 위치를 추정하는 단계는, 상기 추정부가 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 단계를 포함할 수 있다.According to one embodiment, the step of estimating the position of the first object may include a step of estimating a position of the first object based on the magnitude of the first noise detected in the first position calculation and the magnitude of the second noise detected in the second position calculation. And calculating a reliability corresponding to the ratio.

다른 일실시예에 따르면, 상기 신뢰도를 계산하는 단계는, 상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정하는 단계를 포함할 수 있다.According to another embodiment, calculating the reliability may include determining a reflection ratio of each of the first position and the second position based on the calculated noise.

또 다른 일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 가속도 정보 및 각속도 정보 중 적어도 하나일 수 있다.According to another embodiment, the motion information may be at least one of acceleration information and angular velocity information of the first object.

일실시예에 따르면, 상기 계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하는 단계; 및 상기 추정부가 상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정하는 단계를 더 포함할 수 있다.According to one embodiment, the calculation unit calculates a first velocity of the first object from the motion information, and calculates a second velocity of the first object based on the acquired at least one image frame; And estimating a velocity of the first object including the first velocity and the second velocity as the respective reflection ratios.

다른 일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 각속도 정보이며, 상기 계산부가 적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정하는 단계를 더 포함할 수 있다.According to another embodiment, the motion information is the angular velocity information of the first object, and the calculation unit calculates the normal vector of the plane for the feature points from the coordinate values of at least three feature points in at least one image frame Vector) to estimate at least one of an angle and an angular velocity.

또 다른 일측에 따르면, 상기 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.According to another aspect, there is provided a computer-readable recording medium on which a program for performing the above method is recorded.

도 1은 일실시예에 따른 모션 캡쳐 장치의 구성을 나타낸 블록도이다.
도 2는 일실시예에 따라, 관성 센서 및 광학 센서가 같은 특징점의 위치/속도를 추정할 수 있도록 하는 통합 센서 모듈의 예시 도면이다.
도 3은 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
도 4는 일실시예에 따라, 제1 오브젝트의 위치를 추정하는 단계를 상세하게 나타낸 흐름도이다.
도 5는 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
도 6은 일실시예에 따라, 제1 오브젝트의 속도를 추정하는 단계를 상세하게 나타낸 흐름도이다.
도 7은 또 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
도 8은 복수 개의 통합 센서를 신체의 각 부위에 부착하여 모션을 캡쳐하는 것을 나타낸 예시 도면이다.1 is a block diagram illustrating a configuration of a motion capture apparatus according to an exemplary embodiment.
2 is an exemplary diagram of an integrated sensor module that enables an inertial sensor and an optical sensor to estimate position / velocity of the same feature point, according to one embodiment.
FIG. 3 is a flowchart illustrating a sequence of a motion capture method according to an exemplary embodiment.
4 is a flowchart detailing the step of estimating the position of a first object according to an embodiment.
5 is a flowchart illustrating a sequence of a motion capture method according to another embodiment.
6 is a flowchart detailing the step of estimating the velocity of a first object, according to one embodiment.
FIG. 7 is a flowchart illustrating a procedure of a motion capture method according to another embodiment.
FIG. 8 is an exemplary view showing that a plurality of integrated sensors are attached to respective parts of the body to capture motion.

이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, some embodiments will be described in detail with reference to the accompanying drawings. However, it is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.Although the terms used in the following description have selected the general terms that are widely used in the present invention while considering the functions of the present invention, they may vary depending on the intention or custom of the artisan, the emergence of new technology, and the like.

또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.Also, in certain cases, there may be terms chosen arbitrarily by the applicant for the sake of understanding and / or convenience of explanation, and in this case the meaning of the detailed description in the corresponding description section. Therefore, the term used in the following description should be understood based on the meaning of the term, not the name of a simple term, and the contents throughout the specification.

도 1은 일실시예에 따른 모션 캡쳐 장치의 구성을 나타낸 블록도이다.1 is a block diagram illustrating a configuration of a motion capture apparatus according to an exemplary embodiment.

모션 캡쳐 장치(100)는 센서의 타입에 의해서도 구분될 수 있다. 센서의 종류에 의해서 장치의 특성이 정해질 수 있다. 센서의 종류에 대해서는 회전, 위치에 관한 종류일 수 있다.The motion capture device 100 may be classified by the type of the sensor. The characteristics of the device can be determined by the kind of the sensor. The kind of the sensor may be related to the rotation and the position.

예를 들면, 회전값을 사용하는 방식은 기계식 방식 및 자이로 방식 중 적어도 하나를 포함할 수 있다. 또한 회전값과 위치값을 모두 사용하는 방식은 마그네틱 방식이 있다.For example, the method of using a rotation value may include at least one of a mechanical method and a gyro method. In addition, there is a magnetic method in which both the rotation value and the position value are used.

기계식 방식의 모션 캡쳐 장치(100)는 일실시예로 회전 방식을 이용할 수 있다. 기계식 방식의 모션 캡쳐 장치(100)는 인체의 각 관절에 3개의 축 방향으로 전위차계를 설치해서 관절의 회전 운동 값을 얻을 수 있다.The mechanical motion capture device 100 may use a rotation method in one embodiment. The mechanical motion capture device 100 can obtain a rotational motion value of a joint by installing a potentiometer in three axial directions on each joint of the human body.

마그네틱 방식의 모션 캡쳐 장치(100)는 트랜스미터에서 자기장을 만들고 상기 자기장 안으로 제작된 마그네틱 센서를 부착한 오브젝트가 들어가게 되면 위치값 및 회전값의 데이터를 얻을 수 있다.The magnetic capturing device 100 can obtain a position value and a rotation value data when an object attached with the magnetic sensor fabricated in the magnetic field is inserted into the transmitter.

광학식 방식의 모션 캡쳐 장치(100)는 옵티칼 방식의 모션 캡쳐 장치(100)로 불려질 수 있다. 광학식 방식의 모션 캡쳐 장치(100)는 2대 이상의 카메라에서 촬영한 마커를 2차원 이미지로 만들고, 2차원 이미지에서 마커의 2차원 좌표를 얻을 수 있다. 2개의 이미지에서 공통의 마커를 알고리즘에 의한 계산으로 3차원 좌표를 구하는 방식이다.The optical motion capture device 100 may be referred to as an optical motion capture device 100. [ The optical type motion capture device 100 can make a marker captured by two or more cameras into a two-dimensional image and obtain a two-dimensional coordinate of the marker in the two-dimensional image. It is a method of obtaining three-dimensional coordinates by calculation by a common marker in two images by an algorithm.

광학식 방식의 모션 캡쳐 장치(100)는 마커(패턴 마커)를 흑백으로 대비로 촬영하고 명도 대비를 높여 마커의 구분이 용이 하게 하기 위해서 적외선 카메라를 사용할 수 있다.The optical type motion capture device 100 can use an infrared camera to photograph markers (pattern markers) in contrast in black and white and to increase the brightness contrast to facilitate discrimination of the markers.

모션 캡쳐 장치(100)는 관성 센서(110), 이미지 획득부(120), 계산부(130) 및 추정부(140)를 포함할 수 있다.The motion capture device 100 may include an inertial sensor 110, an image acquisition unit 120, a calculation unit 130, and an estimation unit 140. [

관성 센서(110)는 제1 오브젝트의 모션 정보를 측정할 수 있다. 모션 정보는 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나일 수 있다.The inertial sensor 110 may measure motion information of the first object. The motion information may be at least one of acceleration information and angular acceleration information of the first object.

관성 센서(110)는 특징점의 속도 및 가속도 중 적어도 하나의 값을 얻을 수 있다. 여기서 특징점은 패턴 마커의 중심점이나 다른 점일 수도 있다.The inertial sensor 110 may obtain at least one of the velocity and the acceleration of the feature point. Here, the feature point may be the center point of the pattern marker or another point.

이미지 획득부(120)는 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득할 수 있다.The image acquisition unit 120 may acquire at least one image frame for the pattern marker attached to the inertial sensor 110. [

이미지 획득부(120)는 광학 센서를 이용하여 관성 센서(110)에 부착된 패턴 마커의 특징점의 위치를 획득할 수 있다.The image acquiring unit 120 can acquire the position of the feature point of the pattern marker attached to the inertial sensor 110 using the optical sensor.

추정부(140)는 관성 센서(110)에서 획득된 가속도 정보로부터 제1 오브젝트의 속도 정보 및 위치 정보 중 적어도 하나를 추정할 수 있다. 또는 추정부(140)는 관성 센서(110)에서 획득된 각가속도 정보로부터 제1 오브젝트의 각속도 정보 및 각도 정보 중 적어도 하나를 추정할 수 있다. 이 경우, 추정부(140)는 광학 센서 기반으로 획득된 속도 정보 또는 위치 정보를 초기 조건으로 이용할 수 있다. 또는 추정부(140)는 광학 센서 기반으로 획득된 각속도 정보 또는 각도 정보를 초기 조건으로 이용할 수도 있다. 광학 센서 기반에서는 예를 들어 특징점의 노멀 벡터(normal vector)에 기초하여 각속도 또는 각도 정보가 획득될 수 있으며, 이에 대하여서는 더욱 상세하게 후술하도록 한다.The estimator 140 may estimate at least one of the velocity information and the position information of the first object from the acceleration information obtained by the inertial sensor 110. [ Or the estimator 140 may estimate at least one of the angular velocity information and the angular velocity information of the first object from the angular acceleration information obtained by the inertial sensor 110. [ In this case, the estimation unit 140 may use the velocity information or the position information obtained based on the optical sensor as an initial condition. Alternatively, the estimation unit 140 may use angular velocity information or angle information acquired based on the optical sensor as an initial condition. In the optical sensor base, angular velocity or angular information can be obtained based on, for example, a normal vector of a feature point, which will be described later in more detail.

또한, 관성 센서(110)의 초기 위치, 속도 값을 위해서는 광학 센서 기반의 값을 사용할 수 있다. 위치, 속도, 가속도 값은 기준 좌표계를 기준으로 3축 방향 값일 수 있다.In addition, a value based on the optical sensor can be used for the initial position and velocity value of the inertial sensor 110. The position, velocity, and acceleration values can be 3-axis direction values based on the reference coordinate system.

계산부(130)는 모션 정보로부터 제1 오브젝트의 제1 위치를 계산할 수 있다. 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 위치를 계산할 수 있다.The calculation unit 130 may calculate the first position of the first object from the motion information. And calculate a second position of the first object based on the acquired at least one image frame.

일실시예에 따르면, 계산부(130)는 초기 위치 및 초기 속도를 이용하여 제1 오브젝트의 위치를 계산할 수 있다.According to one embodiment, the calculation unit 130 may calculate the position of the first object using the initial position and the initial velocity.

다른 일실시예에 따르면, 계산부(130)는, 칼만 필터를 이용하여 관성 센서(110)에 의한 정보와 광학 센서에 의한 정보를 융합할 수 있다.According to another embodiment, the calculation unit 130 may fuse information by the inertial sensor 110 and information by the optical sensor using a Kalman filter.

칼만 필터를 이용하여 추정하고자 하는 스테이트 벡터(state vector) x는 위치 또는 속도 벡터일 수 있다. 스테이트 벡터 x는 다음 수학식 1과 같다.The state vector x to be estimated using the Kalman filter may be a position or a velocity vector. The state vector x is represented by the following equation (1).

Figure 112013106098079-pat00001
Figure 112013106098079-pat00001

수학식 1에서, p는 위치를 의미할 수 있으며, x,y,z 축의 3 정보를 포함할 수 있다. 아울러, v는 속도를 의미할 수 있으며, x,y,z 축의 3 정보를 포함할 수 있다. 이에 따라, 수학식 1의 x는 6x1 벡터로 표현될 수 있다.In Equation (1), p may mean a position, and may include three pieces of information of the x, y, and z axes. In addition, v can mean speed and can include three pieces of information on the x, y, and z axes. Accordingly, x in Equation (1) can be expressed by a 6x1 vector.

칼만 필터 식은 다음 수학식 2와 같다.The Kalman filter equation is shown in Equation 2 below.

Figure 112013106098079-pat00002
Figure 112013106098079-pat00002

Figure 112013106098079-pat00003
Figure 112013106098079-pat00003

Xk는 k번째 샘플링 타임에서 스테이트 벡터이고, Δt는 샘플링 간격이다.X k is a state vector at the kth sampling time, and? T is the sampling interval.

Figure 112013106098079-pat00004
는 광학 센서로부터 얻은 (위치, 속도) 벡터이다.
Figure 112013106098079-pat00004
(Position, velocity) vector obtained from the optical sensor.

Wk,Vk는 노이즈 모델이다.W k and V k are noise models.

추정부(140)는 제1 위치 및 제2 위치를 각각의 반영 비율로 포함하는 제1 오브젝트의 위치를 추정할 수 있다. 예를 들면, 제1 위치에 대한 반영 비율을 70%로 설정하고, 제2 위치에 대한 반영 비율을 30%로 설정하여 추정부(140)는 제1 오브젝트의 위치를 추정할 수 있다.The estimator 140 may estimate the position of the first object including the first position and the second position as the respective reflection ratios. For example, the estimation unit 140 may estimate the position of the first object by setting the reflection ratio for the first position to 70% and the reflection ratio for the second position to 30%.

또한, 추정부(140)는 제1 위치 계산시 검출된 제1 노이즈의 크기 및 제2 위치 계산시 검출된 제2 노이즈의 크기 비율에 대응하는 신뢰도를 계산할 수 있다. 추정부(140)는 계산된 노이즈에 기초하여 제1 위치 및 제2 위치 각각의 반영 비율을 결정할 수 있다.Also, the estimator 140 may calculate the reliability corresponding to the magnitude of the first noise detected in the first position calculation and the magnitude ratio of the second noise detected in the second position calculation. The estimation unit 140 can determine the reflection ratio of each of the first position and the second position based on the calculated noise.

일실시예에 따르면, Wk는 관성 센서(110)에 의한 노이즈이고, 다이고날(diagonal) 매트릭스 형태로 설정될 수 있다. 매트릭스 형태는 다음 수학식 3과 같다.According to one embodiment, W k is noise by the inertial sensor 110 and may be set in the form of a diagonal matrix. The matrix form is shown in Equation (3).

Figure 112013106098079-pat00005
Figure 112013106098079-pat00005

A는 임의의 양의 실수이고, 관성 센서(110)에 의한 노이즈를 고려하여 적절한 양의 실수값으로 설정될 수 있다.A is an arbitrary positive real number and can be set to an appropriate positive real value in consideration of noise caused by the inertial sensor 110. [

I6는 6x6 단위행렬(identity matrix)이다.I 6 is a 6x6 identity matrix.

일실시예에 따르면, Vk는 광학 센서에 의한 노이즈이고, 다이고날(diagonal) 매트리스 형태로 설정될 수 있다. 매트릭스 형태는 다음 수학식 4와 같다.According to one embodiment, V k is noise by the optical sensor and can be set in the form of a diagonal mattress. The matrix form is shown in Equation (4).

Figure 112013106098079-pat00006
Figure 112013106098079-pat00006

B는 임의의 양의 실수이고, 광학 센서에 의한 노이즈를 고려하여 적절한 양의 실수 값으로 설정할 수 있다.B is an arbitrary positive real number, and can be set to an appropriate positive real number value in consideration of noise caused by the optical sensor.

일실시예에 따르면, 신뢰도(r)는 B에 대한 A의 비율로 구할 수 있다. 신뢰도는 다음 수학식 5와 같다.According to one embodiment, the reliability r can be found as a ratio of A to B, The reliability is expressed by the following equation (5).

Figure 112013106098079-pat00007
Figure 112013106098079-pat00007

다른 일실시예에 따르면, 노이즈 매트릭스를 설정하면 칼만 필터에서 두 가지 측정 값의 기여도는 신뢰도에 의해 조절이 가능하다.According to another embodiment, when the noise matrix is set, the contribution of the two measurements in the Kalman filter can be adjusted by reliability.

일실시예에 따르면, 신뢰도는 패턴 마커에 있는 전체 특징점 개수에 대한 검출된 특징점 개수에 비례할 수 있다. 신뢰도는 수학식 6과 같다.According to one embodiment, the reliability may be proportional to the number of detected feature points for the total number of feature points in the pattern marker. The reliability is expressed by Equation (6).

Figure 112013106098079-pat00008
Figure 112013106098079-pat00008

예를 들면, C1은 임의의 양의 실수이다. 4개의 사각형 세부 패턴 마커에서 모든 사각형의 모서리 점들을 특징점이라 정의하면 전체 특징점 개수는 9개이다. 영상 입력에서 검출된 특징점 개수는 0 에서 9 사이의 값일 수 있다. 또한, 4개의 원형 세부 패턴 마커에서 원의 중심점들을 특징점이라 정의하면 전체 특징점 개수는 4개이다. 영상 입력에서 검출된 특징점 개수는 0에서 4 사이의 값일 수 있다.For example, C1 is an arbitrary positive real number. If the corner points of all rectangles are defined as minutiae points in the four rectangle detail pattern markers, the total number of minutiae points is nine. The number of feature points detected in the image input may be a value between 0 and 9. In addition, if the center points of the circles in the four circular detail pattern markers are defined as the feature points, the total number of feature points is four. The number of feature points detected in the image input may be a value between 0 and 4.

다른 일실시예에 따르면, 신뢰도는 패턴 마커에 대한 측정된 컬러값 편차에 반비례할 수 있다. 상기 측정된 컬러값 편차는 세부 패턴 마커 각각의 내부 픽셀 컬러값의 표준편차의 합일 수 있다. 신뢰도는 수학식 7과 같다.According to another embodiment, the reliability may be inversely proportional to the measured color value deviation for the pattern marker. The measured color value deviation may be the sum of the standard deviation of the internal pixel color values of each of the detailed pattern markers. The reliability is expressed by Equation (7).

Figure 112013106098079-pat00009
Figure 112013106098079-pat00009

예를 들면, C2는 임의의 양의 실수이다.For example, C2 is an arbitrary positive real number.

또 다른 일실시예에 따르면, 신뢰도는 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값에 비례할 수 있다. 신뢰도는 수학식 8과 같다.According to another embodiment, the reliability may be proportional to the pixel difference value in the contour corresponding to the boundary of the detail pattern markers for the pattern marker. The reliability is expressed by Equation (8).

Figure 112013106098079-pat00010
Figure 112013106098079-pat00010

예를 들면, C3는 임의의 양의 실수이다.For example, C3 is an arbitrary positive real number.

또 다른 일실시예에 따르면, 신뢰도는 상기 신뢰도 구하는 식의 선형 조합 형태일 수도 있다.According to another embodiment, the reliability may be in the form of a linear combination of obtaining the reliability.

또한, 계산부(130)는 모션 정보로부터 제1 오브젝트의 제1 속도를 계산할 수 있다. 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 속도를 계산할 수 있다.Further, the calculation unit 130 may calculate the first velocity of the first object from the motion information. And calculate a second rate of the first object based on the at least one image frame obtained from the image acquiring unit 120. [

계산부(130)가 제1 속도 및 제2 속도를 계산함에 따라, 추정부(140)는 제1 속도 및 제2 속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 속도를 추정할 수 있다.As the calculating unit 130 calculates the first speed and the second speed, the estimating unit 140 can estimate the speed of the first object including the first speed and the second speed as the respective reflection ratios.

또 다른 예로, 모션 정보가 제1 오브젝트의 각속도 정보인 경우, 계산부(130)는, 적어도 하나의 이미지 프레임에서의 적어도 3 개의 특징점 좌표값으로부터 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산할 수 있다. 노말 벡터를 계산하여 추정부(140)는, 제1 오브젝트의 각도 및 각속도 중 적어도 하나를 추정할 수 있다.As another example, when the motion information is the angular velocity information of the first object, the calculation unit 130 calculates a normal vector of the plane for the minutiae from at least three minutiae coordinate values in at least one image frame Can be calculated. The estimating unit 140 may estimate at least one of an angle and an angular velocity of the first object by calculating a normal vector.

모션 캡쳐 장치(100)가 다수의 세부 패턴 마커를 활용하는 경우, 특징점이 다수가 될 수 있고, 각각의 특징점의 3차원 좌표를 활용하여 제1 오브젝트의 위치를 정확하게 추정할 수 있다.When the motion capture device 100 utilizes a plurality of detailed pattern markers, a plurality of feature points can be obtained, and the position of the first object can be accurately estimated by utilizing the three-dimensional coordinates of each feature point.

일실시예에 따르면, 모션 캡쳐 장치(100)는 각 점마다 독립적인 칼만 필터 수행 후에 특징점의 대표위치로 합칠 수 있다.According to one embodiment, the motion capture device 100 may merge into a representative position of a feature point after performing independent Kalman filter for each point.

다른 일실시예에 따르면, 모션 캡쳐 장치(100)는 3개 이상의 특징점 좌표값을 알면 노말 벡터를 추정할 수 있으므로 제1 오브젝트의 3차원 각도 및 각속도를 추정할 수 있다.According to another embodiment, the motion capture apparatus 100 can estimate a normal vector by knowing three or more minutiae coordinate values, thereby estimating the three-dimensional angle and angular velocity of the first object.

도 2는 일실시예에 따라, 관성 센서 및 광학 센서가 같은 특징점의 위치/속도를 추정할 수 있도록 하는 통합 센서 모듈의 예시 도면이다.2 is an exemplary diagram of an integrated sensor module that enables an inertial sensor and an optical sensor to estimate position / velocity of the same feature point, according to one embodiment.

도 210은 관성 센서(110)를 나타낸 예시 도면이다. 관성 센서(110)는 제1 오브젝트의 모션 정보를 측정할 수 있다.210 is an exemplary view showing the inertial sensor 110. Fig. The inertial sensor 110 may measure motion information of the first object.

모션 정보는 제1 오브젝트에 대한 가속도 및 각가속도 중 적어도 하나에 해당할 수 있다.The motion information may correspond to at least one of acceleration and angular acceleration for the first object.

관성 센서(110)에 부착된 패턴 마커를 나타낸 예시 도면이다. 패턴 마커는 도시된 바와 같이 4개의 세부 패턴 마커를 포함할 수 있다. 세부 패턴 마커는 서로 다른 색상 또는 다른 명암(gray scale)일 수 있다. 세부 패턴 마커는 사각형, 원형 및 도넛형 일 수 있다.And an example of a pattern marker attached to the inertial sensor 110. As shown in Fig. The pattern marker may include four detailed pattern markers as shown. The detailed pattern markers can be of different colors or different gray scales. The detailed pattern markers can be rectangular, circular and donut types.

각 세부 패턴 마커가 교차하는 점은 특징점일 수 있다. 관성 센서(110) 및 광학 센서는 동일한 특징점의 위치/속도를 추정할 수 있다.The point where each detail pattern marker crosses may be a minutiae point. The inertial sensor 110 and the optical sensor can estimate the position / velocity of the same feature point.

일실시예에 따르면, 모션 캡쳐 장치(100)는 복수의 광학 센서를 통하여 각 광학 센서의 이미지 센서에 투영된 패턴 마커의 특징점(또는 중심점)의 2차원 좌표를 얻은 후, 각 광학 센서의 위치 관계를 이용하여 패턴 마커의 3차원 좌표를 얻을 수 있다. 여기서, 복수의 광학 센서는 복수의 카메라일 수 있다.According to one embodiment, the motion capture device 100 obtains the two-dimensional coordinates of the feature points (or the center points) of the pattern markers projected on the image sensors of the respective optical sensors through the plurality of optical sensors, The three-dimensional coordinates of the pattern marker can be obtained. Here, the plurality of optical sensors may be a plurality of cameras.

예를 들면, 사각형 패턴 마커의 경우, 계산부(130)는 모서리 또는 에지 검출 알고리즘을 활용하여 3차원 좌표를 얻을 수 있다. 또한, 원형 또는 도넛형 패턴 마커의 경우, 계산부(130)는 원 또는 동심원 검출 알고리즘을 활용하여 3차원 좌표를 얻을 수 있다.For example, in the case of a rectangular pattern marker, the calculation unit 130 may obtain a three-dimensional coordinate using an edge or edge detection algorithm. Also, in the case of a circular or donut pattern marker, the calculation unit 130 can obtain three-dimensional coordinates using a circular or concentric detection algorithm.

도 3은 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.FIG. 3 is a flowchart illustrating a sequence of a motion capture method according to an exemplary embodiment.

단계(310)은, 관성 센서(110)가 제1 오브젝트의 모션 정보를 측정하는 단계이다. 상기 모션 정보는 제1 오브젝트에 대한 가속도에 대한 정보일 수 있다.Step 310 is a step in which the inertia sensor 110 measures motion information of the first object. The motion information may be information on acceleration for the first object.

일실시예에 따르면, 관성 센서(110)는 자이로 방식에 의하여 모션 정보를 획득할 수 있다.According to one embodiment, the inertial sensor 110 may acquire motion information by a gyro method.

단계(320)은, 이미지 획득부(120)가 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계이다.Step 320 is a step in which the image acquisition unit 120 acquires at least one image frame for the pattern marker attached to the inertial sensor 110. [

일실시예에 따르면, 광학 센서를 가진 광학식 카메라는 관성 센서(110)에 부착된 패턴 마커의 이미지를 촬영할 수 있다.According to one embodiment, an optical camera with an optical sensor can take an image of a pattern marker attached to the inertial sensor 110. [

단계(330)은, 계산부(130)가 모션 정보로부터 제1 오브젝트의 제1 위치를 계산하고, 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 위치를 계산하는 단계이다.Step 330 is a step in which the calculation unit 130 calculates a first position of the first object from the motion information and calculates a second position of the first object based on the at least one image frame obtained from the image obtaining unit 120 .

일실시예에 따르면, 계산부(130)는, 제1 오브젝트의 가속도 정보로부터 제1 오브젝트의 위치를 계산할 수 있다.According to one embodiment, the calculation unit 130 may calculate the position of the first object from the acceleration information of the first object.

단계(340)은, 추정부(140)가 제1 위치 및 제2 위치를 각각의 반영 비율로 포함하는 제1 오브젝트의 위치를 추정하는 단계이다.Step 340 is a step of estimating the position of the first object including the first position and the second position at respective reflection ratios.

추정부(140)는 관성 센서(110)에 의한 정보를 통하여 계산된 제1 위치 및 광학 센서에 의한 정보를 통하여 계산된 제2 위치를 반영하여 제1 오브젝트의 위치를 추정할 수 있다.The estimator 140 may estimate the position of the first object by reflecting the first position calculated through the information by the inertial sensor 110 and the second position calculated by the information by the optical sensor.

도 4는 일실시예에 따라, 제1 오브젝트의 위치를 추정하는 단계를 상세하게 나타낸 흐름도이다.4 is a flowchart detailing the step of estimating the position of a first object according to an embodiment.

일실시예에 따라, 도 4는 도 3의 제1 오브젝트의 위치를 추정하는 단계를 상세하게 나타낸 흐름도이다.According to one embodiment, FIG. 4 is a flow chart detailing the step of estimating the position of the first object of FIG.

단계(410)은, 관성 센서(110)에 의한 노이즈와 광학 센서에 의한 노이즈를 검출하는 단계이다.Step 410 is a step of detecting noise due to the inertial sensor 110 and noise caused by the optical sensor.

계산부(130)는, 관성 센서(110)에 의한 노이즈 크기 및 광학 센서에 의한 노이즈 크기를 계산할 수 있다.The calculation unit 130 may calculate the noise level by the inertial sensor 110 and the noise level by the optical sensor.

단계(420)은, 제1 위치 및 제2 위치의 반영비율을 결정하는 단계이다.Step 420 is a step of determining the reflection ratio of the first position and the second position.

단계(430)은, 광학 센서에 의한 노이즈와 광학 센서에 의한 노이즈를 이용하여 신뢰도를 계산하는 단계이다.Step 430 is a step of calculating the reliability using the noise from the optical sensor and the noise from the optical sensor.

상술하였던 바와 같이, 신뢰도는 특징점 개수, 패턴 마커에 대한 측정된 컬러값 편차 및 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값 중 적어도 하나를 이용하여 구할 수 있다.As described above, the reliability can be obtained using at least one of the number of feature points, the measured color value deviation for the pattern marker, and the pixel difference value at the contour corresponding to the boundary of the detailed pattern markers for the pattern marker.

단계(440)은 제1 오브젝트의 위치를 추정하는 단계이다.Step 440 is a step of estimating the position of the first object.

도 5는 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.5 is a flowchart illustrating a sequence of a motion capture method according to another embodiment.

단계(510)은, 관성 센서(110)가 제1 오브젝트의 모션 정보를 측정하는 단계이다. 상기 모션 정보는 제1 오브젝트의 가속도에 대한 정보이다.Step 510 is a step in which the inertia sensor 110 measures motion information of the first object. The motion information is information on the acceleration of the first object.

단계(520)은, 이미지 획득부(120)가 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계이다.Step 520 is a step in which the image acquisition unit 120 acquires at least one image frame for the pattern marker attached to the inertial sensor 110. [

단계(530)은, 계산부(130)가 모션 정보로부터 제1 오브젝트의 제1 속도를 계산하고, 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 속도를 계산하는 단계이다.Step 530 is a step in which the calculation unit 130 calculates the first velocity of the first object from the motion information and calculates the second velocity of the first object based on the at least one image frame obtained from the image acquisition unit 120. [ .

일실시예에 따르면, 계산부(130)는, 제1 오브젝트의 가속도 정보로부터 제1 오브젝트의 속도를 계산할 수 있다.According to one embodiment, the calculation unit 130 may calculate the velocity of the first object from the acceleration information of the first object.

단계(540)은, 추정부(140)가 제1 속도 및 제2 속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 속도를 추정하는 단계이다.Step 540 is a step in which the estimator 140 estimates the velocity of the first object including the first velocity and the second velocity as the respective reflection ratios.

도 6은 일실시예에 따라, 제1 오브젝트의 속도를 추정하는 단계를 상세하게 나타낸 흐름도이다.6 is a flowchart detailing the step of estimating the velocity of a first object, according to one embodiment.

일실시예에 따라, 도 6는 도 5의 제1 오브젝트의 속도를 추정하는 단계를 상세하게 나타낸 흐름도이다.According to one embodiment, Figure 6 is a flow chart detailing the step of estimating the velocity of the first object of Figure 5.

단계(610)은, 관성 센서(110)에 의한 노이즈와 광학 센서에 의한 노이즈를 검출하는 단계이다.Step 610 is a step of detecting noise by the inertial sensor 110 and noise by the optical sensor.

계산부(130)는, 관성 센서(110)에 의한 노이즈 크기 및 광학 센서에 의한 노이즈 크기를 계산할 수 있다.The calculation unit 130 may calculate the noise level by the inertial sensor 110 and the noise level by the optical sensor.

단계(620)은, 제1 속도 및 제2 속도의 반영비율을 결정하는 단계이다.Step 620 is a step of determining a reflection rate of the first rate and the second rate.

단계(630)은, 광학 센서에 의한 노이즈와 광학 센서에 의한 노이즈를 이용하여 신뢰도를 계산하는 단계이다.Step 630 is a step of calculating the reliability using the noise by the optical sensor and the noise by the optical sensor.

상술하였던 바와 같이, 신뢰도는 특징점 개수, 패턴 마커에 대한 측정된 컬러값 편차 및 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값 중 적어도 하나를 이용하여 구할 수 있다.As described above, the reliability can be obtained using at least one of the number of feature points, the measured color value deviation for the pattern marker, and the pixel difference value at the contour corresponding to the boundary of the detailed pattern markers for the pattern marker.

단계(640)은 제1 오브젝트의 속도를 추정하는 단계이다.Step 640 is a step of estimating the velocity of the first object.

도 7은 또 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.FIG. 7 is a flowchart illustrating a procedure of a motion capture method according to another embodiment.

단계(710)은, 관성 센서(110)가 제1 오브젝트의 모션 정보를 측정하는 단계이다. 상기 모션 정보는 제1 오브젝트의 각가속도에 대한 정보이다.Step 710 is a step in which the inertia sensor 110 measures motion information of the first object. The motion information is information on angular acceleration of the first object.

단계(720)은, 이미지 획득부(120)가 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계이다.Step 720 is the step in which the image acquisition unit 120 acquires at least one image frame for the pattern marker attached to the inertial sensor 110. [

단계(730)은, 계산부(130)가 모션 정보로부터 제1 오브젝트의 제1 각속도를 계산하고, 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 각속도를 계산하는 단계이다.Step 730 is a step in which the calculation unit 130 calculates the first angular velocity of the first object from the motion information and calculates the second angular velocity of the first object based on the at least one image frame obtained from the image obtaining unit 120. [ .

단계(740)은, 추정부(140)가 제1 각속도 및 제2 각속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 각속도를 추정하는 단계이다.Step 740 is a step in which the estimating unit 140 estimates the angular velocity of the first object including the first angular velocity and the second angular velocity as the respective reflection ratios.

또한, 단계(740)은, 추정부(140)가 제1 각속도 및 제2 각속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 각도를 추정하는 단계일 수 있다.In addition, the step 740 may be a step of estimating the angle of the first object including the first angular velocity and the second angular velocity as the respective reflection ratios.

도 8은 복수 개의 통합 센서를 신체의 각 부위에 부착하여 모션을 캡쳐하는 것을 나타낸 예시 도면이다.FIG. 8 is an exemplary view showing that a plurality of integrated sensors are attached to respective parts of the body to capture motion.

모션 캡쳐 장치(100)는 신체의 각 부위에 부착된 복수 개의 패턴 마커의 이미지를 획득할 수 있다.The motion capture device 100 may acquire images of a plurality of pattern markers attached to respective parts of the body.

일실시예에 따르면, 추정부(140)는 서로 다른 패턴을 가지고 있는 제1 패턴 마커와 제2 패턴 마커를 구별할 수 있다. 서로 다른 패턴은 복수 개의 패턴 마커에 대하여 스왑이 일어나지 않도록 할 수 있다. 서로 다른 패턴은 서로 다른 색깔 조합 및 서로 다른 명암 조합 중 적어도 하나에 해당할 수 있다.According to one embodiment, the estimator 140 may distinguish the first pattern marker and the second pattern marker having different patterns. Different patterns can prevent swap from occurring for a plurality of pattern markers. The different patterns may correspond to at least one of different color combinations and different contrast combinations.

일실시예에 따르면, 모션 캡쳐 장치(100)는 패턴 마커 종류에 따라서 각 마커의 식별번호를 확인할 수 있다. 식별번호를 확인함으로써, 모션 캡쳐 장치(100)는 패턴 마커의 스왑 가능성을 줄일 수 있다.According to one embodiment, the motion capture device 100 can identify the identification number of each marker according to the pattern marker type. By identifying the identification number, the motion capture device 100 can reduce the possibility of swapping the pattern marker.

다른 일실시예에 따르면, 관성 센서(110) 및 광학 센서에 의해 획득된 정보가 모두 유효할 경우, 칼만 필터에서 추정된 값(위치, 속도 등)을 사용할 수 있다. 또한, 관성 센서(110) 및 광학 센서에 의해 획득된 정보 중 하나의 정보가 유효하지 않을 경우, 모션 캡쳐 장치(100)는 나머지 유효한 정보를 이용하여 계속 캡쳐를 진행할 수 있다.According to another embodiment, the estimated values (position, velocity, etc.) in the Kalman filter can be used when both the information obtained by the inertial sensor 110 and the optical sensor are valid. In addition, if one of the information obtained by the inertial sensor 110 and the optical sensor is not valid, the motion capture device 100 can continue capturing using the remaining valid information.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.

처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software.

이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded.

소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (19)

제1 오브젝트의 모션 정보를 측정하는 관성 센서;
상기 관성 센서에 부착된 복수의 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부;
상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및
상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하고, 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 추정부를 포함하고,
상기 신뢰도는,
상기 패턴 마커에 있는 전체 특징점 개수에 대한 검출된 특징점 개수에 비례하는 모션 캡쳐 장치.An inertial sensor for measuring motion information of the first object;
An image obtaining unit obtaining at least one image frame for a plurality of pattern markers attached to the inertial sensor;
A calculation unit for calculating a first position of the first object from the motion information and a second position of the first object based on the obtained at least one image frame; And
Estimating a position of the first object including the first position and the second position as the respective reflection ratios, calculating a magnitude of the first noise detected in the first position calculation and a magnitude of the first noise detected in the second position calculation 2 < / RTI > noise,
The reliability,
Wherein the pattern marker is proportional to the number of detected feature points for the total number of feature points in the pattern marker. 삭제delete 제1항에 있어서,
상기 추정부는,
상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정하는 모션 캡쳐 장치.The method according to claim 1,
Wherein the estimating unit comprises:
And determines a reflection ratio of each of the first position and the second position based on the calculated noise. 삭제delete 제1 오브젝트의 모션 정보를 측정하는 관성 센서;
상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부;
상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및
상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하고, 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 추정부를 포함하고,
상기 신뢰도는,
상기 패턴 마커에 대한 측정된 컬러값 편차에 반비례하는 모션 캡쳐 장치.An inertial sensor for measuring motion information of the first object;
An image obtaining unit obtaining at least one image frame for a pattern marker attached to the inertial sensor;
A calculation unit for calculating a first position of the first object from the motion information and a second position of the first object based on the obtained at least one image frame; And
Estimating a position of the first object including the first position and the second position as the respective reflection ratios, calculating a magnitude of the first noise detected in the first position calculation and a magnitude of the first noise detected in the second position calculation 2 < / RTI > noise,
The reliability,
Wherein the pattern marker is inversely proportional to the measured color value deviation for the pattern marker. 제5항에 있어서,
상기 측정된 컬러값 편차는,
세부 패턴 마커 각각의 내부 픽셀 컬러값의 표준편차의 합인 모션 캡쳐 장치.6. The method of claim 5,
Wherein the measured color value deviation is calculated by:
And a standard deviation of the internal pixel color value of each of the detailed pattern markers. 제1 오브젝트의 모션 정보를 측정하는 관성 센서;
상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부;
상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및
상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하고, 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 추정부를 포함하고,
상기 신뢰도는,
상기 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값에 비례하는 모션 캡쳐 장치.An inertial sensor for measuring motion information of the first object;
An image obtaining unit obtaining at least one image frame for a pattern marker attached to the inertial sensor;
A calculation unit for calculating a first position of the first object from the motion information and a second position of the first object based on the obtained at least one image frame; And
Estimating a position of the first object including the first position and the second position as the respective reflection ratios, calculating a magnitude of the first noise detected in the first position calculation and a magnitude of the first noise detected in the second position calculation 2 < / RTI > noise,
The reliability,
Wherein the motion vector is proportional to a pixel difference value in an outline corresponding to a boundary of the detail pattern markers for the pattern marker. 제1항에 있어서,
상기 모션 정보는,
상기 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나인 모션 캡쳐 장치.The method according to claim 1,
The motion information includes:
And acceleration information and angular acceleration information of the first object. 제1항에 있어서,
상기 계산부는,
상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하고,
상기 추정부는,
상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정하는 모션 캡쳐 장치.The method according to claim 1,
The calculation unit may calculate,
Calculate a first velocity of the first object from the motion information, calculate a second velocity of the first object based on the acquired at least one image frame,
Wherein the estimating unit comprises:
And estimates the velocity of the first object including the first velocity and the second velocity as respective reflection ratios. 제1 오브젝트의 모션 정보를 측정하는 관성 센서;
상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부;
상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및
상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 추정부를 포함하고,
상기 모션 정보는,
상기 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나이고
상기 제1 오브젝트의 각속도 정보이며,
상기 계산부는,
적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정하는 모션 캡쳐 장치.An inertial sensor for measuring motion information of the first object;
An image obtaining unit obtaining at least one image frame for a pattern marker attached to the inertial sensor;
A calculation unit for calculating a first position of the first object from the motion information and a second position of the first object based on the obtained at least one image frame; And
And an estimator for estimating a position of the first object including the first position and the second position at respective reflection ratios,
The motion information includes:
At least one of acceleration information and angular acceleration information of the first object
The angular velocity information of the first object,
The calculation unit may calculate,
Calculating a normal vector of a plane for the feature points from at least three feature point coordinate values in at least one image frame to estimate at least one of an angle and an angular velocity. 제1항에 있어서,
상기 추정부는,
서로 다른 패턴을 가지고 있는 제1 패턴 마커와 제2 패턴 마커를 구별하는 모션 캡쳐 장치.The method according to claim 1,
Wherein the estimating unit comprises:
A motion capture device for distinguishing between a first pattern marker having a different pattern and a second pattern marker. 제11항에 있어서,
상기 서로 다른 패턴은,
서로 다른 색깔 조합 및 서로 다른 명암 조합 중 적어도 하나인 모션 캡쳐 장치.12. The method of claim 11,
The different patterns may include:
A different color combination, and a different contrast combination. 관성 센서가 제1 오브젝트의 모션 정보를 측정하는 단계;
이미지 획득부가 상기 관성 센서에 부착된 복수의 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계;
계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 단계; 및
추정부가 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 단계를 포함하고,
상기 모션 정보는 상기 제1 오브젝트의 가속도 정보 및 각속도 정보 중 적어도 하나이고,
상기 계산부가 적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정하는 단계를 더 포함하는
모션 캡쳐 방법.Measuring the motion information of the first object by the inertial sensor;
Wherein the image acquiring unit acquires at least one image frame for a plurality of pattern markers attached to the inertial sensor;
Calculating a first position of the first object from the motion information and calculating a second position of the first object based on the obtained at least one image frame; And
And estimating a position of the first object including the first position and the second position as the respective reflection ratios,
Wherein the motion information is at least one of acceleration information and angular velocity information of the first object,
Wherein the calculating further comprises estimating at least one of an angle and an angular velocity by calculating a normal vector of a plane for the feature points from coordinate values of at least three feature points in at least one image frame
Motion capture method. 제13항에 있어서,
상기 제1 오브젝트의 위치를 추정하는 단계는,
상기 추정부가 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 단계를 포함하는 모션 캡쳐 방법.14. The method of claim 13,
Wherein estimating the position of the first object comprises:
Calculating the reliability corresponding to a ratio of a magnitude of a first noise detected in the first position calculation and a magnitude of a second noise detected in the second position calculation. 제14항에 있어서,
상기 신뢰도를 계산하는 단계는,
상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정하는 단계를 포함하는 모션 캡쳐 방법.15. The method of claim 14,
Wherein the step of calculating reliability comprises:
And determining a reflection ratio of each of the first position and the second position based on the calculated noise. 삭제delete 제13항에 있어서,
상기 계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하는 단계; 및
상기 추정부가 상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정하는 단계를 더 포함하는 모션 캡쳐 방법.14. The method of claim 13,
Calculating the first velocity of the first object from the motion information and calculating a second velocity of the first object based on the obtained at least one image frame; And
And estimating a velocity of the first object including the first velocity and the second velocity as the respective reflection ratios. 삭제delete 제13항 내지 제15항 및 제17항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for carrying out the method according to any one of claims 13 to 15 and 17.
KR1020130142187A 2013-11-21 2013-11-21 Apparatus and method for motion capture using inertial sensor and optical sensor KR101575934B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130142187A KR101575934B1 (en) 2013-11-21 2013-11-21 Apparatus and method for motion capture using inertial sensor and optical sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130142187A KR101575934B1 (en) 2013-11-21 2013-11-21 Apparatus and method for motion capture using inertial sensor and optical sensor

Publications (2)

Publication Number Publication Date
KR20150058882A KR20150058882A (en) 2015-05-29
KR101575934B1 true KR101575934B1 (en) 2015-12-10

Family

ID=53392993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130142187A KR101575934B1 (en) 2013-11-21 2013-11-21 Apparatus and method for motion capture using inertial sensor and optical sensor

Country Status (1)

Country Link
KR (1) KR101575934B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941369B1 (en) * 2017-06-24 2019-01-23 주식회사 카피모션 Optical motion tracking sensor
CN111382701B (en) * 2020-03-09 2023-09-22 抖音视界有限公司 Motion capture method, motion capture device, electronic equipment and computer readable storage medium
CN115147588A (en) * 2022-04-07 2022-10-04 深圳维测科技有限公司 Data processing method and device, tracking mark, electronic device and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. Tao, et al., "Integration of vision and inertial sensors for 3D arm motion tracking in home-based rehabilitation," The International Journal of Robotics Research 26, pp.607-624, June 2007.*
You, Suya, Ulrich Neumann, and Ronald Azuma. "Hybrid inertial and vision tracking for augmented reality registration." Virtual Reality, 1999. Proceedings., IEEE. IEEE, p. 260-267, 1999.

Also Published As

Publication number Publication date
KR20150058882A (en) 2015-05-29

Similar Documents

Publication Publication Date Title
KR102209008B1 (en) Apparatus for estimating camera pose and method for estimating camera pose
US10275661B2 (en) Image processing apparatus, image processing method, and computer program product
EP2917754B1 (en) Image processing method, particularly used in a vision-based localization of a device
CN108955718B (en) Visual odometer and positioning method thereof, robot and storage medium
US9578310B2 (en) Automatic scene calibration
EP2360638B1 (en) Method, system and computer program product for obtaining a point spread function using motion information
EP3236424B1 (en) Information processing apparatus and method of controlling the same
KR102016636B1 (en) Calibration apparatus and method of camera and rader
KR101592798B1 (en) Resolving homography decomposition ambiguity based on orientation sensors
JP2008506953A5 (en)
KR101706200B1 (en) Method and apparatus for measuring spin character of rotating body
WO2018142533A1 (en) Position/orientation estimating device and position/orientation estimating method
JP2008282386A (en) Object detector, object detection method, and object detection program
KR101575934B1 (en) Apparatus and method for motion capture using inertial sensor and optical sensor
KR20140114594A (en) Auto-Camera Calibration Method Based on Human Object Tracking
KR102295857B1 (en) Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor
CN104937608B (en) Road area detection
KR101967554B1 (en) Method for measuring spatial information using index line and apparatus thereof
WO2018134866A1 (en) Camera calibration device
KR101183645B1 (en) System for measuring attitude of aircraft using camera and method therefor
JP6861592B2 (en) Data thinning device, surveying device, surveying system and data thinning method
CN111161357A (en) Information processing method and device, augmented reality equipment and readable storage medium
KR20190070235A (en) Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor
TWI817124B (en) Position/orientation estimation device, position/orientation estimation method, and recording medium for recording the program
KR102412275B1 (en) Image Distortion Correction Method and Apparatus in Measurement of Three Dimensional Shape Information using Stereo Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 5