KR101059748B1

KR101059748B1 - Feature point placement method and helmet position estimation method in head tracker using feature point pattern

Info

Publication number: KR101059748B1
Application number: KR1020090000892A
Authority: KR
Inventors: 박찬국; 김영일; 이재억
Original assignee: 국방과학연구소
Priority date: 2009-01-06
Filing date: 2009-01-06
Publication date: 2011-08-26
Also published as: KR20100081589A

Abstract

본 발명은 헬멧에 관한 것으로서, 특히 헬멧 사용자들의 머리 위치 및 자세에 대한 정보를 획득하는 헤드 트랙커(Head Tracker)에 관한 것이다.TECHNICAL FIELD The present invention relates to a helmet, and more particularly, to a head tracker for obtaining information about a head position and a posture of helmet users.

본 발명은 헬멧의 위치 및 자세를 추정하기 위한 것으로, 적외선 LED를 헬멧에 부착하고 스테레오 적외선 카메라를 이용하여 LED의 위치를 추정함으로써 헬멧을 착용한 사용자 머리의 위치 및 자세 정보를 추정할 수 있다. 적외선 LED는 특정한 길이를 사용한 삼각형 모양의 패턴으로 배치하고, 패턴간의 간격도 일정 규칙으로 그 값을 정하여 배치한다. 또한 최소자승제곱법을 이용한 제안하는 알고리즘을 사용하고, 가상의 특징점을 사용하여 그 정확성을 높인다.The present invention is for estimating the position and posture of the helmet, by attaching an infrared LED to the helmet and estimating the position of the LED using a stereo infrared camera can estimate the position and posture information of the user's head wearing the helmet. Infrared LEDs are arranged in a triangular pattern using a specific length, and the spacing between the patterns is also determined by a predetermined rule. In addition, the proposed algorithm using the least-squares method is used and the accuracy is improved by using the virtual feature points.

헬맷, 헤드 트랙커 Helmets, head trackers

Description

HEADER TRACKER FOR USING FEATURED PATTERN AND METHOD OF DISPOSING FREATRUED POINTS IN HAED TRACKER}

헤드 트랙커란, 헬맷 사용자의 머리 움직임을 추정하여 머리의 위치 및 자세에 대한 정보를 획득하는 장비로서, 이는 군사, 자동차, 항공, 의학, 게임 분야 등 다양한 방면에서 활용되있으며, 예를 들어 전투기 조종사의 헬맷을 설계하기 위해 이러한 헤드 트랙커가 사용되고 있다. A head tracker is a device that estimates the head movement of a helmet user and obtains information about the position and posture of the head. It is used in various fields such as military, automobile, aviation, medicine, and game field. These head trackers are used to design helmets.

헤드 트랙커는 헬맷 사용자의 머리 움직임을 추적 내지 측정하기 위해 센서를 사용하고 있다.Head trackers use sensors to track or measure head movements of helmet users.

헤드 트랙커에 사용되는 센서는 그 목적에 따라 다양하며 크게 기계, 자기장, 음향, 관성 그리고 광학 방식으로 구분할 수 있다. 특히, 전투기 조종사를 위 해 가장 활발하게 연구되고 있는 헤드 트랙커의 경우 항공기의 특수성 및 응용 목적에 의해 자기장, 관성 그리고 광학 방식 등이 주로 응용된다. Sensors used in head trackers vary according to their purpose and can be broadly classified into mechanical, magnetic, acoustic, inertial and optical methods. In particular, the head tracker, which is being actively researched for fighter pilots, mainly uses magnetic fields, inertia, and optical methods depending on the specificity and application purpose of the aircraft.

이하, 헤드 트랙커에 있어서, 자기장 방식, 관성 방식 및 광학 방식을 상세히 설명하면 다음과 같다.Hereinafter, in the head tracker, the magnetic field method, the inertial method and the optical method will be described in detail.

첫째, 자기장 방식은 높은 해상도를 가지며 가벼우면서도 센서가 자유롭게 3차원 공간상을 이동할 수 있다는 장점이 있기 때문에 많이 사용되고 있다. 그러나 헤드 트랙커에 있어서, 자기장 방식은 장비가 고가이고 자기장이 주변 전자 장비에 영향을 준다는 단점이 있기 때문에, 항공 장비에 민감한 전투기에 적용이 힘든 면이 있다. First, the magnetic field method is widely used because of its high resolution and lightness, and the sensor can freely move in three-dimensional space. However, in the head tracker, the magnetic field method is difficult to apply to fighters sensitive to aviation equipment because of the disadvantage that the equipment is expensive and the magnetic field affects the surrounding electronic equipment.

둘째, 관성 방식은 고속 움직임에 대한 추적이 용이하다는 장점이 있는 반면, 시간에 따른 부유 오차(drift error)로 인하여 추정값이 발산한다는 단점이 존재한다. 셋째, 광학 방식은 높은 정밀도를 가진다는 장점이 있지만, 영상 처리에 따른 과부하 때문에 실시간으로 시스템을 운용하는데 어려움이 있다는 단점이 있다. 그러나 이러한 광학 방식의 단점에도 불구하고, 최근 영상 기술의 발달에 따라 광학 방식에 대한 연구가 활발히 이루어지고 있다. Secondly, the inertial method has the advantage of easy tracking for high-speed motion, but there is a disadvantage that the estimated value is diverged due to a drift error over time. Third, the optical method has the advantage of having high precision, but has a disadvantage in that it is difficult to operate the system in real time due to the overload caused by the image processing. However, despite the shortcomings of the optical method, researches on the optical method have been actively conducted according to the development of image technology.

특히, 광학 방식의 트랙커는 Outside-in 방식과 Inside-out 방식 둘로 나눠진다. Outside-in 방식은 물체에 표적을 달고 주변에 카메라를 배치하는 방식으로 표적의 움직임이 작기 때문에 높은 해상도의 카메라가 필요하다. 반면에 Inside-out 방식은 추적하려는 물체에 카메라를 달고 주변에 표적을 배치하는 방식으로 카메라의 해상도는 낮아도 되지만 많은 수의 표적이 필요하다.In particular, optical trackers are divided into Outside-in and Inside-out. The outside-in method requires a high resolution camera because the target movement is small because it targets the object and places the camera around. On the other hand, the inside-out method is to attach a camera to an object to be tracked and to place a target around the camera, but the resolution of the camera may be low, but a large number of targets are required.

그런데, 광학 방식의 트랙커를 사용하는 경우, 영상 분석시 계산 결과도 많고 그에 따라 오차 또한 발생하는 문제점이 있다. 이러한 문제점을 해결하기 위해서는 적절한 카메라와, 추적 물체의 배치와, 그리고 효과적인 알고리즘이 필요하다.
한편, 본 발명에서 사용되는 기술용어로서, 최소자승제곱법을 설명한다. 최소자승제곱법은 측정값을 통해 측정결과를 처리하는 방법의 일종으로, n번 측정한 값이 다른 측정한 값의 함수라 추정할 수 있을 때, 측정값과 함수값의 차이를 제곱한 것의 합이 최소가 되도록 하는 함수를 구하는 방법이다. 즉, 최소자승제곱법은 측정값을 통해 측정결과를 처리하는 방법의 일종으로, n번 측정한 값 a₁, a₂, ..., a_n 이, 다른 측정한 값 x₁, x₂, ...,x_n 의 함수 f(x)라 추정할 수 있을 때, 측정값 a_i와 함수값 f(x_i) 의 차이를 제곱한 것의 합(

)이 최소가 되도록 하는 f(x)를 구하는 방법이다. However, in the case of using the optical tracker, there are many calculation results when analyzing the image, and thus an error occurs. To solve this problem, proper camera, tracking object placement, and effective algorithm are needed.
On the other hand, as a technical term used in the present invention, the least-squares method will be described. Least-squares method is a method of processing the measurement result through the measured value, which is the sum of the square of the difference between the measured value and the function value when the value n times can be estimated as a function of other measured values. How to find the function that makes this minimum. In other words, the least-squares method is a method of processing the measurement result through the measured value, and the n measured values a ₁ , a ₂ , ..., a _n are different measured values x ₁ , x ₂ , The sum of the squared difference between the measured value a _i and the function value f (x _i ) can be estimated as a function f (x) of ..., x _n (

This method finds f (x) such that) is minimized.

본 발명의 목적은 상기의 광학 방식의 헤드 트랙커의 문제점을 해결하기 위한 것으로서, 본 발명은 광학 방식 헤드 트랙커를 통해 헬멧 사용자의 머리 위치 및 자세 정보를 획득하는데 있어서, 카메라 및 추적 물체의 적절한 배치를 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to solve the problems of the above-described optical head tracker, and the present invention provides the proper positioning of the camera and the tracking object in obtaining head position and posture information of the helmet user through the optical head tracker. To provide.

또한 본 발명의 목적은, 광학 방식의 헤드 트랙커를 사용하는데 있어서 본 발명이 제공하는 카메라 및 추적 물체의 배치에 대한 효과적인 알고리즘을 제공하는 것이다.It is also an object of the present invention to provide an effective algorithm for the placement of the camera and tracking object provided by the present invention in the use of an optical head tracker.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 헤드 트랙커에서 특징점 배치 방법은,In order to achieve the above object, the feature point arrangement method in the head tracker according to the present invention,

헬맷 사용자의 움직임에 따라 헬맷 위치 및 사용자의 자세를 추정하기 위한 광학 방식의 헤드 트랙커에서 특징점을 패턴을 배치하는 방법으로서, As a method of arranging a feature point pattern in an optical head tracker for estimating a helmet position and a posture of a user according to a helmet user's movement,

(A) 헬맷의 적어도 하나 이상의 특징점을 삼각형 패턴으로 배치하는 단계와; (B) 상기 삼각형 패턴의 특징점에서 특정 2 개의 특징점 간의 길이를 측정하는 단계와; (C) 상기 특정 2개의 특징점을 카메라로 촬영한 이미지를 분석하여 획득한 상기 2개의 특징점 간의 길이를 획득하는 단계와; (D) 상기 (B) 단계에서 측정한 길이와 상기 (C) 단계에서 측정한 길이를 비교하여 카메라로 촬영한 이미지의 오차율을 계산하고, 그 오차율을 고려하여 상기 삼각형 패턴의 특징점들의 간격을 결정하여 헬맷에 특징점들을 배치하는 단계;를 포함하는 것을 특징으로 한다. (A) arranging at least one feature point of the helmet in a triangular pattern; (B) measuring a length between two specific feature points at the feature points of the triangular pattern; (C) obtaining a length between the two feature points obtained by analyzing an image photographed by the camera of the specific two feature points; (D) comparing the length measured in the step (B) and the length measured in the step (C) to calculate the error rate of the image taken by the camera, and determine the interval between the feature points of the triangle pattern in consideration of the error rate And arranging feature points in the helmet.

바람직하게는, 상기 특징점은, 적외선 LED인 것을 특징으로 한다. Preferably, the feature point is an infrared LED.

바람직하게는, 상기 (C) 단계는, 상기 2개의 특징점의 간격을 변화시켜, 카메라를 스테레오 방식으로 1m 떨어진 곳에서 촬영하여 상기 (B) 단계에서 측정한 상기 2개의 특징점 간의 실제거리와 상기 (C) 단계에서 측정한 상기 2개의 특징점 간의 거리를 비교함으로써, 상기 오차율을 계산하는 것을 특징으로 한다.Preferably, in the step (C), the distance between the two feature points is changed, and the camera is photographed at a distance of 1 m in a stereo manner so that the actual distance between the two feature points measured in the step (B) and the ( The error rate is calculated by comparing the distance between the two feature points measured in step C).

또한, 상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 헤드 트랙커에서 헬맷 위치 추정 방법은,In addition, in order to achieve the above object, the helmet position estimation method in the head tracker according to the present invention,

헬맷 사용자의 움직임에 따라 헬맷 위치 및 사용자의 자세를 추정하기 위한 광학 방식의 헤드 트랙커에서 특징점을 패턴을 배치하는 방법으로서,As a method of arranging a feature point pattern in an optical head tracker for estimating a helmet position and a posture of a user according to a helmet user's movement,

(A) 헬맷의 적어도 하나 이상의 특징점을 삼각형 패턴으로 배치하는 단계와;(A) arranging at least one feature point of the helmet in a triangular pattern;

(B) 상기 삼각형 패턴의 특징점에서 특정 2 개의 특징점 간의 길이를 측정하는 단계와;(B) measuring a length between two specific feature points at the feature points of the triangular pattern;

(C) 상기 특정 2개의 특징점을 카메라로 촬영한 이미지를 분석하여 획득한 상기 2개의 특징점 간의 길이를 획득하는 단계와;(C) obtaining a length between the two feature points obtained by analyzing an image photographed by the camera of the specific two feature points;

(D) 상기 (B) 단계에서 측정한 길이와 상기 (C) 단계에서 측정한 기리를 비교하여 카메라로 촬영한 이미지의 오차율을 계산하는 단계와;(D) calculating the error rate of the image taken by the camera by comparing the length measured in the step (B) and the measurement measured in the step (C);

(E) 상기 (D) 단계를 통하여 획득한 오차율에 기초하여 상기 삼각형 패턴의 특징점들의 간격을 결정하고 상기 삼각형 패턴의 특징점들을 헬맷에 배치하는 단계 와;(E) determining the spacing of the feature points of the triangle pattern based on the error rate obtained through step (D) and arranging the feature points of the triangle pattern on a helmet;

(F) 상기 특징점들에 고유번호를 부여하는 단계와;(F) assigning unique numbers to the feature points;

(G) 상기 헬맷에 배치된 특징점들을 카메라로 촬영하여 기준좌표를 획득하는 단계와;(G) acquiring reference coordinates by photographing the feature points disposed on the helmet with a camera;

(H) 상기 헬맷의 위치가 변동됨에 따라, 상기 특징점들의 변동된 좌표를 획득하는 단계와;(H) acquiring the changed coordinates of the feature points as the position of the helmet changes;

(I) 상기 (G) 단계를 통해 획득한 좌표와 상기 (F) 단계의 기준좌표를 비교하여 롤(roll)와, 피치(pitch)와, 요(yaw)를 계산하는 단계를 포함하는 것을 특징으로 한다.(I) comparing the coordinates obtained through the step (G) with the reference coordinates of the step (F) to calculate a roll, a pitch, and a yaw. It is done.

바람직하게는, 상기 특징점들에 부여된 고유번호는Preferably, the unique numbers assigned to the feature points

상기 헬맷의 위치가 변동될 때, 특징점들의 좌표가 변동되는 것을 확인하기 위하여 부여되는 것을 특징으로 한다.When the position of the helmet is changed, it is characterized in that it is given to confirm that the coordinates of the feature points are changed.

바람직하게는, 상기 롤(roll)와, 피치(pitch)와, 요(yaw)의 계산은Preferably, the calculation of the roll, pitch and yaw is

최소 자승제곱법을 활용하는 것을 특징으로 하는 한다.It is characterized by using the least squares method.

바람직하게는, 상기 특징점들의 좌표는Preferably, the coordinates of the feature points

3차원의 좌표값인 것을 특징으로 한다.It is characterized by a three-dimensional coordinate value.

바람직하게는, 상기 롤(roll)와, 피치(pitch)와, 요(yaw)의 계산을 통해 획득되는 상기 특징점 패턴은 Preferably, the feature point pattern obtained through the calculation of the roll, pitch, and yaw is

가상의 특징점(virtual feature)을 활용하여 계산하는 것을 특징으로 한다.It is characterized by calculating using a virtual feature (virtual feature).

본 발명은 광학 방식의 헤드 트랙커를 통하여 삼각형 패턴의 특징점(LED가 부착되는 위치)을 헬맷에 배치하여, 사용자의 움직임에 따라 헬멧의 위치 및 자세 정보를 획득하는데 효과가 있다. The present invention is effective in acquiring the position and posture information of the helmet according to the user's movement by arranging the feature points (positions where the LEDs are attached) of the triangular pattern on the helmet through the optical head tracker.

또한, 본 발명은 특정한 형태의 패턴을 분석하여 그 패턴이 부착된 물체의 정보를 얻는데 효과가 있다.In addition, the present invention is effective in analyzing a specific type of pattern and obtaining information of an object to which the pattern is attached.

본 발명은 광학방식의 헤드 트랙커에 적용된다. 그러나, 본 발명의 기술적 사상은 이에 한정하지 않고 타 기술에 적용될 수도 있다. The present invention is applied to an optical head tracker. However, the technical idea of the present invention may be applied to other technologies without being limited thereto.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구서요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second spoken element may also be referred to as the first component. The term and / or includes any item of a plurality of related listed items or a plurality of related listed yields.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may be present in between. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 거이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present disclosure does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 첨부한 도면들을 참조하여 본 발명에 바람직한 실시 예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. The description will be omitted.

본 발명의 기본 개념은, 발광소자(예를 들어, LED)로 헬멧에 특정점(적어도 하나 이상의 특정점) 패턴(예를 들어, 삼각형 패턴)을 배치하여, 사용자 헬멧의 위치와 그 사용자의 움직임에 따른 자세(즉, 머리의 움직임에 따른 헬멧의 자세일 수 있다)를 추정하는 것이다. 특히, 본 발명은 헬멧의 특정점 패턴을 배치 시, 영상분석 시 발생하는 오차율을 고려하여 특징점 패턴 간격을 선정(내지 배치)한다. 또한, 본 발명은 헬멧 위치 및 자세 추정에 최소자승제곱법을 활용하고, 가상의 특징점을 활용하여 계산의 정확성을 높인다.The basic concept of the present invention is to place a specific point (at least one specific point) pattern (for example, a triangle pattern) on the helmet with a light emitting element (for example, an LED), so that the position of the user's helmet and the user's movement To estimate the posture according to the posture (that is, the posture of the helmet according to the movement of the head). In particular, the present invention selects (or arranges) a feature point pattern interval in consideration of an error rate generated during image analysis when arranging a specific point pattern of the helmet. In addition, the present invention utilizes the least square method for estimating the position and attitude of the helmet, and improves the accuracy of the calculation by utilizing a virtual feature point.

본 발명은, 1) 헬맷의 특징점(즉, LED가 부착될 위치)의 패턴을 설계(형성)하는 것이다. 이러한 패턴을 설계하는 방법은 다음과 같다: 1-1) 특징점의 패턴을 설계하기 위해, 특징점 간의 거리를 계산하여야 한다. 이때, 카메라의 기능적 한계 및 렌즈의 왜곡 현상으로 인한 특징점 간의 거리의 오차를 알아야 하기 때문에, 헬맷에 부착될 특징점 간의 실제 거리와 카메라를 촬영하고, 그 촬영한 이미지를 분석하여 획득한 특징점 간의 길이 간의 차이, 즉 오차를 계산한다; 1-2) 특징점이 수가 적어야 시스템의 성능(왜냐하면, 계산할 좌표의 수가 적어짐)이 좋기 때문에, 삼각형 패턴의 특징점을 적용한다. 2) 이와 같이, 헬맷에 배치된 특징점들에 고유번호를 부여하고, 각 특징점들의 기준 좌표값을 획득한다. 이러한 기준 좌표값은 특정 위치에서 헬맷의 특징점들을 카메라로 촬영하고, 그 촬영된 이미지로부터 맵 데이터에 의해 획득한다. 3) 헬맷의 움직임(위치 변화)에 따라 카메라로 촬영된 임의의 프레임에서 각 특징점들의 좌표값을 획득한다. 4) 상기 기준좌표값과 임의의 프레임에서 획득한 좌표값을 비교하여 특징점 간의 거리가 오차 범위에 속하는지를 판단하다.The present invention is to 1) design (form) the pattern of the feature point of the helmet (ie, the position where the LED is to be attached). The method of designing this pattern is as follows: 1-1) In order to design the pattern of the feature points, the distance between the feature points must be calculated. At this time, since the error of the distance between the feature points of the camera due to the functional limitations of the camera and the lens distortion phenomenon should be known, the actual distance between the feature points to be attached to the helmet and the length between the feature points obtained by shooting the camera and analyzing the captured image Calculate the difference, or error; 1-2) Because the number of feature points is small, the performance of the system (because the number of coordinates to be calculated is good) is good, so apply the feature pattern of the triangle pattern. 2) In this way, a unique number is assigned to the feature points arranged on the helmet and the reference coordinate values of the feature points are obtained. These reference coordinate values are taken by cameras of the feature points of the helmet at specific positions and obtained by map data from the captured images. 3) Acquire coordinate values of each feature point in an arbitrary frame photographed by the camera according to the movement of the helmet (position change). 4) It is determined whether the distance between the feature points is within the error range by comparing the reference coordinate value and the coordinate value obtained in an arbitrary frame.

본 발명에 따른 헤드 트랙커는, 헬멧에 배치한 특징점에 부착된 센서를 촬영하고, 또한 헬맷의 움직임을 포착하는 카메라(예를 들어, 적외선 CCD 카메라)와, 헬멧에 배치된 특징점들에 부착되는 센서(예를 들어, SI-5312H와 같은 적외선 센서)와, 상기 카메라가 상기 헬멧의 특징점들에 부착된 센서를 통해 촬영한 특징점의 영상을 표시하고, 그 위치값들을 계산하는 영상 편집 장치(일명, 영상 편집 보드)로 구성된다.The head tracker according to the present invention includes a camera (eg, an infrared CCD camera) that captures a sensor attached to a feature point disposed on a helmet and also captures a helmet's movement, and a sensor attached to feature points disposed on a helmet. (E.g., an infrared sensor such as SI-5312H), and an image editing apparatus for displaying an image of a feature point photographed by the camera through a sensor attached to the feature points of the helmet, and calculating position values thereof. Video editing board).

도 1은 본 발명의 일 실시 예로서, 헬맷에 특징점들에 부착된 센서들(LED)이다. 헬맷에 부착된 특징점들은 그 고유번호를 부가하여 그 헬맷의 움직임에 따라 위치가 변화하는 특징점들의 좌표를 추적할 수 있도록 한다. 여기서, 헬맷의 특징점들에 부착된 센서는 적외선 LED 센서이다. 헬맷의 움직임에 따라, 적외선 카메라가 헬맷에 부착된 특징점들의 각 LED의 좌표값을 촬영 및 추적하고, 이러한 데이터(즉, 헬맷의 위치변화에 따른 각 LED의 좌표값들)를 본 발명에 따른 알고리즘을 통해 분석한다.1 is an embodiment of the invention, the sensors (LEDs) attached to the feature points on the helmet. The feature points attached to the helmet add their unique numbers so that they can track the coordinates of the feature points whose position changes as the helmet moves. Here, the sensor attached to the feature points of the helmet is an infrared LED sensor. As the helmet moves, the infrared camera captures and tracks the coordinates of each LED of the feature points attached to the helmet, and this data (i.e., the coordinates of each LED as the position of the helmet changes) according to the algorithm of the present invention. Analyze through.

한편, 본 발명에서, 카메라를 이용한 광학 방식으로 물체(즉, 헬멧에 배치된 특징점들)의 위치를 추정할 때, 카메라의 기능적 한계 및 렌즈의 굴곡에 의한 왜곡 현상 등에 의하여 물체의 정확한 3차원 위치를 추정하기가 어렵다. 즉, 적외선 카메라를 이용하여 카메라와 일정 거리에 떨어진 두 개의 적외선 LED(특징점)의 위치를 분석한다면 앞에서 언급한 오차 요인들에 의하여 실제 길이와 다른 값들이 계산 될 것이다. 이와 같은 이유에 의해서 시스템을 개발하기 전에 실험 환경에 대해 인지하고, 그 실험 환경이 시스템에 어떤 영향을 주는지 분석해야 한다.On the other hand, in the present invention, when estimating the position of the object (that is, the feature points disposed on the helmet) by the optical method using the camera, the exact three-dimensional position of the object due to the functional limitations of the camera and the distortion caused by the bending of the lens, etc. It is difficult to estimate. In other words, if you analyze the location of two infrared LEDs (feature points) away from the camera by using an infrared camera, the actual length and other values will be calculated by the aforementioned error factors. For this reason, before developing a system, you should be aware of the experimental environment and analyze how it affects the system.

오차를 알아보는 실험 방법은 다음과 같다. 2개의 특징점을 일정 길이만큼 떨어뜨려놓은 후, 적외선 카메라를 스테레오 방식으로 1m 떨어진 곳에서 촬영한다. 1m의 값은 본 시스템이 궁극적으로 사용되는 곳은 전투기 콕핏이며, 콕핏의 크기와 시스템이 설치될 수 있는 장소, 조종사의 헬멧의 위치 등을 고려하여 결정되었다. 이때, 2개의 특징점간의 길이는 일정 길이(예를 들어, 0.5cm)만큼 변경시키며, 실험의 정확도를 위해 10번 반복 실험을 한다. 또한 헬멧의 크기를 고려하여, 특징점간의 거리가 일정 이상 커질 수 없음을 감안하여 이 실험에서 특징점간의 길이의 최대값을 결정하였다. 이미지 분석을 통한 특징점간의 거리를 계산하고, 실제 길이와 비교하여 오차율을 계산한다.The experimental method to find the error is as follows. Two feature points are separated by a certain length, and the infrared camera is taken 1m away in a stereo manner. The value of 1m was determined by considering the fighter cockpit where the system is ultimately used, the size of the cockpit, where the system can be installed, and the location of the pilot's helmet. At this time, the length between the two feature points is changed by a predetermined length (for example, 0.5cm), and repeated 10 times experiment for the accuracy of the experiment. In addition, considering the size of the helmet, the maximum value of the length between the feature points was determined in this experiment, considering that the distance between the feature points could not be increased by more than a certain amount. The distance between the feature points is calculated through image analysis, and the error rate is calculated by comparing with the actual length.

한편, 특징점 패턴의 모양은 개발자의 연구 방향과 시스템의 형태에 따라 여러 가지가 존재할 수 있다. 그러나, 본 발명은 특징점 간의 거리를 통한 분석이기 때문에, 특징점 패턴을 형성하는 특징점의 수가 가장 적게 사용한다. 왜냐하면 특징점의 수가 적을수록 패턴을 분석할 때, 필요한 계산의 수(즉, 특징점들의 좌표값)들가 줄어들어 시스템의 성능이 향상되기 때문이다. 이와 같은 조건들을 고려하여, 본 발명에서는 헬맷에 특징점들을 삼각형을 패턴으로 배치한다. 왜냐하면, 삼 각형은 패턴 중에 가장 적은 3개의 특징점이 존재하며, 또한 패턴 분석을 위한 길이도 3개(즉, 삼각형 패턴의 3개 특징점이 이루는 면의 수가 3개)에 불과하기 때문이다.Meanwhile, the shape of the feature point pattern may exist in various ways depending on the developer's research direction and the form of the system. However, since the present invention is an analysis through the distance between the feature points, the number of feature points forming the feature point pattern is used the least. This is because the smaller the number of feature points, the smaller the number of calculations required (ie, the coordinates of the feature points) when analyzing the pattern, thereby improving the performance of the system. In view of the above conditions, the present invention arranges the feature points in a patterned triangle on the helmet. This is because the triangle has the smallest three feature points among the patterns, and also has three lengths for pattern analysis (that is, the number of planes formed by the three feature points of the triangular pattern).

패턴을 이루는 길이(즉, 임의의 2개 특징점이 가상으로 연결 시, 그 연결된 선의 길이에 해당한다)는 앞의 실험 결과(오차율 계산)와 헬멧의 크기를 고려하여 제한적인 갯수로 결정함으로써, 영상 분석시 계산량과 오류를 줄이도록 한다. 또한 헬멧의 크기를 고려하여 배치하는 패턴의 수를 결정한다. 패턴간의 간격은 가장 긴 특징점간의 길이에 실험값의 오차(즉, 오차율을 이용하여 계산된 오차)보다 더 큰 값으로 결정한다(즉, 패턴 간의 간격 > 가장 긴 특징점 간의 길이 + 오차). 이러한 삼각형 모양 패턴을 형성하며 헬멧에 부착된 특징점은 도 2와 같다.The length of the pattern (i.e., when any two feature points are virtually connected, corresponds to the length of the connected line) is determined by a limited number considering the previous experiment results (calculation of error rate) and the size of the helmet. Try to reduce the amount of computation and errors in the analysis. In addition, the size of the helmet is determined in consideration of the size of the helmet. The spacing between patterns is determined to be greater than the error of the experimental value (ie, the error calculated using the error rate) in the length between the longest feature points (ie, the spacing between patterns> the length between the longest feature points + the error). This triangular pattern is formed and the feature points attached to the helmet are shown in FIG.

도 2의 일 실시 예와 같이, 적외선 LED들이 부착될 위치, 즉 특징점들을 헬맷에 배치하고, 각각의 특징점에 대하여 특징점 고유 번호(feature characteristic number)를 부여한다. 이렇게 특징점들에 고유 번호를 부여하는 것은, 헬맷의 움직임에 따라 각 특징점(즉, 각 특징점에 부착된 LED)의 좌표를 획득하기 위한 것이다. 먼저, 헬맷에 배치된 특징점들의 기준 좌표값들을 획득한다. 즉, 헤드 프레임에 대한 각 특징점의 고유 번호에 대한 좌표는 맵 데이터(Map Data)를 통하여 획득할 수 있고, 맵 데이터는 기준이 되는 특징점들의 기본 좌표값들이다. 도 4는 본 발명의 일 실시 예로서, 맵 데이터를 통해 획득한 헬맷의 각 특징점들의 좌표이다. 즉, 도 4에서 각 특징점들은 자신의 특징점 고유번호와 그 고유번호에 해당하는 특징점의 좌표를 표시한 것이다. 여기서, 각 특징점의 좌표는 3차원의 좌표값이다.As shown in FIG. 2, the positions to which the infrared LEDs are attached, that is, the feature points are arranged on the helmet, and a feature characteristic number is assigned to each feature point. This unique numbering of the feature points is to obtain the coordinates of each feature point (ie, the LED attached to each feature point) according to the movement of the helmet. First, reference coordinate values of feature points arranged on the helmet are obtained. That is, the coordinates of the unique number of each feature point with respect to the head frame may be obtained through map data, and the map data are basic coordinate values of the feature points as reference. 4 illustrates coordinates of respective feature points of the helmet obtained through map data. That is, in FIG. 4, each feature point indicates its own characteristic point unique number and coordinates of the characteristic point corresponding to the unique number. Here, the coordinates of each feature point are three-dimensional coordinate values.

헬맷의 움직임(즉, 사용자 머리의 움직임)에 따라, 카메라를 통하여 촬영될 임의의 프레임으로부터 특징점들의 3차원 좌표값이 획득된다. 임의의 프레임에서 특징점의 좌표를 획득한 후, 맵 데이터와 비교를 통하여 롤(roll), 피치(pitch), 요(yaw)를 계산한다. 이것은 임의의 프레임에서 머리의 위치 및 자세를 의미한다. 이하, 도 3을 참조하여, 임의의 프레임에서 특징점의 좌표를 구하는 방식은 다음과 같다.In accordance with the movement of the helmet (ie, the movement of the user's head), three-dimensional coordinate values of the feature points are obtained from any frame to be photographed through the camera. After acquiring the coordinates of the feature point in an arbitrary frame, roll, pitch, and yaw are calculated through comparison with map data. This means the position and posture of the head in any frame. Hereinafter, referring to FIG. 3, a method of obtaining coordinates of feature points in an arbitrary frame is as follows.

헬맷의 움직임에 따라, 헬맷의 사용자의 머리 위치 및 자세가 변화한다. 헬맷의 움직임에 적외선 카메라로 촬영한 프레임으로부터 맵 데이터를 통행 특징점들의 좌표값을 획득할 수 있다. 따라서, 적외선 카메라가 헬맷의 움직임을 추적하여 연속하여 촬영한 프레임으로부터 특징점들의 좌표값이 변화하는 것을 알 수 있다. 이러한 일련의 일련의 과정을 통하여 특징점의 3차원 좌표를 획득한다(S1). 정합 순서에 따라 번호를 부여한 후(S2), 정합된 특징점 간의 모든 거리를 계산한다(S3). 이때, 상기 과정(S3)에서 계산한 값들이 일정 길이가 넘는지를 판단하고(S4), 만일 일정 길이 이상이 되는 계산 값들은 삭제한다(S5). 왜냐하면 특징점간의 거리의 최대 길이가 이미 정해져 있기 때문에, 그 이상은 필요하지가 않기 때문이다. 만일 특징점 간의 거리가 앞선 실험을 통하여 정한 오차 범위에 속한다면, 실제로 정한 특징점간의 거리로 정의한다(S6). 즉, 실제 특정 두개의 특징점 패턴 간의 길이와 카메라가 촬영한 이미지의 분석을 통항 특징점 간의 길이가 오차 범위 내에서 일치한다고 볼 수 있기 때문이다. 이와 같이, 상기 과정들(S1 ~ S6)을 통해 첫번째 정합된 특징점을 기준으로 정합 순서에 따라 번호를 설정한 것과 비교한다(S7). 만약 관련된 특징점이 1개이면 다음 과정을 건너 다음 특징점으로 넘어가고, 2개이면 다음 과정으로, 3개 이상이면 2개씩 묶어서 다음 과정들을 반복한다. 관련된 2개의 특징점간의 거리 계산 결과가 존재하는지 확인한다(S8 ~ S9). 존재하지 않는다면 패턴 형성이 되지 않으므로 과정을 건너 다음 특징점으로 넘어가고(즉, 해당 정보를 삭제하고 다음 특징점으로 넘어간다)(S10), 존재한다면 기존의 패턴 데이터와 비교하여 특징점의 고유번호를 획득한다. 이후 모든 특징점에 대하여 위의 과정을 반복한다. 이때, 롤, 피치, 요를 계산하기 위한 방식은 최소자승제곱법을 사용하며, 획득되는 패턴마다 그 패턴의 무게 중심이라는 1개의 가상의 특징점(virtual feature)을 만들어 최소자승제곱법에 대한 계산의 정확도를 높인다(S11). 한편, 최소자승제곱법은 배경기술에서 설명한 바와 같다. 즉 최소자승제곱법은 측정값을 통해 측정결과를 처리하는 방법의 일종으로, n번 측정한 값이 다른 측정한 값의 함수라 추정할 수 있을 때, 측정값과 함수값의 차이를 제곱한 것의 합이 최소가 되도록 하는 함수를 구하는 방법이다. 즉, 최소자승제곱법은 측정값을 통해 측정결과를 처리하는 방법의 일종으로, n번 측정한 값 a₁, a₂, ..., a_n 이, 다른 측정한 값 x₁, x₂, ...,x_n 의 함수 f(x)라 추정할 수 있을 때, 측정값 a_i와 함수값 f(x_i) 의 차이를 제곱한 것의 합(

)이 최소가 되도록 하는 f(x)를 구하는 방법이다. 획득된 패턴의 특징점들과 무게 중심이라는 가상의 특징점의 정보를 획득하였기 있기 때문에 기준이 되는 맵 데이터와 비교하여 각 특징점들의 롤, 피치, 요를 계산할 수 있다. 획득된 특징점들의 롤, 피치, 요를 각각 종합하여 최소자승제곱법을 적용함으로써, 헬멧의 최종 회전 각도(롤, 피치, 요)를 계산할 수 있다.
카메라로 촬영된 헬맷의 움직임(즉, 헬맷에 배치된 특징점(즉, 각 특징점에 부착된 LED)들의 위치 및 사용자 머리위치 내지 자세)을 포착한 이미지를, 상기의 과정들(S1 ~ S11)을 통하여 분석함으로써, 헬맷의 위치 및 사용자 머리의 자세에 대한 정보를 획득할 수 있다(S12). 도 4는 도 3의 일련의 과정으로 회전한 요각으로 90도 회전했을 시의 헬멧의 요각 자세 변화이다.As the helmet moves, the user's head position and posture of the helmet changes. The coordinate values of the traffic feature points may be obtained from the frame photographed by the infrared camera in the movement of the helmet. Therefore, it can be seen that the coordinate values of the feature points change from frames continuously captured by the infrared camera tracking the movement of the helmet. The three-dimensional coordinates of the feature points are obtained through this series of processes (S1). After numbering according to the matching order (S2), all distances between the matched feature points are calculated (S3). At this time, it is determined whether the values calculated in the step S3 are over a predetermined length (S4), and if the calculated values over the predetermined length are deleted (S5). Because the maximum length of the distance between the feature points is already determined, no more is required. If the distance between the feature points falls within the error range determined through the previous experiment, the distance between the feature points is actually defined (S6). That is, the length between the two specific feature patterns and the analysis of the image taken by the camera can be regarded as the length between the error features within the error range. As described above, the numbers are set according to the matching sequence based on the first matched feature points through the processes S1 to S6 (S7). If there is one related feature point, skip the next step to the next feature point; if there are two, go to the next step; if more than three, repeat the following steps. Check whether there is a distance calculation result between two related feature points (S8 to S9). If it does not exist, the pattern is not formed, so the process skips to the next feature point (ie, deletes the information and moves on to the next feature point) (S10), and if present, obtains the unique number of the feature point by comparing with the existing pattern data. . After that, the above process is repeated for all the feature points. At this time, the method for calculating the roll, pitch, and yaw uses the least square method, and for each pattern obtained, one virtual feature called the center of gravity of the pattern is used to calculate the least square method. Increase the accuracy (S11). On the other hand, the least-squares method is as described in the background art. In other words, the least-squares method is a method of processing measurement results through measured values. When the value n times can be estimated as a function of other measured values, the square of the difference between the measured value and the function value is calculated. This is a way to find a function that makes the sum minimum. In other words, the least-squares method is a method of processing the measurement result through the measured value, and the n measured values a ₁ , a ₂ , ..., a _n are different measured values x ₁ , x ₂ , The sum of the squared difference between the measured value a _i and the function value f (x _i ) can be estimated as a function f (x) of ..., x _n (

This method finds f (x) such that) is minimized. Since information on the virtual feature points such as the feature points of the obtained pattern and the center of gravity are obtained, rolls, pitches, and yaw of each feature point can be calculated by comparing with reference map data. By applying the least-squares method by combining the rolls, pitches, and yaw of the acquired feature points, the final rotation angle (roll, pitch, yaw) of the helmet can be calculated.
An image capturing the movement of the helmet (that is, the position of the feature points disposed on the helmet (ie, the LEDs attached to each feature point and the position of the user's head) and the posture of the helmet is captured by the camera. By analyzing through, it is possible to obtain information about the position of the helmet and the posture of the user's head (S12). 4 is a change in yaw attitude of the helmet when rotated 90 degrees with the yaw angle rotated by the series of processes of FIG. 3.

이상, 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. will be. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

도 1는 본 발명의 실시 예에 따른 LED가 부착된 헬멧 장비.1 is a helmet equipment with LED according to an embodiment of the present invention.

도 2은 본 발명의 실시 예에 따른 헬멧의 위치 및 자세를 찾는 흐름도.2 is a flow chart for finding the position and posture of the helmet according to an embodiment of the present invention.

도 3는 본 발명의 실시 예에 따른 획득한 특징점의 고유 번호와 그 좌표.3 is a unique number and coordinates of the acquired feature point according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 요각으로 90도 회전했을 시의 요각 변화 그래프.Figure 4 is a yaw angle change graph when rotated 90 degrees in the yaw angle according to an embodiment of the present invention.

Claims

As a method of arranging a feature point pattern in an optical head tracker for estimating a helmet position and a posture of a user according to a helmet user's movement,

(A) arranging at least one feature point of the helmet in a triangular pattern;

(B) measuring a length between two specific feature points at the feature points of the triangular pattern;

(C) obtaining a length between the two feature points obtained by analyzing an image photographed by the camera of the specific two feature points;

(D) comparing the length measured in the step (B) and the length measured in the step (C) to calculate the error rate of the image taken by the camera, and determine the interval between the feature points of the triangle pattern in consideration of the error rate And placing the feature points on the helmet.

The method of claim 1, wherein the feature point

Method of placing a feature point in the head tracker, characterized in that the infrared LED.

The method of claim 1, wherein step (C)

The distance between the two feature points is changed, and the camera is photographed at a distance of 1 m in a stereo manner so that the actual distance between the two feature points measured in step (B) and the two feature points measured in step (C) And calculating the error rate by comparing the distances.

(A) arranging at least one feature point of the helmet in a triangular pattern;

(D) calculating the error rate of the image taken by the camera by comparing the length measured in the step (B) and the length measured in the step (C);

(E) determining the spacing of the feature points of the triangle pattern based on the error rate obtained through the step (D) and arranging the feature points of the triangle pattern on a helmet;

(F) assigning unique numbers to the feature points;

(G) acquiring reference coordinates by photographing the feature points disposed on the helmet with a camera;

(H) acquiring the changed coordinates of the feature points as the position of the helmet changes;

(I) comparing the coordinates obtained through the step (G) with the reference coordinates of the step (F) to calculate a roll, a pitch, and a yaw. Helmet position estimation method in the head tracker.

The method of claim 4, wherein the unique number assigned to the feature points

A helmet position estimation method in a head tracker, characterized in that it is given to confirm that the coordinates of feature points change when the position of the helmet changes.

The method of claim 4, wherein the calculation of the roll, the pitch, and the yaw is performed.

Helmet position estimation method in a head tracker, characterized by using least square method.

The method of claim 4, wherein the coordinates of the feature points

A helmet position estimation method in a head tracker, characterized in that the three-dimensional coordinate value.

The method of claim 4, wherein the feature point pattern obtained by calculating the roll, the pitch, and the yaw comprises:

Helmet position estimation method in a head tracker, characterized in that the calculation using a virtual feature (virtual feature).