KR20100081589A - 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법 - Google Patents

특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법 Download PDF

Info

Publication number
KR20100081589A
KR20100081589A KR1020090000892A KR20090000892A KR20100081589A KR 20100081589 A KR20100081589 A KR 20100081589A KR 1020090000892 A KR1020090000892 A KR 1020090000892A KR 20090000892 A KR20090000892 A KR 20090000892A KR 20100081589 A KR20100081589 A KR 20100081589A
Authority
KR
South Korea
Prior art keywords
feature points
helmet
feature
pattern
camera
Prior art date
Application number
KR1020090000892A
Other languages
English (en)
Other versions
KR101059748B1 (ko
Inventor
박찬국
김영일
이재억
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020090000892A priority Critical patent/KR101059748B1/ko
Publication of KR20100081589A publication Critical patent/KR20100081589A/ko
Application granted granted Critical
Publication of KR101059748B1 publication Critical patent/KR101059748B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • G01M11/0242Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/025Testing optical properties by measuring geometrical properties or aberrations by determining the shape of the object to be tested
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181Memory or computer-assisted visual determination

Landscapes

  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 헬멧에 관한 것으로서, 특히 헬멧 사용자들의 머리 위치 및 자세에 대한 정보를 획득하는 헤드 트랙커(Head Tracker)에 관한 것이다.
본 발명은 헬멧의 위치 및 자세를 추정하기 위한 것으로, 적외선 LED를 헬멧에 부착하고 스테레오 적외선 카메라를 이용하여 LED의 위치를 추정함으로써 헬멧을 착용한 사용자 머리의 위치 및 자세 정보를 추정할 수 있다. 적외선 LED는 특정한 길이를 사용한 삼각형 모양의 패턴으로 배치하고, 패턴간의 간격도 일정 규칙으로 그 값을 정하여 배치한다. 또한 최소자승제곱법을 이용한 제안하는 알고리즘을 사용하고, 가상의 특징점을 사용하여 그 정확성을 높인다.
헬맷, 헤드 트랙커

Description

특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법{HEAD TRACKER FOR USING FEATURED PATTERN AND METHOD OF DISPOSING FREATRUED POINTS IN HAED TRACKER}
본 발명은 헬멧에 관한 것으로서, 특히 헬멧 사용자들의 머리 위치 및 자세에 대한 정보를 획득하는 헤드 트랙커(Head Tracker)에 관한 것이다.
헤드 트랙커란, 헬맷 사용자의 머리 움직임을 추정하여 머리의 위치 및 자세에 대한 정보를 획득하는 장비로서, 이는 군사, 자동차, 항공, 의학, 게임 분야 등 다양한 방면에서 활용되있으며, 예를 들어 전투기 조종사의 헬맷을 설계하기 위해 이러한 헤드 트랙커가 사용되고 있다.
헤드 트랙커는 헬맷 사용자의 머리 움직임을 추적 내지 측정하기 위해 센서를 사용하고 있다.
헤드 트랙커에 사용되는 센서는 그 목적에 따라 다양하며 크게 기계, 자기장, 음향, 관성 그리고 광학 방식으로 구분할 수 있다. 특히, 전투기 조종사를 위 해 가장 활발하게 연구되고 있는 헤드 트랙커의 경우 항공기의 특수성 및 응용 목적에 의해 자기장, 관성 그리고 광학 방식 등이 주로 응용된다.
이하, 헤드 트랙커에 있어서, 자기장 방식, 관성 방식 및 광학 방식을 상세히 설명하면 다음과 같다.
첫째, 자기장 방식은 높은 해상도를 가지며 가벼우면서도 센서가 자유롭게 3차원 공간상을 이동할 수 있다는 장점이 있기 때문에 많이 사용되고 있다. 그러나 헤드 트랙커에 있어서, 자기장 방식은 장비가 고가이고 자기장이 주변 전자 장비에 영향을 준다는 단점이 있기 때문에, 항공 장비에 민감한 전투기에 적용이 힘든 면이 있다.
둘째, 관성 방식은 고속 움직임에 대한 추적이 용이하다는 장점이 있는 반면, 시간에 따른 부유 오차(drift error)로 인하여 추정값이 발산한다는 단점이 존재한다. 셋째, 광학 방식은 높은 정밀도를 가진다는 장점이 있지만, 영상 처리에 따른 과부하 때문에 실시간으로 시스템을 운용하는데 어려움이 있다는 단점이 있다. 그러나 이러한 광학 방식의 단점에도 불구하고, 최근 영상 기술의 발달에 따라 광학 방식에 대한 연구가 활발히 이루어지고 있다.
특히, 광학 방식의 트랙커는 Outside-in 방식과 Inside-out 방식 둘로 나눠진다. Outside-in 방식은 물체에 표적을 달고 주변에 카메라를 배치하는 방식으로 표적의 움직임이 작기 때문에 높은 해상도의 카메라가 필요하다. 반면에 Inside-out 방식은 추적하려는 물체에 카메라를 달고 주변에 표적을 배치하는 방식으로 카메라의 해상도는 낮아도 되지만 많은 수의 표적이 필요하다.
그런데, 광학 방식의 트랙커를 사용하는 경우, 영상 분석시 계산 결과도 많고 그에 따라 오차 또한 발생하는 문제점이 있다. 이러한 문제점을 해결하기 위해서는 적절한 카메라와, 추적 물체의 배치와, 그리고 효과적인 알고리즘이 필요하다.
본 발명의 목적은 상기의 광학 방식의 헤드 트랙커의 문제점을 해결하기 위한 것으로서, 본 발명은 광학 방식 헤드 트랙커를 통해 헬멧 사용자의 머리 위치 및 자세 정보를 획득하는데 있어서, 카메라 및 추적 물체의 적절한 배치를 제공하는 것이다.
또한 본 발명의 목적은, 광학 방식의 헤드 트랙커를 사용하는데 있어서 본 발명이 제공하는 카메라 및 추적 물체의 배치에 대한 효과적인 알고리즘을 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 헤드 트랙커에서 특징점 배치 방법은,
헬맷 사용자의 움직임에 따라 헬맷 위치 및 사용자의 자세를 추정하기 위한 광학 방식의 헤드 트랙커에서 특징점을 패턴을 배치하는 방법으로서,
(A) 헬맷의 적어도 하나 이상의 특징점을 삼각형 패턴으로 배치하는 단계와; (B) 상기 삼각형 패턴의 특징점에서 특정 2 개의 특징점 간의 길이를 측정하는 단계와; (C) 상기 특정 2개의 특징점을 카메라로 촬영한 이미지를 분석하여 획득한 상기 2개의 특징점 간의 길이를 획득하는 단계와; (D) 상기 (B) 단계에서 측정한 길이와 상기 (C) 단계에서 측정한 기리를 비교하여 카메라로 촬영한 이미지의 오차 율을 계산하고, 그 오차율을 고려하여 상기 삼각형 패턴의 특징점들의 간격을 결정하여 헬맷에 특징점들을 배치하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 특징점은, 적외선 LED인 것을 특징으로 한다.
바람직하게는, 상기 (C) 단계는, 상기 2개의 특징점의 간격을 변화시켜, 카메라를 스테레오 방식으로 1m 떨어진 곳에서 촬영하여 상기 (B) 단계에서 측정한 상기 2개의 특징점 간의 실제거리와 상기 (C) 단계에서 측정한 상기 2개의 특징점 간의 거리를 비교함으로써, 상기 오차율을 계산하는 것을 특징으로 한다.
또한, 상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 헤드 트랙커에서 헬맷 위치 추정 방법은,
헬맷 사용자의 움직임에 따라 헬맷 위치 및 사용자의 자세를 추정하기 위한 광학 방식의 헤드 트랙커에서 특징점을 패턴을 배치하는 방법으로서,
(A) 헬맷의 적어도 하나 이상의 특징점을 삼각형 패턴으로 배치하는 단계와;
(B) 상기 삼각형 패턴의 특징점에서 특정 2 개의 특징점 간의 길이를 측정하는 단계와;
(C) 상기 특정 2개의 특징점을 카메라로 촬영한 이미지를 분석하여 획득한 상기 2개의 특징점 간의 길이를 획득하는 단계와;
(D) 상기 (B) 단계에서 측정한 길이와 상기 (C) 단계에서 측정한 기리를 비교하여 카메라로 촬영한 이미지의 오차율을 계산하는 단계와;
(E) 상기 (D) 단계를 통하여 획득한 오차율에 기초하여 상기 삼각형 패턴의 특징점들의 간격을 결정하고 상기 삼각형 패턴의 특징점들을 헬맷에 배치하는 단계 와;
(F) 상기 특징점들에 고유번호를 부여하는 단계와;
(G) 상기 헬맷에 배치된 특징점들을 카메라로 촬영하여 기준좌표를 획득하는 단계와;
(H) 상기 헬맷의 위치가 변동됨에 따라, 상기 특징점들의 변동된 좌표를 획득하는 단계와;
(I) 상기 (G) 단계를 통해 획득한 좌표와 상기 (F) 단계의 기준좌표를 비교하여 롤(roll)와, 피치(pitch)와, 요(yaw)를 계산하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 특징점들에 부여된 고유번호는
상기 헬맷의 위치가 변동될 때, 특징점들의 좌표가 변동되는 것을 확인하기 위하여 부여되는 것을 특징으로 한다.
바람직하게는, 상기 롤(roll)와, 피치(pitch)와, 요(yaw)의 계산은
최소 자승제곱법을 활용하는 것을 특징으로 하는 한다.
바람직하게는, 상기 특징점들의 좌표는
3차원의 좌표값인 것을 특징으로 한다.
바람직하게는, 상기 롤(roll)와, 피치(pitch)와, 요(yaw)의 계산을 통해 획득되는 상기 특징점 패턴은
가상의 특징점(virtual feature)을 활용하여 계산하는 것을 특징으로 한다.
본 발명은 광학 방식의 헤드 트랙커를 통하여 삼각형 패턴의 특징점(LED가 부착되는 위치)을 헬맷에 배치하여, 사용자의 움직임에 따라 헬멧의 위치 및 자세 정보를 획득하는데 효과가 있다.
또한, 본 발명은 특정한 형태의 패턴을 분석하여 그 패턴이 부착된 물체의 정보를 얻는데 효과가 있다.
본 발명은 광학방식의 헤드 트랙커에 적용된다. 그러나, 본 발명의 기술적 사상은 이에 한정하지 않고 타 기술에 적용될 수도 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구서요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 거이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여 본 발명에 바람직한 실시 예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명의 기본 개념은, 발광소자(예를 들어, LED)로 헬멧에 특정점(적어도 하나 이상의 특정점) 패턴(예를 들어, 삼각형 패턴)을 배치하여, 사용자 헬멧의 위치와 그 사용자의 움직임에 따른 자세(즉, 머리의 움직임에 따른 헬멧의 자세일 수 있다)를 추정하는 것이다. 특히, 본 발명은 헬멧의 특정점 패턴을 배치 시, 영상분석 시 발생하는 오차율을 고려하여 특징점 패턴 간격을 선정(내지 배치)한다. 또한, 본 발명은 헬멧 위치 및 자세 추정에 최소자승제곱법을 활용하고, 가상의 특징점을 활용하여 계산의 정확성을 높인다.
본 발명은, 1) 헬맷의 특징점(즉, LED가 부착될 위치)의 패턴을 설계(형성)하는 것이다. 이러한 패턴을 설계하는 방법은 다음과 같다: 1-1) 특징점의 패턴을 설계하기 위해, 특징점 간의 거리를 계산하여야 한다. 이때, 카메라의 기능적 한계 및 렌즈의 왜곡 현상으로 인한 특징점 간의 거리의 오차를 알아야 하기 때문에, 헬맷에 부착될 특징점 간의 실제 거리와 카메라를 촬영하고, 그 촬영한 이미지를 분석하여 획득한 특징점 간의 길이 간의 차이, 즉 오차를 계산한다; 1-2) 특징점이 수가 적어야 시스템의 성능(왜냐하면, 계산할 좌표의 수가 적어짐)이 좋기 때문에, 삼각형 패턴의 특징점을 적용한다. 2) 이와 같이, 헬맷에 배치된 특징점들에 고유번호를 부여하고, 각 특징점들의 기준 좌표값을 획득한다. 이러한 기준 좌표값은 특정 위치에서 헬맷의 특징점들을 카메라로 촬영하고, 그 촬영된 이미지로부터 맵 데이터에 의해 획득한다. 3) 헬맷의 움직임(위치 변화)에 따라 카메라로 촬영된 임의의 프레임에서 각 특징점들의 좌표값을 획득한다. 4) 상기 기준좌표값과 임의의 프레임에서 획득한 좌표값을 비교하여 특징점 간의 거리가 오차 범위에 속하는지를 판단하다.
본 발명에 따른 헤드 트랙커는, 헬멧에 배치한 특징점에 부착된 센서를 촬영하고, 또한 헬맷의 움직임을 포착하는 카메라(예를 들어, 적외선 CCD 카메라)와, 헬멧에 배치된 특징점들에 부착되는 센서(예를 들어, SI-5312H와 같은 적외선 센서)와, 상기 카메라가 상기 헬멧의 특징점들에 부착된 센서를 통해 촬영한 특징점의 영상을 표시하고, 그 위치값들을 계산하는 영상 편집 장치(일명, 영상 편집 보드)로 구성된다.
도 1은 본 발명의 일 실시 예로서, 헬맷에 특징점들에 부착된 센서들(LED)이다. 헬맷에 부착된 특징점들은 그 고유번호를 부가하여 그 헬맷의 움직임에 따라 위치가 변화하는 특징점들의 좌표를 추적할 수 있도록 한다. 여기서, 헬맷의 특징점들에 부착된 센서는 적외선 LED 센서이다. 헬맷의 움직임에 따라, 적외선 카메라가 헬맷에 부착된 특징점들의 각 LED의 좌표값을 촬영 및 추적하고, 이러한 데이터(즉, 헬맷의 위치변화에 따른 각 LED의 좌표값들)를 본 발명에 따른 알고리즘을 통해 분석한다.
한편, 본 발명에서, 카메라를 이용한 광학 방식으로 물체(즉, 헬멧에 배치된 특징점들)의 위치를 추정할 때, 카메라의 기능적 한계 및 렌즈의 굴곡에 의한 왜곡 현상 등에 의하여 물체의 정확한 3차원 위치를 추정하기가 어렵다. 즉, 적외선 카메라를 이용하여 카메라와 일정 거리에 떨어진 두 개의 적외선 LED(특징점)의 위치를 분석한다면 앞에서 언급한 오차 요인들에 의하여 실제 길이와 다른 값들이 계산 될 것이다. 이와 같은 이유에 의해서 시스템을 개발하기 전에 실험 환경에 대해 인지하고, 그 실험 환경이 시스템에 어떤 영향을 주는지 분석해야 한다.
오차를 알아보는 실험 방법은 다음과 같다. 2개의 특징점을 일정 길이만큼 떨어뜨려놓은 후, 적외선 카메라를 스테레오 방식으로 1m 떨어진 곳에서 촬영한다. 1m의 값은 본 시스템이 궁극적으로 사용되는 곳은 전투기 콕핏이며, 콕핏의 크기와 시스템이 설치될 수 있는 장소, 조종사의 헬멧의 위치 등을 고려하여 결정되었다. 이때, 2개의 특징점간의 길이는 일정 길이(예를 들어, 0.5cm)만큼 변경시키며, 실험의 정확도를 위해 10번 반복 실험을 한다. 또한 헬멧의 크기를 고려하여, 특징점간의 거리가 일정 이상 커질 수 없음을 감안하여 이 실험에서 특징점간의 길이의 최대값을 결정하였다. 이미지 분석을 통한 특징점간의 거리를 계산하고, 실제 길이와 비교하여 오차율을 계산한다.
한편, 특징점 패턴의 모양은 개발자의 연구 방향과 시스템의 형태에 따라 여러 가지가 존재할 수 있다. 그러나, 본 발명은 특징점 간의 거리를 통한 분석이기 때문에, 특징점 패턴을 형성하는 특징점의 수가 가장 적게 사용한다. 왜냐하면 특징점의 수가 적을수록 패턴을 분석할 때, 필요한 계산의 수(즉, 특징점들의 좌표값)들가 줄어들어 시스템의 성능이 향상되기 때문이다. 이와 같은 조건들을 고려하여, 본 발명에서는 헬맷에 특징점들을 삼각형을 패턴으로 배치한다. 왜냐하면, 삼 각형은 패턴 중에 가장 적은 3개의 특징점이 존재하며, 또한 패턴 분석을 위한 길이도 3개(즉, 삼각형 패턴의 3개 특징점이 이루는 면의 수가 3개)에 불과하기 때문이다.
패턴을 이루는 길이(즉, 임의의 2개 특징점이 가상으로 연결 시, 그 연결된 선의 길이에 해당한다)는 앞의 실험 결과(오차율 계산)와 헬멧의 크기를 고려하여 제한적인 갯수로 결정함으로써, 영상 분석시 계산량과 오류를 줄이도록 한다. 또한 헬멧의 크기를 고려하여 배치하는 패턴의 수를 결정한다. 패턴간의 간격은 가장 긴 특징점간의 길이에 실험값의 오차율보다 더 큰 값으로 결정한다(즉, 패턴 간의 간격 > 가장 긴 특징점 간의 길이 + 오차율). 이러한 삼각형 모양 패턴을 형성하며 헬멧에 부착된 특징점은 도 2와 같다.
도 2의 일 실시 예와 같이, 적외선 LED들이 부착될 위치, 즉 특징점들을 헬맷에 배치하고, 각각의 특징점에 대하여 특징점 고유 번호(feature characteristic number)를 부여한다. 이렇게 특징점들에 고유 번호를 부여하는 것은, 헬맷의 움직임에 따라 각 특징점(즉, 각 특징점에 부착된 LED)의 좌표를 획득하기 위한 것이다. 먼저, 헬맷에 배치된 특징점들의 기준 좌표값들을 획득한다. 즉, 헤드 프레임에 대한 각 특징점의 고유 번호에 대한 좌표는 맵 데이터(Map Data)를 통하여 획득할 수 있고, 맵 데이터는 기준이 되는 특징점들의 기본 좌표값들이다. 도 4는 본 발명의 일 실시 예로서, 맵 데이터를 통해 획득한 헬맷의 각 특징점들의 좌표이다. 즉, 도 4에서 각 특징점들은 자신의 특징점 고유번호와 그 고유번호에 해당하는 특징점의 좌표를 표시한 것이다. 여기서, 각 특징점의 좌표는 3차원의 좌표값이다.
헬맷의 움직임(즉, 사용자 머리의 움직임)에 따라, 카메라를 통하여 촬영될 임의의 프레임으로부터 특징점들의 3차원 좌표값이 획득된다. 임의의 프레임에서 특징점의 좌표를 획득한 후, 맵 데이터와 비교를 통하여 롤(roll), 피치(pitch), 요(yaw)를 계산한다. 이것은 임의의 프레임에서 머리의 위치 및 자세를 의미한다. 이하, 도 3을 참조하여, 임의의 프레임에서 특징점의 좌표를 구하는 방식은 다음과 같다.
헬맷의 움직임에 따라, 헬맷의 사용자의 머리 위치 및 자세가 변화한다. 헬맷의 움직임에 적외선 카메라로 촬영한 프레임으로부터 맵 데이터를 통행 특징점들의 좌표값을 획득할 수 있다. 따라서, 적외선 카메라가 헬맷의 움직임을 추적하여 연속하여 촬영한 프레임으로부터 특징점들의 좌표값이 변화하는 것을 알 수 있다. 이러한 일련의 일련의 과정을 통하여 특징점의 3차원 좌표를 획득한다(S1). 정합 순서에 따라 번호를 부여한 후(S2), 정합된 특징점 간의 모든 거리를 계산한다(S3). 이때, 상기 과정(S3)에서 계산한 값들이 일정 길이가 넘는지를 판단하고(S4), 만일 일정 길이 이상이 되는 계산 값들은 삭제한다(S5). 왜냐하면 특징점간의 거리의 최대 길이가 이미 정해져 있기 때문에, 그 이상은 필요하지가 않기 때문이다. 만일 특징점 간의 거리가 앞선 실험을 통하여 정한 오차 범위에 속한다면, 실제로 정한 특징점간의 거리로 정의한다(S6). 즉, 실제 특정 두개의 특징점 패턴 간의 길이와 카메라가 촬영한 이미지의 분석을 통항 특징점 간의 길이가 오차 범위 내에서 일치한다고 볼 수 있기 때문이다. 이와 같이, 상기 과정들(S1 ~ S6)을 통해 첫번째 정합된 특징점을 기준으로 정합 순서에 따라 번호를 설정한 것과 비교한 다(S7). 만약 관련된 특징점이 1개이면 다음 과정을 건너 다음 특징점으로 넘어가고, 2개이면 다음 과정으로, 3개 이상이면 2개씩 묶어서 다음 과정들을 반복한다. 관련된 2개의 특징점간의 거리 계산 결과가 존재하는지 확인한다(S8 ~ S9). 존재하지 않는다면 패턴 형성이 되지 않으므로 과정을 건너 다음 특징점으로 넘어가고(즉, 해당 정보를 삭제하고 다음 특징점으로 넘어간다)(S10), 존재한다면 기존의 패턴 데이터와 비교하여 특징점의 고유번호를 획득한다. 이후 모든 특징점에 대하여 위의 과정을 반복한다. 이때, 롤, 피치, 요를 계산하기 위한 방식은 최소자승제곱법을 사용하며, 획득되는 패턴마다 그 패턴의 무게 중심이라는 1개의 가상의 특징점(virtual feature)을 만들어 최소자승제곱법에 대한 계산의 정확도를 높인다(S11). 카메라로 촬영된 헬맷의 움직임(즉, 헬맷에 배치된 특징점(즉, 각 특징점에 부착된 LED)들의 위치 및 사용자 머리위치 내지 자세)을 포착한 이미지를, 상기의 과정들(S1 ~ S11)을 통하여 분석함으로써, 헬맷의 위치 및 사용자 머리의 자세에 대한 정보를 획득할 수 있다(S12). 도 5는 도 4의 일련의 과정으로 회전한 요각으로 90도 회전했을 시의 헬멧의 요각 자세 변화이다.
이상, 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1는 본 발명의 실시 예에 따른 LED가 부착된 헬멧 장비.
도 2은 본 발명의 실시 예에 따른 헬멧의 위치 및 자세를 찾는 흐름도.
도 3는 본 발명의 실시 예에 따른 획득한 특징점의 고유 번호와 그 좌표.
도 4는 본 발명의 실시 예에 따른 요각으로 90도 회전했을 시의 요각 변화 그래프.

Claims (8)

  1. 헬맷 사용자의 움직임에 따라 헬맷 위치 및 사용자의 자세를 추정하기 위한 광학 방식의 헤드 트랙커에서 특징점을 패턴을 배치하는 방법으로서,
    (A) 헬맷의 적어도 하나 이상의 특징점을 삼각형 패턴으로 배치하는 단계와;
    (B) 상기 삼각형 패턴의 특징점에서 특정 2 개의 특징점 간의 길이를 측정하는 단계와;
    (C) 상기 특정 2개의 특징점을 카메라로 촬영한 이미지를 분석하여 획득한 상기 2개의 특징점 간의 길이를 획득하는 단계와;
    (D) 상기 (B) 단계에서 측정한 길이와 상기 (C) 단계에서 측정한 기리를 비교하여 카메라로 촬영한 이미지의 오차율을 계산하고, 그 오차율을 고려하여 상기 삼각형 패턴의 특징점들의 간격을 결정하여 헬맷에 특징점들을 배치하는 단계;를 포함하는 것을 특징으로 하는 헤드 트랙커에서 특징점 배치 방법.
  2. 제1항에 있어서, 상기 특징점은
    적외선 LED인 것을 특징으로 하는 헤드 트랙커에서 특징점 배치 방법.
  3. 제1항에 있어서, 상기 (C) 단계는
    상기 2개의 특징점의 간격을 변화시켜, 카메라를 스테레오 방식으로 1m 떨어진 곳에서 촬영하여 상기 (B) 단계에서 측정한 상기 2개의 특징점 간의 실제거리와 상기 (C) 단계에서 측정한 상기 2개의 특징점 간의 거리를 비교함으로써, 상기 오차율을 계산하는 것을 특징으로 하는 헤드 트랙커에서 특징점 배치 방법.
  4. 헬맷 사용자의 움직임에 따라 헬맷 위치 및 사용자의 자세를 추정하기 위한 광학 방식의 헤드 트랙커에서 특징점을 패턴을 배치하는 방법으로서,
    (A) 헬맷의 적어도 하나 이상의 특징점을 삼각형 패턴으로 배치하는 단계와;
    (B) 상기 삼각형 패턴의 특징점에서 특정 2 개의 특징점 간의 길이를 측정하는 단계와;
    (C) 상기 특정 2개의 특징점을 카메라로 촬영한 이미지를 분석하여 획득한 상기 2개의 특징점 간의 길이를 획득하는 단계와;
    (D) 상기 (B) 단계에서 측정한 길이와 상기 (C) 단계에서 측정한 기리를 비교하여 카메라로 촬영한 이미지의 오차율을 계산하는 단계와;
    (E) 상기 (D) 단계를 통하여 획득한 오차율에 기초하여 상기 삼각형 패턴의 특징점들의 간격을 결정하고 상기 삼각형 패턴의 특징점들을 헬맷에 배치하는 단계와;
    (F) 상기 특징점들에 고유번호를 부여하는 단계와;
    (G) 상기 헬맷에 배치된 특징점들을 카메라로 촬영하여 기준좌표를 획득하는 단계와;
    (H) 상기 헬맷의 위치가 변동됨에 따라, 상기 특징점들의 변동된 좌표를 획득하는 단계와;
    (I) 상기 (G) 단계를 통해 획득한 좌표와 상기 (F) 단계의 기준좌표를 비교하여 롤(roll)와, 피치(pitch)와, 요(yaw)를 계산하는 단계를 포함하는 것을 특징으로 하는 헤드 트랙커에서 헬맷 위치 추정 방법.
  5. 제4항에 있어서, 상기 특징점들에 부여된 고유번호는
    상기 헬맷의 위치가 변동될 때, 특징점들의 좌표가 변동되는 것을 확인하기 위하여 부여되는 것을 특징으로 하는 헤드 트랙커에서 헬맷 위치 추정 방법.
  6. 제4항에 있어서, 상기 롤(roll)와, 피치(pitch)와, 요(yaw)의 계산은
    최소 자승제곱법을 활용하는 것을 특징으로 하는 헤드 트랙커에서 헬맷 위치 추정 방법.
  7. 제4항에 있어서, 상기 특징점들의 좌표는
    3차원의 좌표값인 것을 특징으로 하는 헤드 트랙커에서 헬맷 위치 추정 방법.
  8. 제4항에 있어서, 상기 롤(roll)와, 피치(pitch)와, 요(yaw)의 계산을 통해 획득되는 상기 특징점 패턴은
    가상의 특징점(virtual feature)을 활용하여 계산하는 것을 특징으로 하는 헤드 트랙커에서 헬맷 위치 추정 방법.
KR1020090000892A 2009-01-06 2009-01-06 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법 KR101059748B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090000892A KR101059748B1 (ko) 2009-01-06 2009-01-06 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090000892A KR101059748B1 (ko) 2009-01-06 2009-01-06 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법

Publications (2)

Publication Number Publication Date
KR20100081589A true KR20100081589A (ko) 2010-07-15
KR101059748B1 KR101059748B1 (ko) 2011-08-26

Family

ID=42641971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090000892A KR101059748B1 (ko) 2009-01-06 2009-01-06 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법

Country Status (1)

Country Link
KR (1) KR101059748B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101320337B1 (ko) * 2012-05-02 2013-10-29 한국항공우주연구원 위치 및 자세 추정시스템
KR101400604B1 (ko) * 2012-05-30 2014-05-27 현대제철 주식회사 실내 이동자 위치추적 시스템 및 그 방법
KR101398068B1 (ko) * 2012-09-17 2014-05-27 주식회사 이미지넥스트 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR20140134694A (ko) * 2012-03-19 2014-11-24 플리어 시스템즈, 인크. 통합 적외선 이미징 모듈을 구비한 웨어러블 장치
KR20160007666A (ko) * 2013-06-11 2016-01-20 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 4개의 led들의 패턴으로부터의 포즈 결정

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4692250B2 (ja) 2005-12-01 2011-06-01 株式会社島津製作所 ヘッドモーショントラッカ
JP5292725B2 (ja) 2007-05-24 2013-09-18 株式会社島津製作所 モーショントラッカ装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134694A (ko) * 2012-03-19 2014-11-24 플리어 시스템즈, 인크. 통합 적외선 이미징 모듈을 구비한 웨어러블 장치
KR101320337B1 (ko) * 2012-05-02 2013-10-29 한국항공우주연구원 위치 및 자세 추정시스템
KR101400604B1 (ko) * 2012-05-30 2014-05-27 현대제철 주식회사 실내 이동자 위치추적 시스템 및 그 방법
KR101398068B1 (ko) * 2012-09-17 2014-05-27 주식회사 이미지넥스트 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR20160007666A (ko) * 2013-06-11 2016-01-20 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 4개의 led들의 패턴으로부터의 포즈 결정
KR20160016914A (ko) * 2013-06-11 2016-02-15 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 4개의 led들의 패턴으로부터의 포즈 결정

Also Published As

Publication number Publication date
KR101059748B1 (ko) 2011-08-26

Similar Documents

Publication Publication Date Title
US9378559B2 (en) System and method for motion estimation
JP5084167B2 (ja) 位置姿勢計測方法及び装置
US11132810B2 (en) Three-dimensional measurement apparatus
Tian et al. Accurate human navigation using wearable monocular visual and inertial sensors
KR20160020065A (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR101059748B1 (ko) 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법
JP6321202B2 (ja) モバイルプラットフォームの運動を決定する方法、装置、及びシステム
JP2013232195A5 (ko)
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
KR101737950B1 (ko) 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
JP2014185996A (ja) 計測装置
JP2014211404A (ja) モーションキャプチャー方法
JP6847712B2 (ja) 3次元位置計測システム及び方法
JP7114686B2 (ja) 拡張現実装置及び位置決め方法
JP2015031601A (ja) 3次元計測装置及び方法並びにプログラム
CN112492195A (zh) 光学传感装置及方法
CN105184268A (zh) 手势识别设备、手势识别方法及虚拟现实系统
JP2009186244A (ja) 傾斜角度推定システム、相対角度推定システム及び角速度推定システム
CN111383282A (zh) 位姿信息确定方法及装置
CN105912117A (zh) 运动状态捕捉方法和系统
CN112200838A (zh) 一种弹丸轨迹跟踪方法、装置、设备及存储介质
EP3392748B1 (en) System and method for position tracking in a virtual reality system
JP2010145219A (ja) 運動推定装置及びプログラム
WO2019186677A1 (ja) ロボット位置姿勢推定・三次元計測装置
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee