KR102005504B1 - 증강현실 기반 자세 측정 장치 및 방법 - Google Patents

증강현실 기반 자세 측정 장치 및 방법 Download PDF

Info

Publication number
KR102005504B1
KR102005504B1 KR1020170081725A KR20170081725A KR102005504B1 KR 102005504 B1 KR102005504 B1 KR 102005504B1 KR 1020170081725 A KR1020170081725 A KR 1020170081725A KR 20170081725 A KR20170081725 A KR 20170081725A KR 102005504 B1 KR102005504 B1 KR 102005504B1
Authority
KR
South Korea
Prior art keywords
image
aiming device
module
markers
posture
Prior art date
Application number
KR1020170081725A
Other languages
English (en)
Other versions
KR20190001728A (ko
Inventor
이상훈
송진모
도주철
박태선
배종수
Original Assignee
주식회사 한화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한화 filed Critical 주식회사 한화
Priority to KR1020170081725A priority Critical patent/KR102005504B1/ko
Publication of KR20190001728A publication Critical patent/KR20190001728A/ko
Application granted granted Critical
Publication of KR102005504B1 publication Critical patent/KR102005504B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/006—Guided missiles training or simulation devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G11/00—Details of sighting or aiming apparatus; Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/003—Simulators for teaching or training purposes for military purposes and tactics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 모의훈련용 조준장치에 관한 것으로서, 더 상세하게는 단거리 로켓 발사기의 모의 사격 훈련 및 사수 운용성 확인을 위해 조준장치의 자세를 측정하기 위한 장치 및 방법에 대한 것이다.
본 발명에 따르면, 조준장치의 롤 각 측정을 위한 방식 및 피치, 요 각 측정을 이원화하여 적용하는데, 즉, 다 변수를 추정하는 방식을 통하여 대략적인 정보를 추출한 뒤 더욱 정확한 정보를 획득하기 위해 2개의 변수(피치, 요 각 정보)를 선형 최적화하는 방식을 이용하므로 조준장치의 자세 정확도가 향상될 수 있다.

Description

증강현실 기반 자세 측정 장치 및 방법{Apparatus and Method for measuring pose based on augmented reality}
본 발명은 모의훈련용 조준장치에 관한 것으로서, 더 상세하게는 단거리 로켓 발사기의 모의 사격 훈련 및 사수 운용성 확인을 위해 조준장치의 자세를 측정하기 위한 장치 및 방법에 대한 것이다.
특히, 본 발명은 영상 센서만을 이용하여 조준장치의 자세를 추정하는 장치 및 방법에 대한 것이다.
최근 가상현실과 증강현실 시장이 성장함에 따라 HMD(Head Mount Display)의 자세인식 방법과 체험자의 모션 인식이 중요한 기술분야로 대두되었다. 가상현실 분야의 대표적인 사례는 일반적인 스마트 폰의 자세 센서 성능을 그대로 활용하는 방식이다.
이 방식은 수십~수백만 대의 양산수량을 보증하는 스마트 폰 시장의 특성상 비용 대비 효율을 극대화할 수 있으므로, 체험자에게 이질감이 느껴지지 않는 정도의 성능을 얻을 수 있다.
그러나, 군사용 장비의 개발 특성상 대량생산이 확보되지 않은 상태의 소형-저가형 자세 센서의 성능은 조악하므로, 조준 장치의 자세 센서의 성능만으로 가상 영상을 구현하기 부족하다.
또 다른 사례는 체험자의 안경이나 HMD에 별도의 적외선 발광부를 설치함으로써 외부의 카메라로 자세를 측정하는 방식이 있다. 이 방식은 외부에 별도의 카메라를 설치해야 하는 단점이 있다. 부연하면, 실내에서 가상 현실 구현을 위해 정밀한 자세 측정 센서를 이용하거나 HMD(Head Mount Display)에 장착된 적외선 LED의 위치를 해석하는 별도의 카메라를 외부에 두는 방식이다.
이와 같은 방식은 정밀한 자세 측정 센서를 요구하기 때문에 가볍고 적은 수의 장치만이 필요한 경우에는 적합하지 않고, 외부의 카메라를 적용하기 위하여 별도의 인터페이스가 필요하기 때문에 휴대용 조준장치의 모의 훈련용으로는 적합하지 않았다.
일반적으로 실시되는 영상기반 자세 측정 방식은 대체로 다음과 같은 과정을 거친다. ① 미리 설정된 기준 좌표계의 3차원 공간에 패턴을 배치하고, ② 2차원 영상 평면에 투영된 대응점을 탐색한 뒤, ④ 수학식 1로 정의되는 과충족 시스템에 대한 근사해를 도출하고, ⑤ 카메라 외부 변수 추출 과정을 적용하여 카메라의 6자유도 변수를 추출하는 것이다. 수학식1은 다음과 같다.
Figure 112017061974717-pat00001
여기서,
Figure 112017061974717-pat00002
Figure 112017061974717-pat00003
은
Figure 112017061974717-pat00004
Figure 112017061974717-pat00005
회전행렬,
Figure 112017061974717-pat00006
Figure 112017061974717-pat00007
는
Figure 112017061974717-pat00008
Figure 112017061974717-pat00009
선형 이동 벡터이고, X3d 는 3차원 좌표, x2d 는 영상 평면에 투영된 대응점의 좌표이다.
카메라 내부변수
Figure 112017061974717-pat00010
Figure 112017061974717-pat00011
는 미리 캘리브레이션이 수행되어 있다고 가정한다. 카메라 내부변수
Figure 112017061974717-pat00012
Figure 112017061974717-pat00013
는 초점거리(focal length),
Figure 112017061974717-pat00014
Figure 112017061974717-pat00015
는 주점(principal point),
Figure 112017061974717-pat00016
Figure 112017061974717-pat00017
는 비대칭 계수(skew coefficient)이다.
상기 방식의 경우, 표현의 간결함과 구현의 용이함에도 불구하고 6개의 변수를 찾아야 하는 수학적 모호함 때문에 대응 탐색된 점의 개수와 정밀도에 따라 그 성능이 결정된다. 그러나, 조준장치의 운용 개념상 매우 정밀한 단위의 각도 측정이 필요하고, 사수가 회전 운동만을 하기 때문에 적절한 영상의 취득이 불가능하기 때문에 적용할 수 없다.
또한, 기존 방식의 경우, 별도의 적외선 발광부 또는 외부 카메라를 설치하는 방식이었기 때문에 동기화 및 관리가 필요하다는 문제점이 있다.
1.한국공개특허 제10-2011-0030390호 2.한국공개특허 제10-2010-0047563호
1.이선형외, "비마커 증강현실을 위한 색상 및 깊이 정보를 융합한 Mean-Shift 추적 기반 손 자세의 추정", 한국컴퓨터정보학회논문지 제17권 제7호 통권 제100호 (2012년 7월) pp.155-165 2. Hartley, Richard, and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003
본 발명은 배경기술에서 기술된 문제점을 해소하기 위해 제안된 것으로서, 단거리 로켓 발사기의 모의 사격 훈련 및 사수 운용성 확인을 위해 조준장치의 자세를 용이하게 측정하기 위한 증강현실 기반 자세 측정 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 별도의 장치를 필요로 하지 않으면서도 반영구적으로 조준 장치의 자세를 용이하게 측정할 수 있는 증강현실 기반 자세 측정 장치 및 방법을 제공하는데 다른 목적이 있다.
또한, 본 발명은 사수의 행동을 고려하여 조준장치의 자세를 더 정밀하게 측정할 수 있도록 단계적 접근이 가능한 증강현실 기반 자세 측정 장치 및 방법을 제공하는데 또 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 단거리 로켓 발사기의 모의 사격 훈련 및 사수 운용성 확인을 위해 조준장치의 자세를 용이하게 측정하기 위한 증강현실 기반 자세 측정 장치 및 방법을 제공한다.
상기 증강현실 기반 자세 측정 장치는,
조준 장치에 장착되며, 벽면상에 배치되어 있는 다수의 마커 중 특정 마커들을 인식하는 영상 센서;
상기 특정 마커들의 마커 위치 정보 및 영상 화면에 투영되는 투영 영상 좌표 정보를 획득하는 획득 모듈; 및
상기 마커 위치 정보 및 영상 좌표 정보를 이용하여 상기 조준 장치의 자세를 추정하는 추정 모듈;을 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 기반 자세 측정 장치는, 상기 특정 마커들의 중심 위치를 영상 화면에 재투영하여 오차를 보정하는 보정 모듈; 을 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 조준 장치의 자세는 상기 마커 위치 정보 및 영상 좌표 정보의 과충족 시스템(Overdetermined system)에 대한 해석을 통하여 획득되는 것을 특징으로 할 수 있다.
또한, 상기 추정 모듈은 상기 조준 장치의 6자유도 정보를 다변수 과충족 시스템으로 구성하여 선형 대수 방식을 통해 상기 조준 장치의 자세 근사해로 산출하는 것을 특징으로 할 수 있다.
또한, 상기 자세 근사해는 상기 특정 마커들을 인식하고 인식결과에 따른 상기 특정 마커들의 최외곽 코너점에 대한 3차원 위치 정보를 이용하여 호모그래피 행렬을 특이값 분해로 복원하여 생성되는 것을 특징으로 할 수 있다.
또한, 상기 보정 모듈은 상기 특정 마커들의 중심점을 영상 화면에 재투영하여 현재 영상으로부터 인식된 중심점과의 이격 각도를 보상하여 보정을 수행하는 것을 특징으로 할 수 있다.
또한, 상기 보정 모듈은 상기 이격 각도가 미리 설정되는 임계치 보다 작은 범위로 수렴되거나 반복 지정횟수를 초과하면 보정을 중지하고 보정된 최종 자세를 출력하는 것을 특징으로 할 수 있다.
또한, 상기 보상은 수학식
Figure 112017061974717-pat00018
및 수학식
Figure 112017061974717-pat00019
(여기서, θ는 조준장치의 피치이고, Ψ는 조준장치의 요각이고,
Figure 112017061974717-pat00020
Figure 112017061974717-pat00021
는 오차 보상 계수를 나타낸다)을 통해 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 다수의 마커는 영상 바코드, QR(Quick Response) 코드, 일반 바코드 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 마커 위치 정보는 3차원 위치 정보이고, 상기 투영 영상 좌표 정보는 2차원 위치 정보인 것을 특징으로 할 수 있다.
또한, 상기 영상 센서는 CCD(Charge Coupled Device) 카메라 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라인 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 다른 일실시예는, (a) 조준 장치에 장착되는 영상 센서가 벽면상에 배치되어 있는 다수의 마커 중 특정 마커들을 인식하는 단계; (b) 획득 모듈이 상기 특정 마커들의 마커 위치 정보 및 영상 화면에 투영되는 투영 영상 좌표 정보를 획득하는 단계; 및 (c) 추정 모듈이 상기 마커 위치 정보 및 영상 좌표 정보를 이용하여 상기 조준 장치의 자세를 추정하는 단계;를 포함하는 것을 특징으로 하는 증강현실 기반 자세 측정 방법을 제공할 수 있다.
또한, 상기 증강현실 기반 자세 측정 방법은, (d) 상기 보정 모듈이 상기 특정마커들의 중심 위치를 영상 화면에 재투영하여 오차를 보정하는 단계;를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 (d) 단계는, (d-1) 상기 보정 모듈이 상기 특정 마커들의 중심점을 영상 화면에 재투영하는 단계; 및 (d-2) 상기 보정 모듈이 현재 영상으로부터 인식된 중심점과의 이격 각도를 보상하여 보정을 수행하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 (d) 단계는, (d-3) 상기 보정 모듈이 상기 이격 각도가 미리 설정되는 임계치 보다 작은 범위로 수렴되거나 반복 지정횟수를 초과하면 보정을 중지하고 보정된 최종 자세를 출력하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따르면, 조준장치의 롤 각 측정을 위한 방식 및 피치, 요 각 측정을 이원화하여 적용하는데, 즉, 다 변수를 추정하는 방식을 통하여 대략적인 정보를 추출한 뒤 더욱 정확한 정보를 획득하기 위해 2개의 변수(피치, 요 각 정보)를 선형 최적화하는 방식을 이용하므로 조준장치의 자세 정확도가 향상될 수 있다.
또한, 본 발명의 다른 효과로서는 롤, 피치, 요 각의 정보 보다 정확하므로 사수 운용성 확인을 위한 조준장치의 자세 정보로 활용하기에 적합하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 실내에서 사수의 훈련이나 사격 제원의 적절성을 검토하기 위한 실내 환경 구축을 위해 이미 조준장치에 장착된 가시광 영상 센서와 위치가 지정된 패턴을 사용하는 간결한 자세 인식 시스템을 구현할 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 기존 방식의 경우, 별도의 적외선 발광부 또는 외부 카메라를 설치하는 방법이었기 때문에 동기화 및 관리가 필요하였으나, 저렴한 비용으로 출력할 수 있는 마커를 이용하므로 반영구적으로 활용 가능하다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 모의 훈련용 조준장치를 위한 증강현실 기반 자세 측정 개념도이다.
도 2는 본 발명의 일실시예에 따른 증강현실 기반 자세 측정 장치의 구성 블럭도이다.
도 3은 본 발명의 일실시예에 따른 증강현실 기반 자세 측정 과정을 보여주는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 재 투영된 마커의 중심점과 현재 인식된 마커의 중심점의 오차를 나타낸 도면이다.
도 5는 일반적인 대수적 해법과 본 발명의 일실시예를 적용한 롤 각 오차 측정 그래프이다.
도 6은 일반적인 대수적 해법과 본 발명의 일실시예를 적용한 피치 각 오차 측정 그래프이다.
도 7은 일반적인 대수적 해법과 본 발명의 일실시예를 적용한 요 각 오차 측정 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 증강현실 기반 자세 측정 장치 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 모의 훈련용 조준장치를 위한 증강현실 기반 자세 측정 개념도이다. 도 1을 참조하면, 조준장치(미도시)에 설치되는 영상 센서(110)의 센서 원점
Figure 112019045688937-pat00023
에 대해
Figure 112019045688937-pat00025
개의 마커 위치 좌표
Figure 112019045688937-pat00027
(131)가 벽면(130)에 정의되어 있다. 부연하면, 벽면(130)상의 미리 정의된 위치에 프린트된 마커(131)가 배치되어 있다.
이러한 마커(131)를 조준 장치의 영상 센서(110)로 인식하고, 이 마커(131)의 3차원 위치와 영상 화면(120)에 투영된 2차원 영상 좌표(121)의 과충족 시스템(Overdetermined system)에 대한 해석을 통하여 조준장치의 6자유도 위치 및/또는 자세를 추정한다.
즉, 조준장치의 영상을 이용하여 실내환경에서 모의 훈련 및/또는 전시용 가상 전장환경 구현을 위한 3축 오일러 각(롤, 피치, 요)을 획득할 수 있다.
부연하면, 조준장치에 이미 탑재되어 있는 저가의 영상 센서(110)만을 이용하여, 벽면(130)상에 미리 정의된 위치에 프린트된 마커를 인식하는 방식을 사용함으로써 초기 1회의 정의만으로 반영구적으로 활용 가능한 조준장치 자세 인식이 가능하다.
또한, 마커(131)는 영상 바코드가 될 수 있으나, 이에 한정되는 것은 아니며 QR(Quick Response) 코드, 일반 바코드 등도 가능하다.
도 2는 본 발명의 일실시예에 따른 증강현실 기반 자세 측정 장치(200)의 구성 블럭도이다. 도 2를 참조하면, 증강현실 기반 자세 측정 장치(200)는, 벽면(130)상에 배치되어 있는 특정 마커(131))를 인식하는 영상 센서(110), 상기 특정 마커의 마커 위치 정보 및 영상 화면에 투영되는 투영 영상 좌표 정보를 획득하는 획득 모듈(220), 상기 마커 위치 정보 및 영상 좌표 정보를 이용하여 상기 조준 장치의 위치 및 자세를 추정하는 추정 모듈(230) 등을 포함하여 구성될 수 있다.
영상 센서(110)는 조준장치(미도시)에 장착되어 있는 센서로서, CCD(Charge Coupled Device) 카메라, CMOS(Complementary Metal Oxide Semiconductor) 카메라 등이 사용될 수 있다.
추정 모듈(230)은 벽면(130)에 위치한 마커(131)의 3차원 위치와 영상 화면(120)에 투영된 2차원 영상 좌표의 과충족 시스템(Overdetermined system)에 대한 해석을 통하여 조준장치의 6자유도 위치 및 자세를 추정할 수 있다.
또한, 증강현실 기반 자세 측정 장치(200)는 특정 마커의 중심 위치를 영상 화면(120)에 재투영하여 오차를 보정하는 보정 모듈(240)을 더 포함하여 구성될 수 있다. 따라서, 추정 모듈(230) 및 보정 모듈(240)을 복합적으로 적용함으로써 시스템 구현의 간결함과 자세 획득 오차의 최소화를 동시에 달성할 수 있다.
도면에서 설명의 이해를 위해 보정 모듈(240)과 추정 모듈(230)을 모두 도시하였으나, 추정 모듈(230)만으로도 구성될 수 있다.
도 2에 되시된 "모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 3은 본 발명의 일실시예에 따른 증강현실 기반 자세 측정 과정을 보여주는 흐름도이다. 도 3을 참조하면, 획득 모듈(220)은 도 1과 같이 이미 실측된 위치에 배치된 마커(131)를 인식하여(마커의 인식 방법은 공개되어 있는 소프트웨어 툴인 ARToolkit을 사용)마커의 최외곽 코너점을 획득한다(단계 S310).
3차원 특징점
Figure 112019045688937-pat00028
이 모두 평면상에 존재하는 경우
Figure 112019045688937-pat00030
평면에 있다고 가정할 수 있으므로 수학식2에 의해서 투영행렬(Projection matrix)
Figure 112019045688937-pat00033
의 각 열 벡터
Figure 112019045688937-pat00034
는 평면 호모그래피(Homography)
Figure 112019045688937-pat00036
와 동일하다는 것을 알 수 있다.
평면 호모그래피의 경우 8자유도를 가지기 때문에 2차원 영상의 특징점 4개를 이용하여 구할 수 있고, 각 마커마다 4개의 최외곽 코너점을 획득할 수 있으므로 적어도 1개 이상의 마커만 인식되면 아래 수학식 3 내지 수학식 8의 과정을 통해 조준장치 자세의 근사치를 획득할 수 있다(단계 S320).
Figure 112017061974717-pat00038
Figure 112017061974717-pat00039
Figure 112017061974717-pat00040
여기서,
Figure 112019045688937-pat00042
은
Figure 112019045688937-pat00044
회전행렬의 각 열 벡터이다.
호모그래피를 구하는 문제는 수학식 5와 같이 동차 선형 방정식(Homogeneous linear equation) 형태로 데이터를 정렬하면 특이값 분해(SVD(Singular Value Decomposition))를 이용한 DLT(Direct Linear Transform)로 풀 수 있다.
Figure 112019045688937-pat00045
Figure 112019045688937-pat00046
개의 특징점에 대한 대응 쌍
Figure 112019045688937-pat00048
과
Figure 112019045688937-pat00050
호모그래피 행렬
Figure 112019045688937-pat00051
에 대하여 수학식 6 내지 수학식 8로 전개할 수 있다.
Figure 112017061974717-pat00053
Figure 112017061974717-pat00054
Figure 112017061974717-pat00055
Figure 112017061974717-pat00056
여기서,
Figure 112019045688937-pat00058
는 호모그래피 행렬
Figure 112019045688937-pat00060
의 각 열 벡터의 전치행렬이다.
부연하면, 부연하며, 과충족 시스템(Overdetermined system)은 구하고자 하는 미지(unknown) 변수보다 식의 개수가 더 많은 경우를 의미한다.
기술된 바와 같이 호모그래피는 8자유도이고, 1쌍의 대응점은 2개의 식을 제공하므로 4쌍의 대응점만 있으면 되지만 식의 수가 더 많은 경우 수학식 5와 같은 형태로 변형하여 Linear Least Square 해를 찾을 수 있다.
위에서 기술된 과정을 통해 구해진 정보는 조준장치(미도시)의 6자유도 위치 및 자세를 모두 포함하고 있으므로 적은 양의 데이터로는 정확하게 자세를 추정할 수 없다.
그러므로 다음 절차를 통하여 더욱 정확한 자세를 추정한다. 인식된 마커들 중에서 중앙으로부터 가장 가까운 지점에 위치한 마커의 중심점을 수학식 1을 통해 영상 화면에 재투영한다(단계 S330). 이를 보여주는 도면이 도 4에 도시된다. 도 4를 참조하면, 영상 화면(400)에 재투영된 마커(410)의 중심점은 현재 화면에서 인식된 마커의 중심점(420)과
Figure 112019045688937-pat00062
의 이격 각도를 갖는다.
도 3을 계속 참조하면, 따라서, 앞 서 얻어낸 이격 각도
Figure 112019045688937-pat00064
인 오차를 보정할 필요가 있다. 이를 위해, 이격 각도
Figure 112019045688937-pat00066
가 기준값(th: 오차 문턱치) 보다 작은지 또는 반복 지정횟수를 초과했는지를 확인하게 된다(단계 S340).
단계 S340에 따라 보정 모듈(240)이 수학식 9 내지 수학식 10을 통하여 보상해주면 더욱 정밀한 피치, 요 각 정보를 획득할 수 있다(단계 S350). 보정된 자세 정보를 통하여 마커의 중심점을 영상에 재 투영하는 과정을 반복적으로 실행한 뒤 사전에 지정된 오차 문턱치(th) 이내로 수렴되면 결과를 출력한다(단계 S340,S360).
Figure 112017061974717-pat00067
Figure 112017061974717-pat00068
여기서, θ는 조준장치의 피치이고, Ψ는 조준장치의 요각이고,
Figure 112019045688937-pat00070
는 오차 보상 계수이다.
조준장치는 대부분 피치(즉 전후 기울어짐의 정도), 요 방향(즉 수평회전)의 회전운동을 하게 되므로, 롤 각(즉 좌우 기울어짐의 정도)의 정보보다 피치, 요 각의 정보가 더욱 중요하기 때문에 적합한 최적화 방법이다.
도 5는 일반적인 대수적 해법과 본 발명의 일실시예를 적용한 롤 각 오차 측정 그래프이다. 즉, 도 5는 가상의 영상에 대하여 사수가 10초간 조준한 상황을 시뮬레이션 한 각도 측정 결과를 선형대수적인 해법만을 통해 얻어진 것과 본 발명의 일실시예를 적용한 경우의 것을 비교한 그래프이다. 도 5를 참조하면, 일반적인 대수적 해법의 롤 각(520)과 본 발명의 일실시예에 따른 롤 각(510)의 차이를 볼 수 있다. 도 5에 도시된 바와 같이, 롤각의 경우, 오차 보정을 수행하지 않으므로 비슷한 오차를 얻을 볼 수 있다.
도 6은 일반적인 대수적 해법과 본 발명의 일실시예를 적용한 피치 각 오차 측정 그래프이다. 즉, 도 6은 가상의 영상에 대하여 사수가 10초간 조준한 상황을 시뮬레이션 한 각도 측정 결과를 선형대수적인 해법만을 통해 얻어진 것과 본 발명의 일실시예를 적용한 경우의 것을 비교한 그래프이다. 도 6을 참조하면, 대수적 해법을 적용한 피치각(620)과 본 발명의 일실시예를 적용한 피치각(610)의 차이가 뚜렷히 대비됨을 볼 수 있다. 즉, 본 발명의 일실시예를 적용한 피치각(610)의 경우, 개선된 효과를 볼 수 있다.
도 7은 일반적인 대수적 해법과 본 발명의 일실시예를 적용한 요 각 오차 측정 그래프이다. 즉, 도 7은 가상의 영상에 대하여 사수가 10초간 조준한 상황을 시뮬레이션 한 각도 측정 결과를 선형대수적인 해법만을 통해 얻어진 것과 본 발명의 일실시예를 적용한 경우의 것을 비교한 그래프이다. 도 7을 참조하면, 대수적 해법을 적용한 요각(720)과 본 발명의 일실시예를 적용한 요각(710)의 차이가 뚜렷히 대비됨을 볼 수 있다. 즉, 본 발명의 일실시예를 적용한 요각(710)의 경우, 개선된 효과를 볼 수 있다.
도 5 내지 도 7의 그래프에 따라 롤, 피치, 요각에 대한 각 경우의 RMSE(root-mean-square error) 오차를 비교하면 다음과 같다.
RMSE(평균 제곱근 오차) 대수적 해법 본 발명의 일실시예
롤 각(degree) 0.0436 0.0469
피치 각(degree) 1.7748 0.0576
요 각(degree) 2.8408 0.1671
200: 증강현실 기반 자세 측정 장치
110: 영상 센서
220: 획득 모듈
230: 추정 모듈
240: 보정 모듈

Claims (16)

  1. 조준 장치에 장착되며, 벽면상에 배치되어 있는 다수의 마커 중 특정 마커들을 인식하는 영상 센서;
    상기 특정 마커들의 마커 위치 정보 및 영상 화면에 투영되는 투영 영상 좌표 정보를 획득하는 획득 모듈; 및
    상기 마커 위치 정보 및 영상 좌표 정보를 이용하여 상기 조준 장치의 자세를 추정하는 추정 모듈;을 포함하며,
    상기 추정 모듈은 상기 조준 장치의 6자유도 정보를 다변수 과충족 시스템으로 구성하여 선형 대수 방식을 통해 상기 조준 장치의 자세 근사해로 산출하며,
    상기 영상 센서는 상기 마커들의 최외곽 코너점을 획득하며,
    상기 획득 모듈은 정확한 자세 추정을 위해 상기 최외곽 코너점 획득이후 인식된 마커들 중에서 중앙으로부터 가장 가까운 마커의 중심점을 3차원 영상에 재투영하는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  2. 제 1 항에 있어서,
    상기 특정 마커들의 중심 위치를 영상 화면에 재투영하여 오차를 보정하는 보정 모듈;을 더 포함하는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 추정 모듈은 상기 조준 장치의 6자유도 정보를 다변수 과충족 시스템으로 구성하여 선형 대수 방식을 통해 상기 조준 장치의 자세 근사해로 산출하는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  5. 제 4 항에 있어서,
    상기 자세 근사해는 상기 특정 마커들을 인식하고 인식결과에 따른 상기 특정 마커들의 최외곽 코너점에 대한 3차원 위치 정보를 이용하여 호모그래피 행렬을 특이값 분해로 복원하여 생성되는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  6. 제 2 항에 있어서,
    상기 보정 모듈은 상기 특정 마커들의 중심점을 영상 화면에 재투영하여 현재 영상으로부터 인식된 중심점과의 이격 각도를 보상하여 보정을 수행하는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  7. 제 6 항에 있어서,
    상기 보정 모듈은 상기 이격 각도가 미리 설정되는 임계치 보다 작은 범위로 수렴되거나 반복 지정횟수를 초과하면 보정을 중지하고 보정된 최종 자세를 출력하는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  8. 제 7 항에 있어서,
    상기 보상은 수학식
    Figure 112019045688937-pat00071
    및 수학식
    Figure 112019045688937-pat00072
    (여기서, θ는 조준장치의 피치이고, Ψ는 조준장치의 요각이고,
    Figure 112019045688937-pat00073
    는 오차 보상 계수를 나타낸다)을 통해 이루어지는 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  9. 제 1 항에 있어서,
    상기 다수의 마커는 영상 바코드, QR(Quick Response) 코드, 일반 바코드 중 어느 하나인 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  10. 제 1 항에 있어서,
    상기 마커 위치 정보는 3차원 위치 정보이고, 상기 투영 영상 좌표 정보는 2차원 위치 정보인 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  11. 제 1 항에 있어서,
    상기 영상 센서는 CCD(Charge Coupled Device) 카메라 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라인 것을 특징으로 하는 증강현실 기반 자세 측정 장치.
  12. (a) 조준 장치에 장착되는 영상 센서가 벽면상에 배치되어 있는 다수의 마커 중 특정 마커들을 인식하는 단계;
    (b) 획득 모듈이 상기 특정 마커들의 마커 위치 정보 및 영상 화면에 투영되는 투영 영상 좌표 정보를 획득하는 단계; 및
    (c) 추정 모듈이 상기 마커 위치 정보 및 영상 좌표 정보를 이용하여 상기 조준 장치의 자세를 추정하는 단계;를 포함하며,
    상기 조준 장치의 자세는 상기 마커 위치 정보 및 영상 좌표 정보의 과충족 시스템(Overdetermined system)에 대한 해석을 통하여 획득되며,
    상기 영상 센서는 상기 마커들의 최외곽 코너점을 획득하며,
    상기 획득 모듈은 정확한 자세 추정을 위해 상기 최외곽 코너점 획득이후 인식된 마커들 중에서 중앙으로부터 가장 가까운 마커의 중심점을 3차원 영상에 재투영하는 것을 특징으로 하는 증강현실 기반 자세 측정 방법.
  13. 제 12 항에 있어서,
    (d) 보정 모듈이 상기 특정 마커들의 중심 위치를 영상 화면에 재투영하여 오차를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 증강현실 기반 자세 측정 방법.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 보정 모듈이 상기 특정 마커들의 중심점을 영상 화면에 재투영하는 단계; 및
    (d-2) 상기 보정 모듈이 현재 영상으로부터 인식된 중심점과의 이격 각도를 보상하여 보정을 수행하는 단계;를 포함하는 것을 특징으로 하는 증강현실 기반 자세 측정 방법.
  16. 제 15 항에 있어서,
    상기 (d) 단계는,
    (d-3) 상기 보정 모듈이 상기 이격 각도가 미리 설정되는 임계치 보다 작은 범위로 수렴되거나 반복 지정횟수를 초과하면 보정을 중지하고 보정된 최종 자세를 출력하는 단계;를 포함하는 것을 특징으로 하는 증강현실 기반 자세 측정 방법.
KR1020170081725A 2017-06-28 2017-06-28 증강현실 기반 자세 측정 장치 및 방법 KR102005504B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170081725A KR102005504B1 (ko) 2017-06-28 2017-06-28 증강현실 기반 자세 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170081725A KR102005504B1 (ko) 2017-06-28 2017-06-28 증강현실 기반 자세 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190001728A KR20190001728A (ko) 2019-01-07
KR102005504B1 true KR102005504B1 (ko) 2019-10-08

Family

ID=65017013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170081725A KR102005504B1 (ko) 2017-06-28 2017-06-28 증강현실 기반 자세 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102005504B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284986A1 (en) * 2021-07-16 2023-01-19 Ruag Simulation & Training Ag Personalized combat simulation equipment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102389762B1 (ko) * 2021-02-04 2022-04-22 클레이웍스 주식회사 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058317A (ja) * 2001-08-09 2003-02-28 Konami Co Ltd 指向位置検出用マーカ、指向位置検出装置及び射的ゲーム装置
JP2004198074A (ja) * 2002-12-20 2004-07-15 Babcock Hitachi Kk 射撃訓練装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100964951B1 (ko) 2008-10-29 2010-06-21 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
JP2011146023A (ja) 2009-09-17 2011-07-28 Panasonic Corp タッチパネル

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058317A (ja) * 2001-08-09 2003-02-28 Konami Co Ltd 指向位置検出用マーカ、指向位置検出装置及び射的ゲーム装置
JP2004198074A (ja) * 2002-12-20 2004-07-15 Babcock Hitachi Kk 射撃訓練装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284986A1 (en) * 2021-07-16 2023-01-19 Ruag Simulation & Training Ag Personalized combat simulation equipment

Also Published As

Publication number Publication date
KR20190001728A (ko) 2019-01-07

Similar Documents

Publication Publication Date Title
JP5393318B2 (ja) 位置姿勢計測方法及び装置
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
US9927222B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
Sun et al. An empirical evaluation of factors influencing camera calibration accuracy using three publicly available techniques
US10032273B2 (en) Machine vision system calibration using inaccurate calibration targets
JP5924862B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN106959075B (zh) 利用深度相机进行精确测量的方法和系统
Zhang et al. A single-image linear calibration method for camera
CN102572505A (zh) 家中深度相机校准
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
CN109906471B (zh) 实时三维相机校准
JP2014185996A (ja) 計測装置
US10628968B1 (en) Systems and methods of calibrating a depth-IR image offset
KR102005504B1 (ko) 증강현실 기반 자세 측정 장치 및 방법
KR20200005119A (ko) 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법
JP6626338B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR102152217B1 (ko) Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법
Sun et al. Requirements for camera calibration: Must accuracy come with a high price?
Ricolfe-Viala et al. Optimal conditions for camera calibration using a planar template
JP2010145219A (ja) 運動推定装置及びプログラム
Bianchi et al. Camera-marker alignment framework and comparison with hand-eye calibration for augmented reality applications
KR20220094680A (ko) 캘리브레이션 시스템 및 방법
CN116862999B (zh) 一种双摄像机三维测量的标定方法、系统、设备和介质
Zhang et al. An efficient method for dynamic calibration and 3D reconstruction using homographic transformation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant