KR100964951B1 - 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법 - Google Patents

모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법 Download PDF

Info

Publication number
KR100964951B1
KR100964951B1 KR1020080106511A KR20080106511A KR100964951B1 KR 100964951 B1 KR100964951 B1 KR 100964951B1 KR 1020080106511 A KR1020080106511 A KR 1020080106511A KR 20080106511 A KR20080106511 A KR 20080106511A KR 100964951 B1 KR100964951 B1 KR 100964951B1
Authority
KR
South Korea
Prior art keywords
camera
information
image
feature
virtual image
Prior art date
Application number
KR1020080106511A
Other languages
English (en)
Other versions
KR20100047563A (ko
Inventor
김정환
김신형
길우성
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020080106511A priority Critical patent/KR100964951B1/ko
Publication of KR20100047563A publication Critical patent/KR20100047563A/ko
Application granted granted Critical
Publication of KR100964951B1 publication Critical patent/KR100964951B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Abstract

본 발명은 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법에 관한 것이다. 본 발명에 따른 증강 현실 장치의 가상 이미지 합성 방법은, 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 단계, 카메라 센서로부터 카메라의 위치 정보를 수신하고, 데이터베이스에 저장되어 있는 지형 지물의 특징점의 좌표 정보를 이용하여 카메라의 초기 자세 정보를 생성하는 단계, 초기 자세 정보에 카메라 센서로부터 수신되는 카메라의 회전 정보를 더하여 카메라의 현재 자세 정보를 생성하는 단계, 실사 영상에 포함된 지형 지물의 영상 정보와 데이터베이스에 저장되어 있는 지형 지물의 특징점의 영상 정보를 비교하여 카메라의 회전 정보를 보정하는 단계, 보정된 카메라의 회전 정보를 기초로 카메라의 현재 자세 정보를 보정하는 단계, 카메라의 위치 정보 및 카메라의 보정된 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 결정하는 단계, 그리고 결정된 합성 위치를 기초하여 가상 이미지를 실사 영상에 합성하는 단계를 포함한다.
증강 현실, 가상 이미지, 세계 좌표계, 영상 좌표계, 비전 센서

Description

모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법{AUGMENTED REALITY APPARATUS FOR SIMULATION DISCIPLINE AND VIRTUAL IMAGE COMPOSITION METHOD}
본 발명은 모의 훈련을 위한 증강 현실 장치에 관한 것으로, 더욱 상세하게는 카메라를 통해 촬영된 실사 영상에 증강 현실 장치를 이용하여 가상의 이미지를 합성하는 방법에 관한 것이다.
최근 정보 기술을 이용하여 가상 전쟁 환경을 구성하고 부대, 무기 체계 등이 전투를 수행하여 전술 훈련을 할 수 있는 합성 전투 모의 기술들이 개발 되고 있으며, 실제로 걸프전에서 모의 결과를 이용하여 아군의 손실을 줄이거나 임무를 효율적으로 수행한 사례를 볼 수 있다. 실제 전쟁 환경을 모의 환경으로 대신하여 훈련하는 모의 훈련 기술은 군사 훈련에서 필수적인 도구로 활용되고 있으며, 현재 지속적으로 발전되고 있다. 모의 훈련 장비의 하나로 가상의 지형 지물과 적군을 가상의 전장에 배치하여 실제 전쟁 환경을 스크린 또는 HMD에 시각화함으로써 현실감을 극대화 하고 있으며, 훈련 비용 절감에도 큰 몫을 하고 있다. 이러한 가상 훈련장비는 대부분 컴퓨터를 이용하여 구축한 가상 공간에서 사용자와 상호 작용을 통해 현실감 있는 표현을 제공하는 가상 현실(Virtual Reality)이 기반이 된다.
가상 현실이란, 컴퓨터를 이용하여 구축한 가상 공간에서 인간 감각계와의 상호작용을 통해 공간적, 물리적 제약에 의해 현실 세계에서는 직접 경험하지 못하는 상황을 간접적으로 체험할 수 있도록 만든 정보 활동 분야의 새로운 패러다임 중의 하나이다. 가상 현실의 궁극적인 목표는 다양한 입출력 방법을 사용하여 컴퓨터와 인간과의 대화 능력을 높임으로써 컴퓨터와 좀 더 현실적인 통신을 할 수 있는 환경을 제공하는데 있다. 컴퓨터와 인간과의 입출력 방법으로는 HMD(Head-Mounted Display), 데이터 글러브(Data Glove) 및 모션 캡쳐(Motion Capture)와 같은 장치가 사용되는데, HMD는 사용자의 머리 움직임에 따른 위치 변화 데이터를 컴퓨터에 송신하여 컴퓨터로 하여금 사용자의 시야에 있을 대상의 크기 및 깊이를 계산하여 시뮬레이션 하도록 한다.
한편, 증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 현실 세계 위에 컴퓨터에 의해서 생성된 정보를 덧붙여 표현하는 것을 의미한다. 즉, 현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 증강 현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것으로 가상 현실 시스템보다 더욱 향상된 몰입감을 제공한다는 이점이 있다.
증강현실을 이용하여 실시간으로 입력되는 실사 화면에 가상의 적과 지형지 물 같은 가상 오브젝트를 합성하기 위해서는 현재 촬영하고 있는 카메라의 정확한 자세와 위치, 이미지 센서 정보를 알아야 하며, 위치 수신용으로 GPS를, 자세 수신용으로 자이로 센서, 가속도 센서 등을 사용한다. 이러한 위치, 자세 센서는 하드웨어로부터 직접 데이터를 수신하여 실시간으로 처리가 이루어지는 장점이 있으며, 수신된 데이터를 특별한 처리과정 없이 바로 합성에 적용할 수 있을 만큼의 오차를 갖고 있다. 특히 지리 좌표를 수신하는 고정밀 DGPS는 기준국에서 제공하는 GPS 보정 신호를 이용하여 수 mm 급의 오차를 갖는 데이터를 전송한다.
그러나 현재 증강 현실 기술들이 그 용용 가능성이 다양함에도 불구하고, 실제적인 이용을 제한하게 되는 가장 근본적인 문제점 중의 하나가 바로 정합(Registration) 문제이다. 정합이란 증강현실에서 사용자가 보는 현실 세계와 가상으로 생성된 물체가 서로 적절히 배치되는 일련의 과정을 말하는 것으로, 카메라의 위치와 카메라가 바라보는 방향을 정확히 추적해야만 원하는 가상의 그래픽을 영상의 정확한 장소에 위치시킬 수 있게 된다.
특히 회전 정보를 제공하는 자세 센서는 비록 상대적인 정확도는 1mm 이하의 정확도를 갖고 있으나, 절대 오차가 낮아 시간이 흐를수록 자세를 유지하지 못하는 문제점을 갖고 있다. 이러한 자세 예측 오차는 시간에 따라 누적이 되어 합성되는 가상의 그래픽이 실제와 다른 위치에 놓이게 함으로써 정확한 정합이 어렵게 되는 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 실사 영상에 가상 이미지를 정확한 위치에 정합할 수 있는 증강 현실 장치 및 그 증강 현실 장치를 이용한 가상 이미지 합성 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법은, 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 단계, 상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 데이터베이스에 저장되어 있는 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 단계, 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하는 단계, 상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 단계, 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하는 단계, 상기 카메라의 위치 정보 및 상기 카메라의 보정된 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 결정하는 단계, 그리고 상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함한다.
상기 카메라의 초기 자세 정보를 생성하는 단계는, 상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의될 수 있다.
Figure 112008075206327-pat00001
여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타내고,
Figure 112008075206327-pat00002
는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다.
상기 카메라의 현재 자세 정보를 생성하는 단계는, 하기 수학식을 이용하여 생성할 수 있다.
Figure 112008075206327-pat00003
여기서
Figure 112008075206327-pat00004
,
Figure 112008075206327-pat00005
,
Figure 112008075206327-pat00006
는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
Figure 112008075206327-pat00007
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다.
상기 카메라의 회전 정보를 보정하는 단계는, 하기 수학식을 이용하여 수행될 수 있다.
Figure 112008075206327-pat00008
여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하 는 현재 실사 영상의 픽셀 값(I(xi ref+x'))과 데이터베이스에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값(IDB(x'))의 차이를 나타내는 비용 함수이다.
상기 카메라의 회전 정보는 하기 수학식을 이용하여 생성될 수 있다.
Figure 112008075206327-pat00009
여기서
Figure 112008075206327-pat00010
,
Figure 112008075206327-pat00011
,
Figure 112008075206327-pat00012
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 회전 각도를 나타내며,
Figure 112008075206327-pat00013
는 ei를 최소화 하도록 하는 yaw 각도이며,
Figure 112008075206327-pat00014
는 yaw 차이에 대한 임계치를 나타낸다.
상기 가상 이미지의 합성 위치를 계산하는 단계는, 하기 수학식을 이용하여 연산될 수 있다.
xi = PXi, P = K[R｜t]
여기서 P는 투영 매트릭스, Xi는 세계 좌표계에서의 한 점, xi는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다.
상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의될 수 있다.
Figure 112008075206327-pat00015
여기서
Figure 112008075206327-pat00016
는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, Xlongitude, Yhight, Zlatitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.
본 발명의 다른 실시예에 따른 증강 현실 장치의 가상 이미지 합성 장치는, 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 영상 입력 모듈, 지형 지물의 특징점의 좌표 정보와 영상 정보를 저장하고 있는 데이터베이스,
상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 상기 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 카메라 센서 모듈, 상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 비전 센서 모듈, 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하고, 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하여 가상 이미지의 합성 위치를 결정하는 영상 분석 모듈, 그리고 상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함할 수 있다.
이와 같이 본 발명에 의하면, 카메라를 통해 촬영된 전장의 실사 영상에 가상의 적군과 지형 지물들과 같은 가상 이미지를 정확한 위치에 합성함으로써, 보다 생동감이 있고 실감나는 훈련 시스템을 제공할 수 있다. 즉 카메라로부터 실시간으로 입력되는 실사 영상에 사용자가 원하는 이미지나 동영상 또는 3차원 그래픽을 원하는 위치에 실제로 공간상에 존재하는 것처럼 삽입하여 훈련을 구성할 수 있다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 증강 현실 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 카메라 센서(110)가 부착된 카메라(100)로 현장을 촬영할 경우 원 실사 영상(10)과 카메라 센서(110)로부터 얻은 카메라 변수는 증강 현실 장치(200)에 입력된다. 증강 현실 장치(200)는 카메라 변수, 원 실사 영상(10)등의 입력 정보를 바탕으로 영상을 분석하고, 가상 이미지를 삽입하여 이미지가 삽입된 합성 영상(20)을 출력한다.
도 2는 본 발명의 실시예에 따른 증강 현실 장치의 구성을 나타낸 도면이다.
도 2에 도시한 것과 같이 증강 현실 장치(200)는 영상 입력 모듈(210), 카메라 센서 모듈(220), 영상 분석 모듈(230), 비전 센서 모듈(240), 데이터베이스(250), 영상 합성 모듈(260) 및 디스플레이 모듈(270)을 포함한다.
먼저, 카메라 센서(110)를 부착한 카메라(100)로부터 촬영되는 실사 영상은 프레임그랩버(130)에 의해 프레임 버퍼(도시하지 않음)에 저장되며, 이는 가상 이 미지가 삽입되는 배경이 된다. 카메라(100)에 부착된 카메라 센서(110)에 의해 생성되는 카메라 위치 정보 및 초기 자세 정보는 카메라 센서 모듈(220)에 전송된다.
카메라 센서(110)는 방위각 센서(digital compass), 관성 측정 장치(inertial measurement unit, IMU), 팬 틸트 센서, 고정밀 DGPS(Differential GPS)등을 포함하며, 카메라(100)에 일체형으로 구현된다.
카메라 센서(110)는 고정밀 DGPS를 이용하여 카메라(100)의 위치 정보를 측정하고, 방위각 센서 및 IMU를 통하여 카메라(100)의 초기 자세 정보를 측정하며, 팬 틸트 센서를 통하여 카메라(100)의 회전 정보를 측정할 수 있다.
특히, 최대 수 mm의 오차를 갖는 고정밀 DGPS(Differential GPS)는 카메라(100)의 위치 정보를 수신하여 카메라(100)의 현재 위치를 확인한다. 여기서, DGPS는 GPS의 오차를 보다 정밀하게 보정하여 이용자에게 제공하는 위성항법 보정 장치로서, 이미 알고 있는 자신의 위치(기준국)과 GPS의 위성으로부터 수신한 위치 신호 비교 오차 보정값을 DGPS 이용자에게 전송하여 정확한 위치를 제공한다.
또한, 방위각 센서는 카메라(100)가 광축으로부터 회전된 각도를 측정할 수 있고, IMU 센서는 카메라의 roll 및 pitch 정보로부터 카메라(100)가 현재 진북으로부터 회전한 각도를 측정할 수 있다. 따라서, 방위각 센서와 IMU 센서를 통하여 카메라(100)의 현재 자세를 초기화 상태로 설정할 수 있다. 팬 틸트 센서는 초기화된 상태의 카메라(100)가 팬 또는 틸트 방향으로 회전한 각도를 측정할 수 있어 카메라(100)의 회전 정보를 제공할 수 있다.
영상 입력 모듈(210)은 프레임그랩버(130)를 통해 실사 영상을 수신하여 영 상 분석 모듈(230)로 전송한다.
카메라 센서 모듈(220)은 먼저 카메라 센서(110)에 의해 측정된 카메라 위치 정보를 입력받는다. 또한 카메라 센서 모듈(220)은 데이터베이스(250)로부터 지형 지물의 특징점의 좌표 정보를 수신하여 카메라의 초기 자세 정보를 생성한다.
즉, 카메라 센서 모듈(220)은 카메라 센서(110)에 의해 측정된 현재 카메라 위치 및 자세를 초기화 상태로 설정한다. 그리고, 초기 상태의 카메라(100)가 회전하게 되면 회전 중인 카메라의 회전 정보를 카메라 센서(110)로부터 입력받는다. 카메라 회전 정보에 대한 상세한 설명은 도 3을 통하여 설명한다.
영상 분석 모듈(230)은 영상 입력 모듈(210)로부터 촬영된 실사 영상을 수신하고 회전 중인 카메라(100)의 위치 정보 및 자세 정보를 이용하여 가상 이미지가 삽입될 위치를 계산한다. 즉, 카메라의 위치 정보 및 초기 자세 정보를 기본 옵셋으로 하고, 팬, 틸트 센서로부터 현재 이동중인 카메라의 회전 정보를 수신하여 기본 옵셋에 더한다. 이와 같이 영상 분석 모듈(230)는 카메라의 초기 자세 정보와 회전 정보를 연산하여 카메라의 현재 자세 정보를 생성한다. 그리고 비전 센서 모듈(240)로부터 카메라의 보정된 회전 정보를 수신하면 카메라의 현재 자세 정보를 보정하여 가상 이미지가 삽입될 위치를 결정한다.
비전 센서 모듈(240)은 실사 영상에 포함된 지형 지물의 영상 정보와 데이터베이스(250)에 저장된 지형 지물의 특징점에 대한 좌표 정보 및 영상 정보를 통하여 카메라의 회전 정보를 보정하고, 이에 따라 카메라의 현재 자세 정보를 보정한다.
데이터베이스(250)는 실사 영상에 삽입될 가상 이미지를 저장하는 역할을 하는데, 가상 이미지는 사용자 또는 기능에 따라 구별되어 저장되거나 추출될 수 있다. 데이터베이스(250)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 증강 현실 장치(200)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다. 또한, 데이터베이스(250)는 지형 지물의 특징점에 대한 영상 정보 및 좌표 정보, 즉 위도와 경도에 대한 정보를 저장한다.
영상 합성 모듈(260)은 계산된 위치를 바탕으로 하여 실사 영상에 가상 이미지를 합성하도록 한다. 즉, 영상 분석 모듈(230) 및 비전 센서 모듈(240)로부터 분석된 실사 영상과 데이터베이스(250)에 저장된 가상 이미지를 합성한다.
디스플레이부(270)는 영상 합성부(270)에 의해 가상 이미지가 정합된 영상을 표시하도록 한다. 디스플레이부(270)는 액정 표시 장치(LCD) 또는 뷰 파인더 일 수 있으며, 디스플레이부(270)를 통해 표시되는 영상은 정지 영상 또는 동영상 일 수 있다.
도 3은 본 발명에 따른 카메라 회전 정보를 설명하기 위한 도면이다.
도 3에 도시한 바와 같이 카메라 회전 정보는 세 축(x, y, z)을 중심으로 한 회전 정보를 나타내며, 각각 틸트(tilt), 팬(pan), 롤(roll)에 의한 회전을 의미한다.
특히, 삼발이에 고정된 고정형 카메라의 경우 도 3에서 각축(x,y,z)에 대한 직선 이동은 발생하지 않으며, y축을 중심으로 하는 좌우 회전 정보에 해당하는 팬(pan), x축을 중심으로 하는 상하 회전 정보에 해당하는 틸트(tilt)에 대한 움직임만이 발생한다. 그리고 카메라의 고유 특성인 줌(zoom), 포커스(focus) 등이 상황에 따라 변하는 값으로서, 카메라 변수에 포함될 수 있다.
또한 자유롭게 이동하며 촬영할 수 있는 이동형 카메라의 경우 고정형 카메라의 카메라 변수인 팬, 틸트, 줌, 포커스 외에 z축을 중심으로 하는 회전 정보에 해당하는 롤(roll)에 대한 움직임과 각축(x,y,z)에 대한 직선이동 값이 카메라 변수에 포함될 수 있다. 특히, 카메라(100)가 x축을 중심으로 회전하는 것을 "pitch", y축을 중심으로 회전하는 것을 "yaw", z축을 중심으로 회전하는 것을 "roll"라고 한다. 본 발명의 실시예에서는 카메라(100)를 이동형 카메라로 가정하여 카메라 변수를 구하는 것으로 한다.
이하에서는 도 4 내지 도 5d를 통하여 증강 현실 장치(200)의 가상 이미지 합성 방법에 대해 설명한다. 도 4는 본 발명의 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법을 나타내는 순서도이고, 도 5a 내지 도 5d는 도 4에 따른 가상 이미지 합성 방법을 설명하기 위한 예시도이다.
먼저 영상 입력 모듈(210)은 프레임그랩버(130)를 통해 도 5a와 같은 실사 영상을 입력받는다(S410). 여기서 지형 지물(X1, X2, X3)은 건물 외곽, 표지판, 안내 표시와 같이 고정되어 있는 지형에 대한 지표로서, 각각의 지형 지물의 특징점(X1, X2, X3)에 대한 영상 정보와 좌표 정보(위도 및 경도 정보)는 도 5b와 같이 데이터베이스(250)에 저장되어 있다.
카메라 센서 모듈(220)은 카메라 센서(110)로부터 측정된 카메라 위치 정보를 수신하고 초기 자세 정보를 생성한다(S420). 즉, 카메라 센서 모듈(220)은 고정밀 DGPS(Differential GPS)로부터 카메라의 위치 정보를 수신하여 카메라의 현재 위치를 확인한다. 여기서 카메라의 위치 정보는 카메라의 경도, 카메라의 높이, 카메라의 위도를 포함한다. 또한 카메라 센서 모듈(220)은 방위각 센서로부터 카메라의 광축이 진북 방향으로부터 회전된 각도를 입력받고, IMU 센서로부터 카메라의 roll 및 pitch 정보를 수신한다.
그리고 카메라 센서 모듈(220)은 데이터베이스(250)로부터 지형 지물의 특징점의 좌표 정보를 수신하여 카메라의 초기 자세 정보를 생성한다.
여기서, 카메라의 초기화된 자세 정보는 카메라(100)의 광축이 진북 방향과 이루는 각도를 이용하며, 다음의 수학식1에 의해 정의된다.
Figure 112008075206327-pat00017
여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타낸다. 또한
Figure 112008075206327-pat00018
는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다.
그리고, 카메라(100)가 초기 자세에서 tilt, pan, roll 방향으로 회전을 하 게 되면, 카메라 센서 모듈(220)은 카메라 센서(110)로부터 회전 정보를 수신한다(S430). 영상 분석 모듈(230)은 수학식 1에 나타낸 카메라의 초기 자세 정보를 기본 옵셋으로 하고, 카메라 센서(110)로부터 수신된 카메라의 회전 정보를 기본 옵셋에 더함으로써, 회전 중인 카메라의 현재 자세 정보를 생성한다(S440).
즉, 수학식 1에 나타낸 카메라의 초기 자세 정보에 카메라 센서 모듈(220)로부터 수신한 카메라의 회전 정보를 더하여 다음의 수학식 2와 같은 카메라의 현재 자세 정보를 생성한다.
Figure 112008075206327-pat00019
여기서
Figure 112008075206327-pat00020
,
Figure 112008075206327-pat00021
,
Figure 112008075206327-pat00022
는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
Figure 112008075206327-pat00023
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다.
그리고, 영상 분석 모듈(230)은 영상 입력 모듈(210)을 통해 실사 영상을 수신하며, 추적된 카메라(100)의 위치 정보 및 현재 자세 정보를 기초로 하여 가상 이미지가 삽입될 위치를 계산한다(S450). 즉, 영상 분석 모듈(230)은 수학식 2에서 획득한 카메라의 자세 정보와 카메라 센서(110)로부터 수신한 카메라의 위치 정보를 이용하여 가상 이미지가 삽입될 위치를 계산한다.
영상 분석 모듈(230)은 다음의 수학식 3을 통하여 데이터 베이스(240)에 저 장된 지형 지물의 3차원 영상 Xref를 2차원 영상 xref 로 변환시킨다.
xref = PXref, P = K[R｜t]
여기서 R은 회전 변환 매트릭스를 의미하고, t는 이동 벡터를 의미한다.
수학식 3에 의하여 지형 지물의 3차원 영상 Xref는 외부 파라미터 매트릭스 [R|t]에 의해 카메라 좌표계로 변환되고, 카메라의 내부 파라미터 K에 의하여 영상 좌표계로 변환된다.
한편, 수학식 3을 통해 획득한 카메라의 현재 자세 정보는 시간의 흐름에 따라 각도가 계속 유지되지 않을 수 있으며, 그 결과 지형 지물의 지리 좌표는 카메라 센서 모듈(220)의 오차로 인하여 도 5c와 같이 지형 지물의 특징점(X1, X2, X3)의 실제 좌표가 아닌 (X'1, X'2, X'3)로 잘 못 투영될 수 있다.
즉, 카메라 센서 모듈(220)에 의한 변환 오차 때문에 지형 지물의 변환된 영상 좌표인 xref(도 5a 내지 도 5d에서는 X'1, X'2, X'3에 해당함)는 실제 지형 지물의 위치(도 5a 내지 도 5d에서는 X1, X2, X3에 해당함)와 일치하지 않는다.
따라서 지형 지물의 지리 좌표가 잘못 투영된 상태에서 가상 이미지(본 발명의 실시예에서는 "탱크"를 예로 듦)를 삽입할 경우에는 도 5c와 같이 정합 에러가 발생하게 된다.
따라서, 비전 센서 모듈(240)은 연산된 지형 지물의 좌표 정보를 실제 지형 지물에 일치시키기 위하여 데이터베이스(250)에 저장된 지형 지물의 위치 정보 및 영상 정보를 통하여 카메라의 회전 정보를 보정한다(S460).
비전 센서 모듈(240)은 변환된 영상 xref의 좌표 보정을 위하여 수학식 4와 같이 데이터베이스(250)에 저장된 실제 지형 지물의 영상과 변환된 영상 xref의 픽셀 값의 차이를 계산하도록 한다. 이때, 촬상된 영상 전체에 대하여 픽셀 값의 차이를 비교하는 것은 비효율적이므로 도 5d와 같이 변환된 영상 xref(도 5d에서는 X'3을 예로 들었음)로부터 일정 윈도우 영역(W) 내에 있는 지형 지물에 대해서만 비교하도록 한다.
Figure 112008075206327-pat00024
여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값과 데이터베이스(250)에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값의 차이를 나타내는 비용 함수이다. I(xi ref+x')는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값이고, IDB(x')는 데이터베이스(250)에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값이다.
수학식 4에서 비용 함수 ei가 최소가 되도록 하는 x' 값이 산출되고, 비전 센서 모듈(240)은 x'에 따라 도 5d와 같이 변환 영상 xref(도 5d에서는 X'3을 예로 들었음)을 이동시켜 지형 지물의 실제 위치(도 5d에서는 X3에 해당함)에 일치되도록 한다. 즉, 지형 지물의 특징점에 대한 실제 지리 좌표는 이미 데이터베이스(250)에 저장되어 있으므로, 비전 센서 모듈(240)은 수학식 1을 이용하여 진북으로부터 회전된
Figure 112008075206327-pat00025
각도를 얻을 수 있다. 이때 카메라 센서(110) 내에 포함된 자세 센서는 다음의 수학식 5를 통하여 yaw를 보정하도록 한다.
Figure 112008075206327-pat00026
여기서
Figure 112008075206327-pat00027
,
Figure 112008075206327-pat00028
,
Figure 112008075206327-pat00029
는 보정된 자세 정보로서, 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 각도를 나타낸다.
Figure 112008075206327-pat00030
는 ei를 최소화 하도록 하는 yaw 각도로서, 비전 센서 모듈(240)로부터 구한 yaw 정보를 나타낸다. 또한
Figure 112008075206327-pat00031
는 yaw 차이에 대한 임계치를 나타낸다. 만일 카메라 센서 모듈(220)로부터 수신된
Figure 112008075206327-pat00032
와 비전 센서 모듈(240)로부터 구해진
Figure 112008075206327-pat00033
의 차이가 임계치보다 큰 경우, 카메라 센서(110)의 에러가 누적되어 임계치보다 크다고 판단하여 비전 센서 모듈(240)로부터 얻은
Figure 112008075206327-pat00034
각도로 업데이트 된다. 만일 현재 실사 영상에서 지형 지물을 찾지 못한다면
Figure 112008075206327-pat00035
는 수신되는 자세 정보를 Kalman Filtering 하여 보정한다.
이와 같이 카메라의 회전 정보가 보정되면 영상 분석 모듈(230)은 보정된 카메라의 회전 정보를 기초로 카메라의 현재 자세 정보를 보정하며, 마찬가지로 가상 이미지의 삽입 위치 역시 보정한다(S470).
그리고, 영상 합성 모듈(260)은 계산된 위치를 바탕으로 하여 실사 영상에 가상 이미지를 합성하도록 한다(S480).
여기서, 가상 이미지를 실사 영상에 삽입하기 위해서는 수학식 6과 같이 세계 좌표계를 영상 좌표계로 변환시키는 과정이 필요하다.
xi = PXi, P = K[R｜t]
여기서, P는 투영 매트릭스(Projection Matrix)로서 세계 좌표계에서의 한 점 Xi를 영상 좌표계에서의 한 점 xi으로 투영시킨다. K는 카메라의 내부 파라미터 매트릭스이며, R과 t, 즉 [R|t]를 외부 파라미터 매트릭스(External Parameter Matrix)라고 하며, R은 회전 변환 매트릭스(Rotation-Translation Matrix), t는 이동 벡터를 각각 나타낸다.
수학식 6에 나타낸 것과 같이, 세계 좌표계에서의 한 점 Xi은 먼저 외부 파라미터 매트릭스 [R|t]에 의하여 카메라 좌표계로 변환된 후, 다시 카메라의 내부 파라미터 매트릭스 K에 의해 영상 좌표계에서의 한 점 xi으로 변환된다.
도 6은 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.
도 6과 같이 3차원 공간내의 가상 좌표인 세계(world) 좌표계를 카메라 초 점(C)을 기준으로 하는 카메라 좌표계로 변환시키기 위하여 외부 파라미터 매트릭스 [R|t]를 이용한다.
외부 파라미터 매트릭스는 세계 좌표계의 좌표를 카메라 좌표계의 좌표로 변환시키기 위한 것으로, 세계 좌표계에 대한 카메라 좌표계의 상대적인 이동과 회전에 관한 파라미터이다. 따라서, [R|t]에 의하여 임의의 좌표계를 갖는 고정 카메라에서 3차원 공간상의 한 점 Xi는 3차원 공간상의 한 점 x로 변환된다.
한편, 외부 파라미터 매트릭스의 회전 변환 매트릭스 R은 수학식 2에서 구한 각각의 x축, y축, z축에 대한 회전 각도 rx, ry, rz을 이용하여 오일러 각으로 표현되며, 외부 파라미터 매트릭스의 이동 벡터 t는 아래의 수학식 4와 같이 나타낼 수 있다. 일반적으로 가상 이미지가 3차원 그래픽인 경우에는 z 축이 x축 및 y축과 직교하는 벡터로 설정이 되고, 본 발명에서는 카메라의 자세가 진북을 기준으로 하고 있으므로, 3차원 이동벡터는 다음과 같이 설정된다.
Figure 112008075206327-pat00036
여기서 는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, Xlongitude, Yhight, Zlatitude 는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.
그리고, 세계 좌표계를 카메라 좌표계로 변환시킨 후 카메라 좌표계의 한 점 x는 내부 파라미터 매트릭스 K에 의해 영상 좌표계에서의 한 점 xi으로 변환된다. 여기서 카메라의 내부 파라미터 매트릭스 K는 다음의 수학식 8를 만족한다.
Figure 112008075206327-pat00038
수학식 8에서 αx , αy 는 각각 αx = fmx, αy = fmy 로서, f는 카메라의 초점거리, mx, my는 영상 좌표계에서 단위 거리 당 픽셀의 수를 나타내며,
Figure 112008075206327-pat00039
는 원리점(principal point),
Figure 112008075206327-pat00040
는 skew 파라미터를 나타낸다. 본 발명에서는 카메라의 초점거리가 카메라 보정(camera calibration), 혹은 카메라 제조사로부터 그 값을 미리 알고 있다고 가정하고, skew 파라미터는 0으로 간주한다. 또한 원리점은 이미지의 중앙이라고 가정한다.
이와 같이 세계 좌표계의 한 점 Xi은 카메라의 외부 파라미터 매트릭스 및 내부 파라미터 매트릭스와 연산되어 영상 좌표계의 한 점 xi으로 변환된다.
그리고, 디스플레이 모듈(270)은 가상 이미지가 합성된 영상을 표시한다(S490). 본 발명의 실시예에 따르면 가상 이미지는 2차원 그래픽뿐만 아니라 3차원 그래픽으로도 표현될 수 있으며, 시청자는 실제 방송 화면 속에 이미지가 실제 존재하는 것처럼 느끼면서 방송을 시청하게 된다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발 명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시예에 따른 증강 현실 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 증강 현실 장치의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 카메라 회전 정보를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법을 나타내는 순서도이다.
도 5a 내지 도 5d는 도 4에 따른 가상 이미지 합성 방법을 설명하기 위한 예시도이다.
도 6은 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.

Claims (12)

  1. 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 단계,
    상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 데이터베이스에 저장되어 있는 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 단계,
    상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하는 단계,
    상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 단계,
    상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하는 단계,
    상기 카메라의 위치 정보 및 상기 카메라의 보정된 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 결정하는 단계, 그리고
    상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함하되,
    상기 카메라의 초기 자세 정보를 생성하는 단계는,
    상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:
    Figure 112010006935424-pat00080
    여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타내고,
    Figure 112010006935424-pat00081
    는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다.
  2. 삭제
  3. 제1항에 있어서,
    상기 카메라의 현재 자세 정보를 생성하는 단계는,
    하기 수학식을 이용하여 생성하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:
    Figure 112010006935424-pat00043
    여기서
    Figure 112010006935424-pat00044
    ,
    Figure 112010006935424-pat00045
    ,
    Figure 112010006935424-pat00046
    는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
    Figure 112010006935424-pat00047
    는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다.
  4. 제3항에 있어서,
    상기 카메라의 회전 정보를 보정하는 단계는,
    하기 수학식을 이용하여 수행되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:
    Figure 112008075206327-pat00048
    여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값(I(xi ref+x'))과 데이터베이스에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값(IDB(x'))의 차이를 나타내는 비용 함수이다.
  5. 제4항에 있어서,
    상기 카메라의 회전 정보는 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:
    Figure 112008075206327-pat00049
    여기서
    Figure 112008075206327-pat00050
    ,
    Figure 112008075206327-pat00051
    ,
    Figure 112008075206327-pat00052
    는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 회전 각도를 나타내며,
    Figure 112008075206327-pat00053
    는 ei를 최소화 하도록 하는 yaw 각도이 며,
    Figure 112008075206327-pat00054
    는 yaw 차이에 대한 임계치를 나타낸다.
  6. 제1항에 있어서,
    상기 가상 이미지의 합성 위치를 계산하는 단계는,
    하기 수학식을 이용하여 연산되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:
    xi = PXi, P = K[R｜t]
    여기서 P는 투영 매트릭스, Xi는 세계 좌표계에서의 한 점, xi는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다.
  7. 제6항에 있어서,
    상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:
    Figure 112008075206327-pat00055
    여기서
    Figure 112008075206327-pat00056
    는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, Xlongitude, Yhight, Zlatitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.
  8. 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 영상 입력 모듈,
    지형 지물의 특징점의 좌표 정보와 영상 정보를 저장하고 있는 데이터베이스,
    상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 상기 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 카메라 센서 모듈,
    상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 비전 센서 모듈,
    상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하고, 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하여 가상 이미지의 합성 위치를 결정하는 영상 분석 모듈, 그리고
    상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함하되,
    상기 카메라의 초기 자세 정보는,
    상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치:
    Figure 112010006935424-pat00082
    여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타내고,
    Figure 112010006935424-pat00083
    는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다.
  9. 삭제
  10. 제8항에 있어서,
    상기 카메라의 현재 자세 정보는 하기 수학식을 이용하여 생성하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치:
    Figure 112010006935424-pat00059
    여기서
    Figure 112010006935424-pat00060
    ,
    Figure 112010006935424-pat00061
    ,
    Figure 112010006935424-pat00062
    는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
    Figure 112010006935424-pat00063
    는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다.
  11. 제10항에 있어서,
    상기 비전 센서 모듈은,
    하기 수학식을 이용하여 상기 카메라의 회전 정보를 보정하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치:
    Figure 112008075206327-pat00064
    여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값(I(xi ref+x'))과 데이터베이스에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값(IDB(x'))의 차이를 나타내는 비용 함수이다.
  12. 제11항에 있어서,
    상기 카메라의 회전 정보는 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치:
    Figure 112008075206327-pat00065
    여기서
    Figure 112008075206327-pat00066
    ,
    Figure 112008075206327-pat00067
    ,
    Figure 112008075206327-pat00068
    는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 회전 각도를 나타내며,
    Figure 112008075206327-pat00069
    는 ei를 최소화 하도록 하는 yaw 각도이며,
    Figure 112008075206327-pat00070
    는 yaw 차이에 대한 임계치를 나타낸다.
KR1020080106511A 2008-10-29 2008-10-29 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법 KR100964951B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080106511A KR100964951B1 (ko) 2008-10-29 2008-10-29 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080106511A KR100964951B1 (ko) 2008-10-29 2008-10-29 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법

Publications (2)

Publication Number Publication Date
KR20100047563A KR20100047563A (ko) 2010-05-10
KR100964951B1 true KR100964951B1 (ko) 2010-06-21

Family

ID=42274513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080106511A KR100964951B1 (ko) 2008-10-29 2008-10-29 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법

Country Status (1)

Country Link
KR (1) KR100964951B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035373A (ko) 2015-09-22 2017-03-31 주식회사 스타폴 유연성을 가지는 2종 감지센서 모듈 및 이를 이용한 증강현실 체험훈련 및 엔터테인먼트용 전자슈트 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9271114B2 (en) 2011-01-17 2016-02-23 Lg Electronics Inc. Augmented reality (AR) target updating method, and terminal and server employing same
KR101845231B1 (ko) 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
KR101274556B1 (ko) * 2011-08-17 2013-06-17 국방과학연구소 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법
KR101338243B1 (ko) * 2013-09-03 2013-12-06 국방과학연구소 웹기반 가상공간을 활용한 군사정보 시각화 시스템
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
KR101637553B1 (ko) * 2014-08-11 2016-07-08 주식회사 에스.제이테크 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법
EP3236211A1 (en) * 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
KR102005504B1 (ko) 2017-06-28 2019-10-08 주식회사 한화 증강현실 기반 자세 측정 장치 및 방법
KR102149180B1 (ko) * 2017-07-07 2020-08-28 한국전자통신연구원 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치
KR102576449B1 (ko) * 2020-11-27 2023-09-11 주식회사 소프트그래피 3차원 모델에 대한 영상 정합 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248374B1 (ko) 1997-11-25 2000-03-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
KR100327120B1 (ko) * 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
KR100387901B1 (ko) 2001-07-03 2003-06-18 에이알비전 (주) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248374B1 (ko) 1997-11-25 2000-03-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
KR100327120B1 (ko) * 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
KR100387901B1 (ko) 2001-07-03 2003-06-18 에이알비전 (주) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035373A (ko) 2015-09-22 2017-03-31 주식회사 스타폴 유연성을 가지는 2종 감지센서 모듈 및 이를 이용한 증강현실 체험훈련 및 엔터테인먼트용 전자슈트 시스템

Also Published As

Publication number Publication date
KR20100047563A (ko) 2010-05-10

Similar Documents

Publication Publication Date Title
KR100964951B1 (ko) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
KR100941749B1 (ko) 증강 현실 장치 및 가상 이미지 합성 방법
US11423586B2 (en) Augmented reality vision system for tracking and geolocating objects of interest
EP3149698B1 (en) Method and system for image georegistration
US20190147619A1 (en) Method and system for image georegistration
You et al. Fusion of vision and gyro tracking for robust augmented reality registration
US7511736B2 (en) Augmented reality navigation system
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距系统及方法
Hol et al. Sensor fusion for augmented reality
WO2016041088A1 (en) System and method for tracking wearable peripherals in augmented reality and virtual reality applications
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
Oskiper et al. Augmented reality binoculars
CN102446048A (zh) 信息处理设备以及信息处理方法
US20210217210A1 (en) Augmented reality system and method of displaying an augmented reality image
Pagani et al. Sensors for location-based augmented reality the example of galileo and egnos
Azuma et al. Performance analysis of an outdoor augmented reality tracking system that relies upon a few mobile beacons
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN114185073A (zh) 一种位姿显示方法、装置及系统
IL267309B (en) Terrestrial observation device with positioning functionality
EP3903285B1 (en) Methods and systems for camera 3d pose determination
Foxlin et al. Design and error analysis of a vehicular AR system with auto-harmonization
Nielsen et al. Development and flight test of a robust optical-inertial navigation system using low-cost sensors
Gat et al. Fusing image data with location and orientation sensor data streams for consumer video applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee