KR20100047563A - Augmented reality apparatus for simulation discipline and virtual image composition method - Google Patents

Augmented reality apparatus for simulation discipline and virtual image composition method Download PDF

Info

Publication number
KR20100047563A
KR20100047563A KR1020080106511A KR20080106511A KR20100047563A KR 20100047563 A KR20100047563 A KR 20100047563A KR 1020080106511 A KR1020080106511 A KR 1020080106511A KR 20080106511 A KR20080106511 A KR 20080106511A KR 20100047563 A KR20100047563 A KR 20100047563A
Authority
KR
South Korea
Prior art keywords
camera
information
image
feature
virtual image
Prior art date
Application number
KR1020080106511A
Other languages
Korean (ko)
Other versions
KR100964951B1 (en
Inventor
김정환
김신형
길우성
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020080106511A priority Critical patent/KR100964951B1/en
Publication of KR20100047563A publication Critical patent/KR20100047563A/en
Application granted granted Critical
Publication of KR100964951B1 publication Critical patent/KR100964951B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An augmented reality apparatus for a simulation discipline and a virtual image combining method are provided to combine a virtual image with a real image at an accurate location, thereby providing a realistic discipline system. CONSTITUTION: A video input module(210) receives a real image through a camera. A vision sensor module(240) compares image information of a geographical feature included in the real image with image information saved in a database to correct rotation information of the camera. A video analysis module(230) presently corrects posture information of the camera to determine a combination location of the virtual image. A video combining module(260) combines the virtual image with the real image based on the combination location.

Description

모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법{AUGMENTED REALITY APPARATUS FOR SIMULATION DISCIPLINE AND VIRTUAL IMAGE COMPOSITION METHOD} AUGMENTED REALITY APPARATUS FOR SIMULATION DISCIPLINE AND VIRTUAL IMAGE COMPOSITION METHOD}

본 발명은 모의 훈련을 위한 증강 현실 장치에 관한 것으로, 더욱 상세하게는 카메라를 통해 촬영된 실사 영상에 증강 현실 장치를 이용하여 가상의 이미지를 합성하는 방법에 관한 것이다. The present invention relates to an augmented reality device for simulation training, and more particularly, to a method of synthesizing a virtual image by using an augmented reality device to a live image captured by a camera.

최근 정보 기술을 이용하여 가상 전쟁 환경을 구성하고 부대, 무기 체계 등이 전투를 수행하여 전술 훈련을 할 수 있는 합성 전투 모의 기술들이 개발 되고 있으며, 실제로 걸프전에서 모의 결과를 이용하여 아군의 손실을 줄이거나 임무를 효율적으로 수행한 사례를 볼 수 있다. 실제 전쟁 환경을 모의 환경으로 대신하여 훈련하는 모의 훈련 기술은 군사 훈련에서 필수적인 도구로 활용되고 있으며, 현재 지속적으로 발전되고 있다. 모의 훈련 장비의 하나로 가상의 지형 지물과 적군을 가상의 전장에 배치하여 실제 전쟁 환경을 스크린 또는 HMD에 시각화함으로써 현실감을 극대화 하고 있으며, 훈련 비용 절감에도 큰 몫을 하고 있다. 이러한 가상 훈련장비는 대부분 컴퓨터를 이용하여 구축한 가상 공간에서 사용자와 상호 작용을 통해 현실감 있는 표현을 제공하는 가상 현실(Virtual Reality)이 기반이 된다. In recent years, synthetic battle simulation techniques have been developed that can be used to construct a virtual war environment using information technology, and military forces and weapon systems can conduct tactical training.In fact, simulation results in the Gulf War can be used to reduce the loss of allies. You can see an example of the mission performed efficiently. Mock training techniques, which replace the actual war environment with a simulated environment, are used as an essential tool in military training and are currently being developed. As one of the simulated training equipment, virtual terrain and enemy forces are placed on the virtual battlefield to visualize the real war environment on the screen or HMD to maximize the realism and contribute to the reduction of training cost. Most of these virtual training equipments are based on virtual reality, which provides realistic expression through interaction with users in virtual spaces built using computers.

가상 현실이란, 컴퓨터를 이용하여 구축한 가상 공간에서 인간 감각계와의 상호작용을 통해 공간적, 물리적 제약에 의해 현실 세계에서는 직접 경험하지 못하는 상황을 간접적으로 체험할 수 있도록 만든 정보 활동 분야의 새로운 패러다임 중의 하나이다. 가상 현실의 궁극적인 목표는 다양한 입출력 방법을 사용하여 컴퓨터와 인간과의 대화 능력을 높임으로써 컴퓨터와 좀 더 현실적인 통신을 할 수 있는 환경을 제공하는데 있다. 컴퓨터와 인간과의 입출력 방법으로는 HMD(Head-Mounted Display), 데이터 글러브(Data Glove) 및 모션 캡쳐(Motion Capture)와 같은 장치가 사용되는데, HMD는 사용자의 머리 움직임에 따른 위치 변화 데이터를 컴퓨터에 송신하여 컴퓨터로 하여금 사용자의 시야에 있을 대상의 크기 및 깊이를 계산하여 시뮬레이션 하도록 한다.Virtual reality is a new paradigm in the field of information activities that makes it possible to indirectly experience a situation that cannot be experienced directly in the real world due to spatial and physical constraints through interaction with the human sensory system in the virtual space constructed using computer. One. The ultimate goal of virtual reality is to provide a more realistic communication environment with computers by increasing the ability of computers to communicate with humans using various input / output methods. Devices such as HMD (Head-Mounted Display), Data Glove, and Motion Capture are used as input / output methods between computer and human. Send it to the computer to simulate and calculate the size and depth of the object in the user's field of view.

한편, 증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 현실 세계 위에 컴퓨터에 의해서 생성된 정보를 덧붙여 표현하는 것을 의미한다. 즉, 현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 증강 현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것으로 가상 현실 시스템보다 더욱 향상된 몰입감을 제공한다는 이점이 있다. On the other hand, augmented reality (Augmented Reality) is generally a term derived from the virtual environment and virtual reality, and means to express the computer-generated information added to the real world. In other words, real-world information may contain information that the user does not need, and sometimes the user may lack information. However, computer-generated virtual environments can simplify information that is not needed or produce invisible information. In other words, the augmented reality system combines the real world and the virtual world to allow the user to interact with the user in real time, thereby providing an improved immersion.

증강현실을 이용하여 실시간으로 입력되는 실사 화면에 가상의 적과 지형지 물 같은 가상 오브젝트를 합성하기 위해서는 현재 촬영하고 있는 카메라의 정확한 자세와 위치, 이미지 센서 정보를 알아야 하며, 위치 수신용으로 GPS를, 자세 수신용으로 자이로 센서, 가속도 센서 등을 사용한다. 이러한 위치, 자세 센서는 하드웨어로부터 직접 데이터를 수신하여 실시간으로 처리가 이루어지는 장점이 있으며, 수신된 데이터를 특별한 처리과정 없이 바로 합성에 적용할 수 있을 만큼의 오차를 갖고 있다. 특히 지리 좌표를 수신하는 고정밀 DGPS는 기준국에서 제공하는 GPS 보정 신호를 이용하여 수 mm 급의 오차를 갖는 데이터를 전송한다. In order to synthesize a virtual object such as a virtual enemy and a feature on a real-time screen using augmented reality, it is necessary to know the exact posture, location, and image sensor information of the camera currently being photographed. Gyro sensor and acceleration sensor are used for reception. Such position and posture sensors have the advantage of receiving data directly from hardware and processing them in real time, and have enough errors to apply the received data to synthesis without any special processing. In particular, the high-precision DGPS, which receives the geographical coordinates, transmits data with several millimeters of error by using the GPS correction signal provided by the reference station.

그러나 현재 증강 현실 기술들이 그 용용 가능성이 다양함에도 불구하고, 실제적인 이용을 제한하게 되는 가장 근본적인 문제점 중의 하나가 바로 정합(Registration) 문제이다. 정합이란 증강현실에서 사용자가 보는 현실 세계와 가상으로 생성된 물체가 서로 적절히 배치되는 일련의 과정을 말하는 것으로, 카메라의 위치와 카메라가 바라보는 방향을 정확히 추적해야만 원하는 가상의 그래픽을 영상의 정확한 장소에 위치시킬 수 있게 된다. However, although augmented reality technologies vary in their applicability, one of the most fundamental problems that limit practical use is registration problem. Matching refers to a series of processes in which the real world and the virtually created objects are properly arranged with each other in augmented reality. The exact location of the virtual graphic is required only by accurately tracking the position of the camera and the direction the camera is looking at. It can be placed at.

특히 회전 정보를 제공하는 자세 센서는 비록 상대적인 정확도는 1mm 이하의 정확도를 갖고 있으나, 절대 오차가 낮아 시간이 흐를수록 자세를 유지하지 못하는 문제점을 갖고 있다. 이러한 자세 예측 오차는 시간에 따라 누적이 되어 합성되는 가상의 그래픽이 실제와 다른 위치에 놓이게 함으로써 정확한 정합이 어렵게 되는 문제점이 있다. In particular, the posture sensor providing rotation information has a relative accuracy of 1 mm or less, but has a problem of failing to maintain posture as time passes due to low absolute error. Such posture prediction error has a problem that accurate matching is difficult because the virtual graphics that are accumulated over time are put at different positions from the actual ones.

따라서 본 발명이 이루고자 하는 기술적 과제는 실사 영상에 가상 이미지를 정확한 위치에 정합할 수 있는 증강 현실 장치 및 그 증강 현실 장치를 이용한 가상 이미지 합성 방법을 제공하는 것이다. Accordingly, an aspect of the present invention is to provide an augmented reality device capable of matching a virtual image with a live image at an accurate location and a virtual image synthesis method using the augmented reality device.

이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법은, 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 단계, 상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 데이터베이스에 저장되어 있는 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 단계, 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하는 단계, 상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 단계, 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하는 단계, 상기 카메라의 위치 정보 및 상기 카메라의 보정된 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 결정하는 단계, 그리고 상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함한다.According to one or more exemplary embodiments, a method of synthesizing a virtual image of an augmented reality device according to an embodiment of the present invention includes receiving a live image captured by a camera to which a camera sensor is attached, and location information of the camera from the camera sensor. And generating initial position information of the camera using coordinate information of feature points stored in a database, and adding rotation information of the camera received from the camera sensor to the initial position information. Generating current posture information of the camera; correcting rotation information of the camera by comparing image information of a feature included in the live image with image information of a feature point of the feature stored in the database; The rotation information of the camera based on Correcting the current pose information, determining a composition position of the virtual image based on the position information of the camera and the corrected current pose information of the camera, and converting the virtual image to the live image based on the determined composition position. Synthesizing.

상기 카메라의 초기 자세 정보를 생성하는 단계는, 상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의될 수 있다. The generating of the initial posture information of the camera may include an angle formed by the optical axis of the camera and a true north direction by the following equation.

Figure 112008075206327-PAT00001
Figure 112008075206327-PAT00001

여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타내고,

Figure 112008075206327-PAT00002
는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다. Where A ref , B ref Indicates the longitude and latitude of the feature displayed on the input screen, and A c and B c respectively indicate the longitude and latitude of the camera.
Figure 112008075206327-PAT00002
Are the angles that the optical axis of the initialized camera makes with the pan, roll, and tilt directions with respect to true north.

상기 카메라의 현재 자세 정보를 생성하는 단계는, 하기 수학식을 이용하여 생성할 수 있다. Generating current pose information of the camera may be generated by using the following equation.

Figure 112008075206327-PAT00003
Figure 112008075206327-PAT00003

여기서

Figure 112008075206327-PAT00004
,
Figure 112008075206327-PAT00005
,
Figure 112008075206327-PAT00006
는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
Figure 112008075206327-PAT00007
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다. here
Figure 112008075206327-PAT00004
,
Figure 112008075206327-PAT00005
,
Figure 112008075206327-PAT00006
Are the angles rotated in the pan, roll and tilt directions from the initial position of the camera, respectively.
Figure 112008075206327-PAT00007
Indicates the angles currently made in the pan, roll, and tilt directions with respect to the camera's optical axis.

상기 카메라의 회전 정보를 보정하는 단계는, 하기 수학식을 이용하여 수행될 수 있다. Correcting the rotation information of the camera may be performed using the following equation.

Figure 112008075206327-PAT00008
Figure 112008075206327-PAT00008

여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하 는 현재 실사 영상의 픽셀 값(I(xi ref+x'))과 데이터베이스에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값(IDB(x'))의 차이를 나타내는 비용 함수이다.Where e i is the pixel value (I (x i ref + x ')) of the current live image including the window area (W) surrounding the feature point of the i th feature and the image data of the feature stored in the database. Cost function representing the difference between pixel values I DB (x ').

상기 카메라의 회전 정보는 하기 수학식을 이용하여 생성될 수 있다. Rotation information of the camera may be generated using the following equation.

Figure 112008075206327-PAT00009
Figure 112008075206327-PAT00009

여기서

Figure 112008075206327-PAT00010
,
Figure 112008075206327-PAT00011
,
Figure 112008075206327-PAT00012
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 회전 각도를 나타내며,
Figure 112008075206327-PAT00013
는 ei를 최소화 하도록 하는 yaw 각도이며,
Figure 112008075206327-PAT00014
는 yaw 차이에 대한 임계치를 나타낸다.here
Figure 112008075206327-PAT00010
,
Figure 112008075206327-PAT00011
,
Figure 112008075206327-PAT00012
Represents the rotation angles corrected in the pan, roll and tilt directions with respect to the optical axis of the camera, respectively.
Figure 112008075206327-PAT00013
Is the yaw angle to minimize e i ,
Figure 112008075206327-PAT00014
Denotes a threshold for yaw differences.

상기 가상 이미지의 합성 위치를 계산하는 단계는, 하기 수학식을 이용하여 연산될 수 있다. The calculating of the synthesis position of the virtual image may be calculated using the following equation.

xi = PXi, P = K[R｜t]x i = PX i , P = K [R ｜ t]

여기서 P는 투영 매트릭스, Xi는 세계 좌표계에서의 한 점, xi는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다. Where P is the projection matrix, X i is a point in the world coordinate system, x i is a point in the image coordinate system, K is the camera internal parameter matrix, [R | t] is the external parameter matrix, and R is the rotation transformation matrix. T is the motion vector.

상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의될 수 있다. The t is obtained from the positional information of the camera and may be defined by the following equation.

Figure 112008075206327-PAT00015
Figure 112008075206327-PAT00015

여기서

Figure 112008075206327-PAT00016
는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, Xlongitude, Yhight, Zlatitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.here
Figure 112008075206327-PAT00016
Are the x-direction motion vector, the y-direction motion vector, and the z-direction motion vector, respectively, and X longitude , Y hight , and Z latitude are position information of the camera, and represent the longitude of the camera, the height of the camera, and the latitude of the camera, respectively.

본 발명의 다른 실시예에 따른 증강 현실 장치의 가상 이미지 합성 장치는, 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 영상 입력 모듈, 지형 지물의 특징점의 좌표 정보와 영상 정보를 저장하고 있는 데이터베이스,An apparatus for synthesizing a virtual image of an augmented reality device according to another embodiment of the present invention may include an image input module that receives a live image captured by a camera with a camera sensor, and stores coordinate information and image information of feature points of a feature. Database,

상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 상기 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 카메라 센서 모듈, 상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 비전 센서 모듈, 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하고, 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하여 가상 이미지의 합성 위치를 결정하는 영상 분석 모듈, 그리고 상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함할 수 있다. A camera sensor module for receiving position information of the camera from the camera sensor and generating initial posture information of the camera by using coordinate information of a feature point of the feature; image information of the feature included in the live image and the Vision sensor module for compensating the rotation information of the camera by comparing the image information of the feature point of the feature stored in the database, the current position of the camera by adding the rotation information of the camera received from the camera sensor to the initial attitude information An image analysis module configured to generate posture information, correct current posture information of the camera based on the corrected rotation information of the camera, and determine a synthesis position of the virtual image; and generate the virtual image based on the determined synthesis position. Image Synthesis Module It can be included.

이와 같이 본 발명에 의하면, 카메라를 통해 촬영된 전장의 실사 영상에 가상의 적군과 지형 지물들과 같은 가상 이미지를 정확한 위치에 합성함으로써, 보다 생동감이 있고 실감나는 훈련 시스템을 제공할 수 있다. 즉 카메라로부터 실시간으로 입력되는 실사 영상에 사용자가 원하는 이미지나 동영상 또는 3차원 그래픽을 원하는 위치에 실제로 공간상에 존재하는 것처럼 삽입하여 훈련을 구성할 수 있다. As described above, according to the present invention, a virtual system such as a virtual enemy and terrain features is synthesized in a live-action image captured by a camera at an accurate position, thereby providing a more lively and realistic training system. That is, the training can be configured by inserting an image, a moving picture, or a 3D graphic that a user wants into a real image input in real time from a camera as if it is actually present in a space.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 실시예에 따른 증강 현실 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다. 1 is a view for explaining a virtual image insertion process using an augmented reality device according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 카메라 센서(110)가 부착된 카메라(100)로 현장을 촬영할 경우 원 실사 영상(10)과 카메라 센서(110)로부터 얻은 카메라 변수는 증강 현실 장치(200)에 입력된다. 증강 현실 장치(200)는 카메라 변수, 원 실사 영상(10)등의 입력 정보를 바탕으로 영상을 분석하고, 가상 이미지를 삽입하여 이미지가 삽입된 합성 영상(20)을 출력한다. As shown in FIG. 1, when photographing a scene with the camera 100 to which the camera sensor 110 is attached, the camera variable obtained from the original photorealistic image 10 and the camera sensor 110 is input to the augmented reality device 200. do. The augmented reality device 200 analyzes an image based on input information such as a camera variable and an original live-action image 10, and outputs a composite image 20 into which an image is inserted by inserting a virtual image.

도 2는 본 발명의 실시예에 따른 증강 현실 장치의 구성을 나타낸 도면이다.2 is a diagram illustrating a configuration of an augmented reality device according to an exemplary embodiment of the present invention.

도 2에 도시한 것과 같이 증강 현실 장치(200)는 영상 입력 모듈(210), 카메라 센서 모듈(220), 영상 분석 모듈(230), 비전 센서 모듈(240), 데이터베이스(250), 영상 합성 모듈(260) 및 디스플레이 모듈(270)을 포함한다. As shown in FIG. 2, the augmented reality device 200 includes an image input module 210, a camera sensor module 220, an image analysis module 230, a vision sensor module 240, a database 250, and an image synthesis module. 260 and display module 270.

먼저, 카메라 센서(110)를 부착한 카메라(100)로부터 촬영되는 실사 영상은 프레임그랩버(130)에 의해 프레임 버퍼(도시하지 않음)에 저장되며, 이는 가상 이 미지가 삽입되는 배경이 된다. 카메라(100)에 부착된 카메라 센서(110)에 의해 생성되는 카메라 위치 정보 및 초기 자세 정보는 카메라 센서 모듈(220)에 전송된다. First, the live image captured by the camera 100 to which the camera sensor 110 is attached is stored in a frame buffer (not shown) by the frame grabber 130, which is a background into which a virtual image is inserted. Camera position information and initial posture information generated by the camera sensor 110 attached to the camera 100 are transmitted to the camera sensor module 220.

카메라 센서(110)는 방위각 센서(digital compass), 관성 측정 장치(inertial measurement unit, IMU), 팬 틸트 센서, 고정밀 DGPS(Differential GPS)등을 포함하며, 카메라(100)에 일체형으로 구현된다. The camera sensor 110 includes an azimuth sensor (digital compass), an inertial measurement unit (IMU), a pan tilt sensor, a high precision differential GPS (DGPS), and the like, and are integrally implemented with the camera 100.

카메라 센서(110)는 고정밀 DGPS를 이용하여 카메라(100)의 위치 정보를 측정하고, 방위각 센서 및 IMU를 통하여 카메라(100)의 초기 자세 정보를 측정하며, 팬 틸트 센서를 통하여 카메라(100)의 회전 정보를 측정할 수 있다. The camera sensor 110 measures position information of the camera 100 using high precision DGPS, measures initial posture information of the camera 100 through an azimuth sensor and an IMU, and measures the position of the camera 100 through a pan tilt sensor. Rotation information can be measured.

특히, 최대 수 mm의 오차를 갖는 고정밀 DGPS(Differential GPS)는 카메라(100)의 위치 정보를 수신하여 카메라(100)의 현재 위치를 확인한다. 여기서, DGPS는 GPS의 오차를 보다 정밀하게 보정하여 이용자에게 제공하는 위성항법 보정 장치로서, 이미 알고 있는 자신의 위치(기준국)과 GPS의 위성으로부터 수신한 위치 신호 비교 오차 보정값을 DGPS 이용자에게 전송하여 정확한 위치를 제공한다. In particular, a high-precision differential GPS (DGPS) having an error of up to several mm receives the position information of the camera 100 and checks the current position of the camera 100. Here, the DGPS is a satellite navigation correction device that corrects the GPS error more precisely and provides the user with the DGPS user's position (reference station) and the position signal comparison error correction value received from the GPS satellite. Transmit to provide the correct location.

또한, 방위각 센서는 카메라(100)가 광축으로부터 회전된 각도를 측정할 수 있고, IMU 센서는 카메라의 roll 및 pitch 정보로부터 카메라(100)가 현재 진북으로부터 회전한 각도를 측정할 수 있다. 따라서, 방위각 센서와 IMU 센서를 통하여 카메라(100)의 현재 자세를 초기화 상태로 설정할 수 있다. 팬 틸트 센서는 초기화된 상태의 카메라(100)가 팬 또는 틸트 방향으로 회전한 각도를 측정할 수 있어 카메라(100)의 회전 정보를 제공할 수 있다. In addition, the azimuth sensor may measure the angle at which the camera 100 is rotated from the optical axis, and the IMU sensor may measure the angle at which the camera 100 is currently rotated from true north from the roll and pitch information of the camera. Therefore, the current attitude of the camera 100 may be set to an initial state through the azimuth sensor and the IMU sensor. The pan tilt sensor may measure the rotation angle of the camera 100 in the initialized state in the pan or tilt direction to provide rotation information of the camera 100.

영상 입력 모듈(210)은 프레임그랩버(130)를 통해 실사 영상을 수신하여 영 상 분석 모듈(230)로 전송한다. The image input module 210 receives the live image through the frame grabber 130 and transmits the image to the image analysis module 230.

카메라 센서 모듈(220)은 먼저 카메라 센서(110)에 의해 측정된 카메라 위치 정보를 입력받는다. 또한 카메라 센서 모듈(220)은 데이터베이스(250)로부터 지형 지물의 특징점의 좌표 정보를 수신하여 카메라의 초기 자세 정보를 생성한다. The camera sensor module 220 first receives camera position information measured by the camera sensor 110. In addition, the camera sensor module 220 receives the coordinate information of the feature point of the feature from the database 250 to generate the initial attitude information of the camera.

즉, 카메라 센서 모듈(220)은 카메라 센서(110)에 의해 측정된 현재 카메라 위치 및 자세를 초기화 상태로 설정한다. 그리고, 초기 상태의 카메라(100)가 회전하게 되면 회전 중인 카메라의 회전 정보를 카메라 센서(110)로부터 입력받는다. 카메라 회전 정보에 대한 상세한 설명은 도 3을 통하여 설명한다. That is, the camera sensor module 220 sets the current camera position and attitude measured by the camera sensor 110 to an initial state. When the camera 100 in the initial state rotates, the camera 100 receives rotation information of the rotating camera from the camera sensor 110. Detailed description of the camera rotation information will be described with reference to FIG. 3.

영상 분석 모듈(230)은 영상 입력 모듈(210)로부터 촬영된 실사 영상을 수신하고 회전 중인 카메라(100)의 위치 정보 및 자세 정보를 이용하여 가상 이미지가 삽입될 위치를 계산한다. 즉, 카메라의 위치 정보 및 초기 자세 정보를 기본 옵셋으로 하고, 팬, 틸트 센서로부터 현재 이동중인 카메라의 회전 정보를 수신하여 기본 옵셋에 더한다. 이와 같이 영상 분석 모듈(230)는 카메라의 초기 자세 정보와 회전 정보를 연산하여 카메라의 현재 자세 정보를 생성한다. 그리고 비전 센서 모듈(240)로부터 카메라의 보정된 회전 정보를 수신하면 카메라의 현재 자세 정보를 보정하여 가상 이미지가 삽입될 위치를 결정한다. The image analysis module 230 receives the live image captured by the image input module 210 and calculates a position where the virtual image is to be inserted using the position information and the posture information of the rotating camera 100. That is, the positional information and initial posture information of the camera are used as basic offsets, and the rotational information of the camera currently being moved from the pan and tilt sensors is received and added to the basic offsets. As such, the image analysis module 230 generates initial pose information of the camera by calculating initial pose information and rotation information of the camera. When the corrected rotation information of the camera is received from the vision sensor module 240, the current posture information of the camera is corrected to determine a position where the virtual image is to be inserted.

비전 센서 모듈(240)은 실사 영상에 포함된 지형 지물의 영상 정보와 데이터베이스(250)에 저장된 지형 지물의 특징점에 대한 좌표 정보 및 영상 정보를 통하여 카메라의 회전 정보를 보정하고, 이에 따라 카메라의 현재 자세 정보를 보정한다. The vision sensor module 240 corrects the rotation information of the camera through the image information of the feature included in the live image, the coordinate information and the image information of the feature point of the feature stored in the database 250, and accordingly the current of the camera. Correct posture information.

데이터베이스(250)는 실사 영상에 삽입될 가상 이미지를 저장하는 역할을 하는데, 가상 이미지는 사용자 또는 기능에 따라 구별되어 저장되거나 추출될 수 있다. 데이터베이스(250)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 증강 현실 장치(200)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다. 또한, 데이터베이스(250)는 지형 지물의 특징점에 대한 영상 정보 및 좌표 정보, 즉 위도와 경도에 대한 정보를 저장한다. The database 250 stores virtual images to be inserted into the live image, and the virtual images may be stored or extracted according to a user or a function. The database 250 includes information such as a hard disk, a flash memory, a Compact Flash Card, a Secure Digital Card, an SD Card, a Smart Media Card, an MMC Card, or a Memory Stick. May be provided inside the augmented reality device 200 as a module capable of inputting / outputting, or may be provided in a separate device. In addition, the database 250 stores image information and coordinate information about the feature point of the feature, that is, information about latitude and longitude.

영상 합성 모듈(260)은 계산된 위치를 바탕으로 하여 실사 영상에 가상 이미지를 합성하도록 한다. 즉, 영상 분석 모듈(230) 및 비전 센서 모듈(240)로부터 분석된 실사 영상과 데이터베이스(250)에 저장된 가상 이미지를 합성한다. The image synthesizing module 260 synthesizes the virtual image into the real image based on the calculated position. That is, the real image analyzed by the image analysis module 230 and the vision sensor module 240 is synthesized with the virtual image stored in the database 250.

디스플레이부(270)는 영상 합성부(270)에 의해 가상 이미지가 정합된 영상을 표시하도록 한다. 디스플레이부(270)는 액정 표시 장치(LCD) 또는 뷰 파인더 일 수 있으며, 디스플레이부(270)를 통해 표시되는 영상은 정지 영상 또는 동영상 일 수 있다. The display unit 270 displays an image in which the virtual image is matched by the image synthesizing unit 270. The display unit 270 may be a liquid crystal display (LCD) or a view finder, and the image displayed through the display unit 270 may be a still image or a moving image.

도 3은 본 발명에 따른 카메라 회전 정보를 설명하기 위한 도면이다. 3 is a view for explaining camera rotation information according to the present invention.

도 3에 도시한 바와 같이 카메라 회전 정보는 세 축(x, y, z)을 중심으로 한 회전 정보를 나타내며, 각각 틸트(tilt), 팬(pan), 롤(roll)에 의한 회전을 의미한다. As shown in FIG. 3, the camera rotation information indicates rotation information about three axes (x, y, z), and means rotation by tilt, pan, and roll, respectively. .

특히, 삼발이에 고정된 고정형 카메라의 경우 도 3에서 각축(x,y,z)에 대한 직선 이동은 발생하지 않으며, y축을 중심으로 하는 좌우 회전 정보에 해당하는 팬(pan), x축을 중심으로 하는 상하 회전 정보에 해당하는 틸트(tilt)에 대한 움직임만이 발생한다. 그리고 카메라의 고유 특성인 줌(zoom), 포커스(focus) 등이 상황에 따라 변하는 값으로서, 카메라 변수에 포함될 수 있다.Particularly, in the case of a fixed camera fixed to a trivet, a linear movement with respect to the angular axis (x, y, z) does not occur in FIG. 3, and a pan corresponding to the left and right rotation information about the y axis and a center of the x axis are illustrated. Only the movement of the tilt corresponding to the up and down rotation information occurs. In addition, zoom, focus, and the like, which are inherent characteristics of the camera, may be included in a camera variable as a value that changes according to a situation.

또한 자유롭게 이동하며 촬영할 수 있는 이동형 카메라의 경우 고정형 카메라의 카메라 변수인 팬, 틸트, 줌, 포커스 외에 z축을 중심으로 하는 회전 정보에 해당하는 롤(roll)에 대한 움직임과 각축(x,y,z)에 대한 직선이동 값이 카메라 변수에 포함될 수 있다. 특히, 카메라(100)가 x축을 중심으로 회전하는 것을 "pitch", y축을 중심으로 회전하는 것을 "yaw", z축을 중심으로 회전하는 것을 "roll"라고 한다. 본 발명의 실시예에서는 카메라(100)를 이동형 카메라로 가정하여 카메라 변수를 구하는 것으로 한다. In addition, in the case of a mobile camera that can move freely and shoot, in addition to the pan, tilt, zoom, and focus parameters of the fixed camera, the roll movement corresponding to the rotational information about the z axis and the axis (x, y, z) ) Can be included in the camera variable. In particular, the rotation of the camera 100 about the x-axis is "pitch", the rotation about the y-axis is "yaw", and the rotation about the z-axis is called "roll". In the embodiment of the present invention, it is assumed that the camera 100 is a mobile camera to obtain a camera variable.

이하에서는 도 4 내지 도 5d를 통하여 증강 현실 장치(200)의 가상 이미지 합성 방법에 대해 설명한다. 도 4는 본 발명의 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법을 나타내는 순서도이고, 도 5a 내지 도 5d는 도 4에 따른 가상 이미지 합성 방법을 설명하기 위한 예시도이다. Hereinafter, the virtual image synthesis method of the augmented reality device 200 will be described with reference to FIGS. 4 to 5D. 4 is a flowchart illustrating a virtual image synthesizing method of an augmented reality device according to an exemplary embodiment of the present invention, and FIGS. 5A to 5D are exemplary diagrams for describing the virtual image synthesizing method according to FIG. 4.

먼저 영상 입력 모듈(210)은 프레임그랩버(130)를 통해 도 5a와 같은 실사 영상을 입력받는다(S410). 여기서 지형 지물(X1, X2, X3)은 건물 외곽, 표지판, 안내 표시와 같이 고정되어 있는 지형에 대한 지표로서, 각각의 지형 지물의 특징점(X1, X2, X3)에 대한 영상 정보와 좌표 정보(위도 및 경도 정보)는 도 5b와 같이 데이터베이스(250)에 저장되어 있다. First, the image input module 210 receives the live image shown in FIG. 5A through the frame grabber 130 (S410). Here, the feature (X1, X2, X3) is an index of the fixed terrain, such as the building outline, signs, guide display, image information and coordinate information (Features X1, X2, X3) of each feature feature Latitude and longitude information) is stored in the database 250 as shown in FIG.

카메라 센서 모듈(220)은 카메라 센서(110)로부터 측정된 카메라 위치 정보를 수신하고 초기 자세 정보를 생성한다(S420). 즉, 카메라 센서 모듈(220)은 고정밀 DGPS(Differential GPS)로부터 카메라의 위치 정보를 수신하여 카메라의 현재 위치를 확인한다. 여기서 카메라의 위치 정보는 카메라의 경도, 카메라의 높이, 카메라의 위도를 포함한다. 또한 카메라 센서 모듈(220)은 방위각 센서로부터 카메라의 광축이 진북 방향으로부터 회전된 각도를 입력받고, IMU 센서로부터 카메라의 roll 및 pitch 정보를 수신한다. The camera sensor module 220 receives camera position information measured from the camera sensor 110 and generates initial posture information (S420). That is, the camera sensor module 220 checks the current position of the camera by receiving the position information of the camera from a high-precision differential GPS (DGPS). The location information of the camera includes the longitude of the camera, the height of the camera, and the latitude of the camera. In addition, the camera sensor module 220 receives an angle at which the optical axis of the camera is rotated from the true north direction from the azimuth sensor, and receives roll and pitch information of the camera from the IMU sensor.

그리고 카메라 센서 모듈(220)은 데이터베이스(250)로부터 지형 지물의 특징점의 좌표 정보를 수신하여 카메라의 초기 자세 정보를 생성한다. The camera sensor module 220 receives the coordinate information of the feature point of the feature from the database 250 and generates initial pose information of the camera.

여기서, 카메라의 초기화된 자세 정보는 카메라(100)의 광축이 진북 방향과 이루는 각도를 이용하며, 다음의 수학식1에 의해 정의된다. Here, the initialized posture information of the camera uses an angle formed by the optical axis of the camera 100 with the true north direction, and is defined by Equation 1 below.

Figure 112008075206327-PAT00017
Figure 112008075206327-PAT00017

여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타낸다. 또한

Figure 112008075206327-PAT00018
는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다. Where A ref , B ref Are the longitude and latitude of the feature displayed on the input screen, and A c and B c are the longitude and latitude of the camera, respectively. Also
Figure 112008075206327-PAT00018
Are the angles that the optical axis of the initialized camera makes with the pan, roll, and tilt directions with respect to true north.

그리고, 카메라(100)가 초기 자세에서 tilt, pan, roll 방향으로 회전을 하 게 되면, 카메라 센서 모듈(220)은 카메라 센서(110)로부터 회전 정보를 수신한다(S430). 영상 분석 모듈(230)은 수학식 1에 나타낸 카메라의 초기 자세 정보를 기본 옵셋으로 하고, 카메라 센서(110)로부터 수신된 카메라의 회전 정보를 기본 옵셋에 더함으로써, 회전 중인 카메라의 현재 자세 정보를 생성한다(S440). When the camera 100 rotates in the tilt, pan, and roll directions in the initial posture, the camera sensor module 220 receives rotation information from the camera sensor 110 (S430). The image analysis module 230 uses the initial posture information of the camera shown in Equation 1 as a basic offset, and adds the rotation information of the camera received from the camera sensor 110 to the basic offset, thereby obtaining the current posture information of the rotating camera. It generates (S440).

즉, 수학식 1에 나타낸 카메라의 초기 자세 정보에 카메라 센서 모듈(220)로부터 수신한 카메라의 회전 정보를 더하여 다음의 수학식 2와 같은 카메라의 현재 자세 정보를 생성한다. That is, the current attitude information of the camera as shown in Equation 2 is generated by adding the rotation information of the camera received from the camera sensor module 220 to the initial attitude information of the camera shown in Equation 1.

Figure 112008075206327-PAT00019
Figure 112008075206327-PAT00019

여기서

Figure 112008075206327-PAT00020
,
Figure 112008075206327-PAT00021
,
Figure 112008075206327-PAT00022
는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
Figure 112008075206327-PAT00023
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다. here
Figure 112008075206327-PAT00020
,
Figure 112008075206327-PAT00021
,
Figure 112008075206327-PAT00022
Are the angles rotated in the pan, roll and tilt directions from the initial position of the camera, respectively.
Figure 112008075206327-PAT00023
Indicates the angles currently made in the pan, roll, and tilt directions with respect to the camera's optical axis.

그리고, 영상 분석 모듈(230)은 영상 입력 모듈(210)을 통해 실사 영상을 수신하며, 추적된 카메라(100)의 위치 정보 및 현재 자세 정보를 기초로 하여 가상 이미지가 삽입될 위치를 계산한다(S450). 즉, 영상 분석 모듈(230)은 수학식 2에서 획득한 카메라의 자세 정보와 카메라 센서(110)로부터 수신한 카메라의 위치 정보를 이용하여 가상 이미지가 삽입될 위치를 계산한다.The image analysis module 230 receives the live image through the image input module 210 and calculates a position where the virtual image is to be inserted based on the tracked position information and the current posture information of the camera 100 ( S450). That is, the image analysis module 230 calculates a position where the virtual image is to be inserted using the posture information of the camera obtained in Equation 2 and the position information of the camera received from the camera sensor 110.

영상 분석 모듈(230)은 다음의 수학식 3을 통하여 데이터 베이스(240)에 저 장된 지형 지물의 3차원 영상 Xref를 2차원 영상 xref 로 변환시킨다. The image analysis module 230 converts the 3D image X ref of the feature stored in the database 240 into a 2D image x ref through Equation 3 below.

xref = PXref, P = K[R｜t]x ref = PX ref , P = K [R | t]

여기서 R은 회전 변환 매트릭스를 의미하고, t는 이동 벡터를 의미한다. Where R means a rotation transformation matrix and t means a motion vector.

수학식 3에 의하여 지형 지물의 3차원 영상 Xref는 외부 파라미터 매트릭스 [R|t]에 의해 카메라 좌표계로 변환되고, 카메라의 내부 파라미터 K에 의하여 영상 좌표계로 변환된다. According to Equation 3, the three-dimensional image X ref of the feature is converted into a camera coordinate system by an external parameter matrix [R | t], and is converted into an image coordinate system by an internal parameter K of the camera.

한편, 수학식 3을 통해 획득한 카메라의 현재 자세 정보는 시간의 흐름에 따라 각도가 계속 유지되지 않을 수 있으며, 그 결과 지형 지물의 지리 좌표는 카메라 센서 모듈(220)의 오차로 인하여 도 5c와 같이 지형 지물의 특징점(X1, X2, X3)의 실제 좌표가 아닌 (X'1, X'2, X'3)로 잘 못 투영될 수 있다. Meanwhile, the current posture information of the camera obtained through Equation 3 may not be maintained at an angle with time, and as a result, the geographical coordinates of the feature may be different from those of FIG. 5C due to an error of the camera sensor module 220. Similarly, it may be misprojected to (X'1, X'2, X'3) rather than the actual coordinates of the feature points (X1, X2, X3) of the feature.

즉, 카메라 센서 모듈(220)에 의한 변환 오차 때문에 지형 지물의 변환된 영상 좌표인 xref(도 5a 내지 도 5d에서는 X'1, X'2, X'3에 해당함)는 실제 지형 지물의 위치(도 5a 내지 도 5d에서는 X1, X2, X3에 해당함)와 일치하지 않는다. That is, x ref (which corresponds to X'1, X'2, and X'3 in FIGS. 5A to 5D), which is the converted image coordinate of the feature due to the conversion error by the camera sensor module 220, is the position of the actual feature. (Corresponding to X1, X2, X3 in Figs. 5A to 5D).

따라서 지형 지물의 지리 좌표가 잘못 투영된 상태에서 가상 이미지(본 발명의 실시예에서는 "탱크"를 예로 듦)를 삽입할 경우에는 도 5c와 같이 정합 에러가 발생하게 된다. Therefore, when a virtual image ("tank" is taken as an example in the embodiment of the present invention) is inserted in a state where the geographical coordinates of the feature are incorrectly projected, a matching error occurs as shown in FIG. 5C.

따라서, 비전 센서 모듈(240)은 연산된 지형 지물의 좌표 정보를 실제 지형 지물에 일치시키기 위하여 데이터베이스(250)에 저장된 지형 지물의 위치 정보 및 영상 정보를 통하여 카메라의 회전 정보를 보정한다(S460). Therefore, the vision sensor module 240 corrects the rotation information of the camera through the position information and the image information of the feature stored in the database 250 to match the calculated coordinate information of the feature with the actual feature (S460). .

비전 센서 모듈(240)은 변환된 영상 xref의 좌표 보정을 위하여 수학식 4와 같이 데이터베이스(250)에 저장된 실제 지형 지물의 영상과 변환된 영상 xref의 픽셀 값의 차이를 계산하도록 한다. 이때, 촬상된 영상 전체에 대하여 픽셀 값의 차이를 비교하는 것은 비효율적이므로 도 5d와 같이 변환된 영상 xref(도 5d에서는 X'3을 예로 들었음)로부터 일정 윈도우 영역(W) 내에 있는 지형 지물에 대해서만 비교하도록 한다. Vision sensor module 240 to calculate a difference of the pixel values of the actual terrain image and the converted image of the x-equipped ref stored in the database 250 as shown in Equation (4) for the correction of the coordinate-converted image x ref. In this case, it is inefficient to compare the difference of pixel values with respect to the entire captured image. Therefore, the image x ref (X'3 is illustrated in FIG. 5D as an example) of FIG. Compare only.

Figure 112008075206327-PAT00024
Figure 112008075206327-PAT00024

여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값과 데이터베이스(250)에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값의 차이를 나타내는 비용 함수이다. I(xi ref+x')는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값이고, IDB(x')는 데이터베이스(250)에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값이다. Here, e i is a cost function indicating the difference between the pixel value of the current live image including the window area W surrounding the feature point of the i th feature and the pixel value of the image data of the feature stored in the database 250. . I (x i ref + x ') is the pixel value of the current photorealistic image including the window area W surrounding the feature point of the i th feature, and I DB (x') is the terrain stored in the database 250 Pixel value of the image data of the object.

수학식 4에서 비용 함수 ei가 최소가 되도록 하는 x' 값이 산출되고, 비전 센서 모듈(240)은 x'에 따라 도 5d와 같이 변환 영상 xref(도 5d에서는 X'3을 예로 들었음)을 이동시켜 지형 지물의 실제 위치(도 5d에서는 X3에 해당함)에 일치되도록 한다. 즉, 지형 지물의 특징점에 대한 실제 지리 좌표는 이미 데이터베이스(250)에 저장되어 있으므로, 비전 센서 모듈(240)은 수학식 1을 이용하여 진북으로부터 회전된

Figure 112008075206327-PAT00025
각도를 얻을 수 있다. 이때 카메라 센서(110) 내에 포함된 자세 센서는 다음의 수학식 5를 통하여 yaw를 보정하도록 한다. In Equation 4, the value of x 'is calculated so that the cost function e i is minimized, and the vision sensor module 240 according to x' is converted image x ref as shown in FIG. 5D (in FIG. 5D, X'3 is taken as an example). Move to match the actual location of the feature (corresponding to X3 in FIG. 5D). That is, since the actual geographical coordinates of the feature point of the feature is already stored in the database 250, the vision sensor module 240 is rotated from true north using Equation 1
Figure 112008075206327-PAT00025
You can get the angle. At this time, the attitude sensor included in the camera sensor 110 to correct yaw through the following equation (5).

Figure 112008075206327-PAT00026
Figure 112008075206327-PAT00026

여기서

Figure 112008075206327-PAT00027
,
Figure 112008075206327-PAT00028
,
Figure 112008075206327-PAT00029
는 보정된 자세 정보로서, 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 각도를 나타낸다.
Figure 112008075206327-PAT00030
는 ei를 최소화 하도록 하는 yaw 각도로서, 비전 센서 모듈(240)로부터 구한 yaw 정보를 나타낸다. 또한
Figure 112008075206327-PAT00031
는 yaw 차이에 대한 임계치를 나타낸다. 만일 카메라 센서 모듈(220)로부터 수신된
Figure 112008075206327-PAT00032
와 비전 센서 모듈(240)로부터 구해진
Figure 112008075206327-PAT00033
의 차이가 임계치보다 큰 경우, 카메라 센서(110)의 에러가 누적되어 임계치보다 크다고 판단하여 비전 센서 모듈(240)로부터 얻은
Figure 112008075206327-PAT00034
각도로 업데이트 된다. 만일 현재 실사 영상에서 지형 지물을 찾지 못한다면
Figure 112008075206327-PAT00035
는 수신되는 자세 정보를 Kalman Filtering 하여 보정한다. here
Figure 112008075206327-PAT00027
,
Figure 112008075206327-PAT00028
,
Figure 112008075206327-PAT00029
Is corrected posture information, and represents angles corrected in the pan, roll, and tilt directions with respect to the optical axis of the camera, respectively.
Figure 112008075206327-PAT00030
Is yaw angle to minimize e i , and represents yaw information obtained from the vision sensor module 240. Also
Figure 112008075206327-PAT00031
Denotes a threshold for yaw differences. If received from the camera sensor module 220
Figure 112008075206327-PAT00032
And from the vision sensor module 240
Figure 112008075206327-PAT00033
If the difference is greater than the threshold, it is determined that the error of the camera sensor 110 is cumulative and larger than the threshold and obtained from the vision sensor module 240.
Figure 112008075206327-PAT00034
Updated at an angle. If we can't find the feature in the current live video
Figure 112008075206327-PAT00035
Kalman Filtering corrects the received posture information.

이와 같이 카메라의 회전 정보가 보정되면 영상 분석 모듈(230)은 보정된 카메라의 회전 정보를 기초로 카메라의 현재 자세 정보를 보정하며, 마찬가지로 가상 이미지의 삽입 위치 역시 보정한다(S470). When the rotation information of the camera is corrected as described above, the image analysis module 230 corrects the current posture information of the camera based on the corrected rotation information of the camera, and similarly corrects the insertion position of the virtual image (S470).

그리고, 영상 합성 모듈(260)은 계산된 위치를 바탕으로 하여 실사 영상에 가상 이미지를 합성하도록 한다(S480). The image synthesizing module 260 synthesizes the virtual image to the real image based on the calculated position (S480).

여기서, 가상 이미지를 실사 영상에 삽입하기 위해서는 수학식 6과 같이 세계 좌표계를 영상 좌표계로 변환시키는 과정이 필요하다. Here, in order to insert the virtual image into the real image, a process of converting the world coordinate system to the image coordinate system is required as shown in Equation 6.

xi = PXi, P = K[R｜t]x i = PX i , P = K [R ｜ t]

여기서, P는 투영 매트릭스(Projection Matrix)로서 세계 좌표계에서의 한 점 Xi를 영상 좌표계에서의 한 점 xi으로 투영시킨다. K는 카메라의 내부 파라미터 매트릭스이며, R과 t, 즉 [R|t]를 외부 파라미터 매트릭스(External Parameter Matrix)라고 하며, R은 회전 변환 매트릭스(Rotation-Translation Matrix), t는 이동 벡터를 각각 나타낸다.Here, P is then projected to a point X i in the global coordinate system as the projection matrix (Projection Matrix) to a point x i in the image coordinate system. K is the camera's internal parameter matrix, where R and t, or [R | t], is called the External Parameter Matrix, R is the Rotation-Translation Matrix, and t is the motion vector, respectively. .

수학식 6에 나타낸 것과 같이, 세계 좌표계에서의 한 점 Xi은 먼저 외부 파라미터 매트릭스 [R|t]에 의하여 카메라 좌표계로 변환된 후, 다시 카메라의 내부 파라미터 매트릭스 K에 의해 영상 좌표계에서의 한 점 xi으로 변환된다. As shown in Equation 6, a point X i in the world coordinate system is first converted into a camera coordinate system by an external parameter matrix [R | t], and then a point in the image coordinate system by an internal parameter matrix K of the camera. is converted to x i .

도 6은 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.6 is a diagram illustrating a process of converting a world coordinate system into a camera coordinate system.

도 6과 같이 3차원 공간내의 가상 좌표인 세계(world) 좌표계를 카메라 초 점(C)을 기준으로 하는 카메라 좌표계로 변환시키기 위하여 외부 파라미터 매트릭스 [R|t]를 이용한다. As illustrated in FIG. 6, an external parameter matrix [R | t] is used to convert a world coordinate system, which is virtual coordinates in a three-dimensional space, to a camera coordinate system based on the camera focal point C.

외부 파라미터 매트릭스는 세계 좌표계의 좌표를 카메라 좌표계의 좌표로 변환시키기 위한 것으로, 세계 좌표계에 대한 카메라 좌표계의 상대적인 이동과 회전에 관한 파라미터이다. 따라서, [R|t]에 의하여 임의의 좌표계를 갖는 고정 카메라에서 3차원 공간상의 한 점 Xi는 3차원 공간상의 한 점 x로 변환된다.The external parameter matrix converts the coordinates of the world coordinate system into the coordinates of the camera coordinate system and is a parameter related to the relative movement and rotation of the camera coordinate system with respect to the world coordinate system. Thus, in a fixed camera having an arbitrary coordinate system by [R | t], a point X i in three-dimensional space is converted into a point x in three-dimensional space.

한편, 외부 파라미터 매트릭스의 회전 변환 매트릭스 R은 수학식 2에서 구한 각각의 x축, y축, z축에 대한 회전 각도 rx, ry, rz을 이용하여 오일러 각으로 표현되며, 외부 파라미터 매트릭스의 이동 벡터 t는 아래의 수학식 4와 같이 나타낼 수 있다. 일반적으로 가상 이미지가 3차원 그래픽인 경우에는 z 축이 x축 및 y축과 직교하는 벡터로 설정이 되고, 본 발명에서는 카메라의 자세가 진북을 기준으로 하고 있으므로, 3차원 이동벡터는 다음과 같이 설정된다.Meanwhile, the rotation transformation matrix R of the external parameter matrix is represented by Euler angle using the rotation angles r x , r y , and r z about the x, y, and z axes obtained in Equation 2, and the external parameter matrix 'S motion vector t can be expressed by Equation 4 below. In general, when the virtual image is a three-dimensional graphic, the z-axis is set as a vector orthogonal to the x-axis and y-axis, and in the present invention, since the pose of the camera is based on true north, Is set.

Figure 112008075206327-PAT00036
Figure 112008075206327-PAT00036

여기서

Figure 112008075206327-PAT00037
는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, Xlongitude, Yhight, Zlatitude 는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.here
Figure 112008075206327-PAT00037
Are the x-direction vector, the y-direction vector, and the z-direction vector, respectively, and X longitude , Y hight , and Z latitude Denotes the position information of the camera, and indicates the longitude of the camera, the height of the camera, and the latitude of the camera, respectively.

그리고, 세계 좌표계를 카메라 좌표계로 변환시킨 후 카메라 좌표계의 한 점 x는 내부 파라미터 매트릭스 K에 의해 영상 좌표계에서의 한 점 xi으로 변환된다. 여기서 카메라의 내부 파라미터 매트릭스 K는 다음의 수학식 8를 만족한다.Then, after converting the world coordinate system to the camera coordinate system, one point x of the camera coordinate system is converted into one point x i in the image coordinate system by the internal parameter matrix K. Here, the internal parameter matrix K of the camera satisfies Equation 8 below.

Figure 112008075206327-PAT00038
Figure 112008075206327-PAT00038

수학식 8에서 αx , αy 는 각각 αx = fmx, αy = fmy 로서, f는 카메라의 초점거리, mx, my는 영상 좌표계에서 단위 거리 당 픽셀의 수를 나타내며,

Figure 112008075206327-PAT00039
는 원리점(principal point),
Figure 112008075206327-PAT00040
는 skew 파라미터를 나타낸다. 본 발명에서는 카메라의 초점거리가 카메라 보정(camera calibration), 혹은 카메라 제조사로부터 그 값을 미리 알고 있다고 가정하고, skew 파라미터는 0으로 간주한다. 또한 원리점은 이미지의 중앙이라고 가정한다. In Equation 8, α x, α y are α x = fm x , α y = fm y , where f is the focal length of the camera, and m x and m y are the number of pixels per unit distance in the image coordinate system.
Figure 112008075206327-PAT00039
Is the principal point,
Figure 112008075206327-PAT00040
Represents a skew parameter. In the present invention, it is assumed that the focal length of the camera is known in advance from a camera calibration or a camera manufacturer, and the skew parameter is assumed to be zero. It is also assumed that the principal point is the center of the image.

이와 같이 세계 좌표계의 한 점 Xi은 카메라의 외부 파라미터 매트릭스 및 내부 파라미터 매트릭스와 연산되어 영상 좌표계의 한 점 xi으로 변환된다.In this way, a point X i of the world coordinate system is calculated with an external parameter matrix and an internal parameter matrix of the camera and converted into a point x i of the image coordinate system.

그리고, 디스플레이 모듈(270)은 가상 이미지가 합성된 영상을 표시한다(S490). 본 발명의 실시예에 따르면 가상 이미지는 2차원 그래픽뿐만 아니라 3차원 그래픽으로도 표현될 수 있으며, 시청자는 실제 방송 화면 속에 이미지가 실제 존재하는 것처럼 느끼면서 방송을 시청하게 된다.In operation S490, the display module 270 displays an image obtained by synthesizing the virtual image. According to an exemplary embodiment of the present invention, the virtual image may be expressed not only as a 2D graphic but also as a 3D graphic, and the viewer may watch the broadcast while feeling as if the image is actually present in the actual broadcast screen.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발 명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

도 1은 본 발명의 실시예에 따른 증강 현실 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다. 1 is a view for explaining a virtual image insertion process using an augmented reality device according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 증강 현실 장치의 구성을 나타낸 도면이다.2 is a diagram illustrating a configuration of an augmented reality device according to an exemplary embodiment of the present invention.

도 3은 본 발명에 따른 카메라 회전 정보를 설명하기 위한 도면이다. 3 is a view for explaining camera rotation information according to the present invention.

도 4는 본 발명의 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a virtual image compositing method of an augmented reality device according to an exemplary embodiment of the present invention.

도 5a 내지 도 5d는 도 4에 따른 가상 이미지 합성 방법을 설명하기 위한 예시도이다. 5A to 5D are exemplary views for explaining the virtual image synthesis method according to FIG. 4.

도 6은 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.6 is a diagram illustrating a process of converting a world coordinate system into a camera coordinate system.

Claims (12)

카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 단계, Receiving a live image captured by a camera equipped with a camera sensor; 상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 데이터베이스에 저장되어 있는 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 단계, Receiving location information of the camera from the camera sensor and generating initial attitude information of the camera using coordinate information of feature points of a feature stored in a database; 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하는 단계,Generating current pose information of the camera by adding rotation information of the camera received from the camera sensor to the initial pose information; 상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 단계,Correcting the rotation information of the camera by comparing the image information of the feature included in the live image with the image information of the feature point of the feature stored in the database; 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하는 단계,Correcting current posture information of the camera based on the corrected rotation information of the camera, 상기 카메라의 위치 정보 및 상기 카메라의 보정된 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 결정하는 단계, 그리고 Determining a composition position of the virtual image based on the position information of the camera and the corrected current posture information of the camera, and 상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법.And synthesizing the virtual image into the real image based on the determined composition position. 제1항에 있어서, The method of claim 1, 상기 카메라의 초기 자세 정보를 생성하는 단계는, Generating initial posture information of the camera, 상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:Method for synthesizing a virtual image of an augmented reality device, characterized in that the angle formed by the optical axis of the camera and the true north direction is defined by the following equation:
Figure 112008075206327-PAT00041
Figure 112008075206327-PAT00041
 여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타내고,
Figure 112008075206327-PAT00042
는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다. Where A ref , B ref Indicates the longitude and latitude of the feature displayed on the input screen, and A c and B c respectively indicate the longitude and latitude of the camera.
Figure 112008075206327-PAT00042
Are the angles that the optical axis of the initialized camera makes with the pan, roll, and tilt directions with respect to true north. 제2항에 있어서, The method of claim 2, 상기 카메라의 현재 자세 정보를 생성하는 단계는, Generating current posture information of the camera, 하기 수학식을 이용하여 생성하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법: Method of synthesizing a virtual image of an augmented reality device, characterized in that generated using the following equation:
Figure 112008075206327-PAT00043
Figure 112008075206327-PAT00043
 여기서
Figure 112008075206327-PAT00044
,
Figure 112008075206327-PAT00045
,
Figure 112008075206327-PAT00046
는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
Figure 112008075206327-PAT00047
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다. here
Figure 112008075206327-PAT00044
,
Figure 112008075206327-PAT00045
,
Figure 112008075206327-PAT00046
Are the angles rotated in the pan, roll and tilt directions from the initial position of the camera, respectively.
Figure 112008075206327-PAT00047
Indicates the angles currently made in the pan, roll, and tilt directions with respect to the camera's optical axis. 제3항에 있어서, The method of claim 3, 상기 카메라의 회전 정보를 보정하는 단계는, Correcting the rotation information of the camera, 하기 수학식을 이용하여 수행되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법: Virtual image synthesis method of augmented reality device, characterized in that performed using the following equation:
Figure 112008075206327-PAT00048
Figure 112008075206327-PAT00048
 여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값(I(xi ref+x'))과 데이터베이스에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값(IDB(x'))의 차이를 나타내는 비용 함수이다.Where e i is the pixel value (I (x i ref + x ')) of the current photoreal image including the window area W surrounding the feature point of the i th feature and the pixel of the image data of the feature stored in the database. Cost function representing the difference between the values I DB (x '). 제4항에 있어서, The method of claim 4, wherein 상기 카메라의 회전 정보는 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법: Rotating information of the camera is a virtual image synthesis method of the augmented reality device, characterized in that generated using the following equation:
Figure 112008075206327-PAT00049
Figure 112008075206327-PAT00049
 여기서
Figure 112008075206327-PAT00050
,
Figure 112008075206327-PAT00051
,
Figure 112008075206327-PAT00052
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 회전 각도를 나타내며,
Figure 112008075206327-PAT00053
는 ei를 최소화 하도록 하는 yaw 각도이 며,
Figure 112008075206327-PAT00054
는 yaw 차이에 대한 임계치를 나타낸다.here
Figure 112008075206327-PAT00050
,
Figure 112008075206327-PAT00051
,
Figure 112008075206327-PAT00052
Represents the rotation angles corrected in the pan, roll and tilt directions with respect to the optical axis of the camera, respectively.
Figure 112008075206327-PAT00053
Is the yaw angle to minimize e i ,
Figure 112008075206327-PAT00054
Denotes a threshold for yaw differences. 제1항에 있어서, The method of claim 1, 상기 가상 이미지의 합성 위치를 계산하는 단계는, Computing the composite position of the virtual image, 하기 수학식을 이용하여 연산되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법: Virtual image synthesis method of augmented reality device, characterized in that calculated using the following equation: xi = PXi, P = K[R｜t]x i = PX i , P = K [R ｜ t] 여기서 P는 투영 매트릭스, Xi는 세계 좌표계에서의 한 점, xi는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다. Where P is the projection matrix, X i is a point in the world coordinate system, x i is a point in the image coordinate system, K is the camera internal parameter matrix, [R | t] is the external parameter matrix, and R is the rotation transformation matrix. T is the motion vector. 제6항에 있어서, The method of claim 6, 상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법: Wherein t is obtained from the position information of the camera, virtual image synthesis method characterized in that defined by the following equation:
Figure 112008075206327-PAT00055
Figure 112008075206327-PAT00055
 여기서
Figure 112008075206327-PAT00056
는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, Xlongitude, Yhight, Zlatitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.here
Figure 112008075206327-PAT00056
Are the x-direction motion vector, the y-direction motion vector, and the z-direction motion vector, respectively, and X longitude , Y hight , and Z latitude are position information of the camera, and represent the longitude of the camera, the height of the camera, and the latitude of the camera, respectively. 카메라 센서가 부착된 카메라를 통해 촬영된 실사 영상을 입력받는 영상 입력 모듈, Image input module for receiving a live image captured by a camera with a camera sensor, 지형 지물의 특징점의 좌표 정보와 영상 정보를 저장하고 있는 데이터베이스,A database that stores coordinate information and image information of feature points of the feature; 상기 카메라 센서로부터 상기 카메라의 위치 정보를 수신하고, 상기 지형 지물의 특징점의 좌표 정보를 이용하여 상기 카메라의 초기 자세 정보를 생성하는 카메라 센서 모듈,A camera sensor module for receiving position information of the camera from the camera sensor and generating initial pose information of the camera using coordinate information of a feature point of the feature; 상기 실사 영상에 포함된 지형 지물의 영상 정보와 상기 데이터베이스에 저장되어 있는 상기 지형 지물의 특징점의 영상 정보를 비교하여 상기 카메라의 회전 정보를 보정하는 비전 센서 모듈,A vision sensor module for compensating rotation information of the camera by comparing image information of a feature included in the live image with image information of a feature point of the feature stored in the database; 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하고, 상기 보정된 카메라의 회전 정보를 기초로 상기 카메라의 현재 자세 정보를 보정하여 가상 이미지의 합성 위치를 결정하는 영상 분석 모듈, 그리고The current posture information of the camera is generated by adding rotation information of the camera received from the camera sensor to the initial posture information, and the current posture information of the camera is corrected based on the corrected rotation information of the camera. An image analysis module for determining a composition position, and 상기 결정된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치.And an image synthesizing module for synthesizing the virtual image with the real image based on the determined synthesis position. 제8항에 있어서, The method of claim 8, 상기 카메라의 초기 자세 정보는, Initial posture information of the camera, 상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치:The virtual image synthesizing apparatus of the augmented reality device, characterized in that the angle formed by the optical axis of the camera and the true north direction is defined by the following equation:
Figure 112008075206327-PAT00057
Figure 112008075206327-PAT00057
 여기서 Aref, Bref 는 각각 입력되는 실사 화면에 표시되는 지형 지물의 경도, 위도를 나타내며, Ac, Bc는 각각 카메라의 경도, 위도 위치를 나타내고,
Figure 112008075206327-PAT00058
는 각각 초기화된 카메라의 광축이 진북에 대하여 pan, roll, tilt 방향과 이루는 각도를 나타낸다. Where A ref , B ref Indicates the longitude and latitude of the feature displayed on the input screen, and A c and B c respectively indicate the longitude and latitude of the camera.
Figure 112008075206327-PAT00058
Are the angles that the optical axis of the initialized camera makes with the pan, roll, and tilt directions with respect to true north. 제9항에 있어서, 10. The method of claim 9, 상기 카메라의 현재 자세 정보는 하기 수학식을 이용하여 생성하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치: A virtual image synthesizing apparatus of an augmented reality device, characterized in that the current posture information of the camera is generated using the following equation:
Figure 112008075206327-PAT00059
Figure 112008075206327-PAT00059
 여기서
Figure 112008075206327-PAT00060
,
Figure 112008075206327-PAT00061
,
Figure 112008075206327-PAT00062
는 각각 카메라의 초기 자세에서 pan, roll, tilt 방향으로 회전된 각도를 나타내고,
Figure 112008075206327-PAT00063
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 현재 이루는 각도를 나타낸다. here
Figure 112008075206327-PAT00060
,
Figure 112008075206327-PAT00061
,
Figure 112008075206327-PAT00062
Are the angles rotated in the pan, roll and tilt directions from the initial position of the camera, respectively.
Figure 112008075206327-PAT00063
Indicates the angles currently made in the pan, roll, and tilt directions with respect to the camera's optical axis. 제10항에 있어서, The method of claim 10, 상기 비전 센서 모듈은, The vision sensor module, 하기 수학식을 이용하여 상기 카메라의 회전 정보를 보정하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치: A virtual image synthesizing apparatus of an augmented reality device, characterized in that for correcting rotation information of the camera by using the following equation:
Figure 112008075206327-PAT00064
Figure 112008075206327-PAT00064
 여기서 ei는 i 번째 지형 지물의 특징점을 둘러싼 윈도우 영역(W)을 포함하는 현재 실사 영상의 픽셀 값(I(xi ref+x'))과 데이터베이스에 저장되어 있는 지형 지물의 영상 데이터의 픽셀 값(IDB(x'))의 차이를 나타내는 비용 함수이다.Where e i is the pixel value (I (x i ref + x ')) of the current photoreal image including the window area W surrounding the feature point of the i th feature and the pixel of the image data of the feature stored in the database. Cost function representing the difference between values (I DB (x ')). 제11항에 있어서, The method of claim 11, 상기 카메라의 회전 정보는 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 장치: Rotation information of the camera is a virtual image synthesizing apparatus of the augmented reality device, characterized in that generated using the following equation:
Figure 112008075206327-PAT00065
Figure 112008075206327-PAT00065
 여기서
Figure 112008075206327-PAT00066
,
Figure 112008075206327-PAT00067
,
Figure 112008075206327-PAT00068
는 각각 카메라의 광축에 대하여 pan, roll, tilt 방향으로 보정된 회전 각도를 나타내며,
Figure 112008075206327-PAT00069
는 ei를 최소화 하도록 하는 yaw 각도이며,
Figure 112008075206327-PAT00070
는 yaw 차이에 대한 임계치를 나타낸다.here
Figure 112008075206327-PAT00066
,
Figure 112008075206327-PAT00067
,
Figure 112008075206327-PAT00068
Represents the rotation angles corrected in the pan, roll and tilt directions with respect to the optical axis of the camera, respectively.
Figure 112008075206327-PAT00069
Is the yaw angle to minimize e i ,
Figure 112008075206327-PAT00070
Denotes a threshold for yaw differences.
KR1020080106511A 2008-10-29 2008-10-29 Augmented reality apparatus for simulation discipline and virtual image composition method KR100964951B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080106511A KR100964951B1 (en) 2008-10-29 2008-10-29 Augmented reality apparatus for simulation discipline and virtual image composition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080106511A KR100964951B1 (en) 2008-10-29 2008-10-29 Augmented reality apparatus for simulation discipline and virtual image composition method

Publications (2)

Publication Number Publication Date
KR20100047563A true KR20100047563A (en) 2010-05-10
KR100964951B1 KR100964951B1 (en) 2010-06-21

Family

ID=42274513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080106511A KR100964951B1 (en) 2008-10-29 2008-10-29 Augmented reality apparatus for simulation discipline and virtual image composition method

Country Status (1)

Country Link
KR (1) KR100964951B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099377A2 (en) * 2011-01-17 2012-07-26 엘지전자 주식회사 Augmented reality (ar) target updating method, and terminal and server employing same
KR101274556B1 (en) * 2011-08-17 2013-06-17 국방과학연구소 The distance measurement system between a real object and a virtual model using aumented reality
KR101338243B1 (en) * 2013-09-03 2013-12-06 국방과학연구소 Military information virtual space system based on web
WO2016021997A1 (en) * 2014-08-08 2016-02-11 쿠렌그렉 반 Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
KR20160019980A (en) * 2014-08-11 2016-02-23 주식회사 에스.제이테크 Method for making augmented reality educational contents using panorama videos
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US9870644B2 (en) 2011-06-14 2018-01-16 Samsung Electronics Co., Ltd. Apparatus and method for image processing
KR20190001728A (en) 2017-06-28 2019-01-07 주식회사 한화 Apparatus and Method for measuring pose based on augmented reality
KR20190005642A (en) * 2017-07-07 2019-01-16 한국전자통신연구원 Method for synthesizing virtual content for augmented reality and apparatus using the same
JP2019515379A (en) * 2016-04-21 2019-06-06 インターデジタル シーイー パテント ホールディングス Method and apparatus for estimating pose of rendering device
CN114026600A (en) * 2021-09-07 2022-02-08 香港应用科技研究院有限公司 Camera calibration method
KR20220074103A (en) * 2020-11-27 2022-06-03 주식회사 소프트그래피 Device and method of image registration for 3d models

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101751933B1 (en) 2015-09-22 2017-07-03 주식회사 스타폴 Flexible dual mode sensing sensor module and electronic suit for augmented reality experience training and entertainment using them
WO2024167173A1 (en) * 2023-02-07 2024-08-15 Samsung Electronics Co., Ltd. Full frame media stabilization in electronic devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248374B1 (en) 1997-11-25 2000-03-15 정선종 Error correction method of tracking error caused by a camera and a tracker`s misalignment in augmented reality system
KR100327120B1 (en) * 1999-12-13 2002-03-13 오길록 Image Registration Method Using 3D Tracker And Computer Vision For Augmented Reality
KR100387901B1 (en) 2001-07-03 2003-06-18 에이알비전 (주) image tracking and insertion system using camera sensors

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9271114B2 (en) 2011-01-17 2016-02-23 Lg Electronics Inc. Augmented reality (AR) target updating method, and terminal and server employing same
WO2012099377A3 (en) * 2011-01-17 2012-12-06 엘지전자 주식회사 Augmented reality (ar) target updating method, and terminal and server employing same
WO2012099377A2 (en) * 2011-01-17 2012-07-26 엘지전자 주식회사 Augmented reality (ar) target updating method, and terminal and server employing same
US9870644B2 (en) 2011-06-14 2018-01-16 Samsung Electronics Co., Ltd. Apparatus and method for image processing
KR101274556B1 (en) * 2011-08-17 2013-06-17 국방과학연구소 The distance measurement system between a real object and a virtual model using aumented reality
KR101338243B1 (en) * 2013-09-03 2013-12-06 국방과학연구소 Military information virtual space system based on web
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
WO2016021997A1 (en) * 2014-08-08 2016-02-11 쿠렌그렉 반 Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
KR20160019980A (en) * 2014-08-11 2016-02-23 주식회사 에스.제이테크 Method for making augmented reality educational contents using panorama videos
JP2019515379A (en) * 2016-04-21 2019-06-06 インターデジタル シーイー パテント ホールディングス Method and apparatus for estimating pose of rendering device
KR20190001728A (en) 2017-06-28 2019-01-07 주식회사 한화 Apparatus and Method for measuring pose based on augmented reality
KR20190005642A (en) * 2017-07-07 2019-01-16 한국전자통신연구원 Method for synthesizing virtual content for augmented reality and apparatus using the same
KR20220074103A (en) * 2020-11-27 2022-06-03 주식회사 소프트그래피 Device and method of image registration for 3d models
CN114026600A (en) * 2021-09-07 2022-02-08 香港应用科技研究院有限公司 Camera calibration method

Also Published As

Publication number Publication date
KR100964951B1 (en) 2010-06-21

Similar Documents

Publication Publication Date Title
KR100964951B1 (en) Augmented reality apparatus for simulation discipline and virtual image composition method
KR100941749B1 (en) Augmented reality apparatus and virtual image composition method
US10366511B2 (en) Method and system for image georegistration
US11423586B2 (en) Augmented reality vision system for tracking and geolocating objects of interest
EP3149698B1 (en) Method and system for image georegistration
You et al. Fusion of vision and gyro tracking for robust augmented reality registration
US7511736B2 (en) Augmented reality navigation system
KR101285360B1 (en) Point of interest displaying apparatus and method for using augmented reality
CN108022302B (en) Stereo display device of Inside-Out space orientation's AR
CN110617814A (en) Monocular vision and inertial sensor integrated remote distance measuring system and method
Hol et al. Sensor fusion for augmented reality
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
EP3642694B1 (en) Augmented reality system and method of displaying an augmented reality image
Oskiper et al. Augmented reality binoculars
Pagani et al. Sensors for location-based augmented reality the example of galileo and egnos
Azuma et al. Performance analysis of an outdoor augmented reality tracking system that relies upon a few mobile beacons
US10388069B2 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN110969706B (en) Augmented reality device, image processing method, system and storage medium thereof
EP3903285B1 (en) Methods and systems for camera 3d pose determination
Foxlin et al. Design and error analysis of a vehicular AR system with auto-harmonization
Nielsen et al. Development and flight test of a robust optical-inertial navigation system using low-cost sensors
Brookshire et al. Military vehicle training with augmented reality
Gat et al. Fusing image data with location and orientation sensor data streams for consumer video applications
Calloway Adaptive Three-Tier Sensor Fusion Model with Application to See-Through Augmented Reality in Urban Environments
Orlandi et al. Spatial-Temporal Calibration for Outdoor Location-Based Augmented Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee