KR101908991B1 - Apparatus for implementing augmented reality - Google Patents

Apparatus for implementing augmented reality Download PDF

Info

Publication number
KR101908991B1
KR101908991B1 KR1020170063117A KR20170063117A KR101908991B1 KR 101908991 B1 KR101908991 B1 KR 101908991B1 KR 1020170063117 A KR1020170063117 A KR 1020170063117A KR 20170063117 A KR20170063117 A KR 20170063117A KR 101908991 B1 KR101908991 B1 KR 101908991B1
Authority
KR
South Korea
Prior art keywords
augmented reality
image
marker
camera
processing unit
Prior art date
Application number
KR1020170063117A
Other languages
Korean (ko)
Inventor
김상덕
Original Assignee
주식회사 엠코코아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠코코아 filed Critical 주식회사 엠코코아
Priority to KR1020170063117A priority Critical patent/KR101908991B1/en
Application granted granted Critical
Publication of KR101908991B1 publication Critical patent/KR101908991B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003—Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

The present invention relates to an apparatus for implementing an augmented reality, which can continuously provide the augmented reality even if a marker disappears in a camera area or only a part of the marker exists in the camera area and the marker is not recognized in the apparatus for implementing the augmented reality based on marker recognition. The apparatus includes a marker processing part; a marker recognition processing part; an augmented reality processing part; and a display part.

Description

증강현실 구현 장치{Apparatus for implementing augmented reality}Apparatus for implementing augmented reality [

본 발명은 증강현실 구현 장치에 관한 것으로, 보다 상세하게는 마커인식을 기반으로 한 증강현실 구현장치에서 마커가 카메라 영역에서 사라지거나 카메라 영역에 일부만 존재하여 마커 인식이 안 되더라도 지속적으로 증강현실을 제공할 수 있는 기술에 관한 것이다.The present invention relates to an augmented reality realization device, and more particularly, to an augmented reality realization device based on a marker recognition, in which an augmented reality is continuously provided even if a marker disappears from a camera area or only a part exists in a camera area, It is about the technology that can be done.

증강현실(AR, Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로 현실과 가상세계를 결합하는 기술이다. 증강현실(AR, Augmented Reality)은 완전한 현실과 약간의 가상현실을 섞어 놓아서‘합성 현실(MR: Mixed Reality)이라고도 한다. 증강현실(AR, Augmented Reality) 구현 기술은 크게, LBS 기반의 위치기반형 증강현실과 마커인식형 증강현실로 분류된다.Augmented Reality (AR) is a technology that combines real and virtual worlds as a field of virtual reality. Augmented Reality (AR) is also called 'mixed reality' (MR) by mixing full reality with some virtual reality. AR (Augmented Reality) implementation technologies are largely classified into LBS-based location-based augmented reality and marker-aware augmented reality.

위치기반형 증강현실 구현 기술은 GPS로 지도상의 나의 위치와 주변에 표시할 정보들을 알아내고 나침반을 이용하여 스마트폰이 어떠한 방향으로 어떤 각도로 카메라를 비추고 있는지 계산하여 카메라 화면 위에 가상의 정보를 표시한다. GPS, 나침반 기능은 스마트폰에 기본적으로 내장되어 있어서 스마트폰 시대가 열리며 증강현실도 주목받기 시작하였다.The location-based augmented reality realization technology is to find out the information to be displayed on the map and my location on the map, compute the direction of the camera in what direction the smartphone uses the compass to display virtual information on the camera screen do. The GPS and compass functions are built in smart phones, so smart phones are era and augmented reality is getting attention.

마커인식형 증강현실 구현 기술은 이미지 인식 기술을 이용하여 실사 이미지에서 사전에 설정된 마커를 인식하고, 인식된 마커와 매핑된 오브젝트 이미지, 예를 들어 가상의 제품이나 캐릭터들을 보여 준다. 마커인식형 증강현실 구현 기술은 게임과 마케팅으로 다양하게 활용되고 있다.The marker recognition type augmented reality realization technology recognizes the preset marker in the real image using the image recognition technology, and displays the recognized marker and the mapped object image, for example, a virtual product or character. Marker-aware augmented reality realization technology is widely used in games and marketing.

그러나 마커인식형 증강현실 구현 기술은 마커가 카메라 영역에서 사라지거나 카메라 영역에 일부만 존재하여 마커 인식이 안 되는 경우에는 지속적인 게임 및 마케팅 서비스를 이어갈 수 없는 문제점이 있다.However, in the case of the marker recognition augmented reality realization technology, if the marker disappears from the camera area or only a part of the marker exists in the camera area, it is not possible to continue the continuous game and marketing service if the marker is not recognized.

한국등록특허 제10-4349347호(등록일 2014.01.02)Korean Registered Patent No. 10-4349347 (Registered on April 1, 2014)

본 발명은 상기와 같은 배경에서 제안된 것으로, 마커인식을 기반으로 한 증강현실 구현장치에서 마커가 카메라 영역에서 사라지거나 카메라 영역에 일부만 존재하여 마커 인식이 안 되더라도 지속적으로 증강현실을 제공할 수 있는 기술을 제공한다.The present invention has been proposed in the above background, and it is an object of the present invention to provide an augmented reality realization device based on marker recognition that can continuously provide an augmented reality even if a marker disappears from a camera area or only a part exists in a camera area, Technology.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 증강현실 구현 장치는, 마커가 있는 경우 마커인식 기반으로 증강현실을 구현하고, 마커가 없는 경우 모션센서 기반으로 증강현실을 구현한다. 본 발명에 따른 증강현실 구현 장치는 마커인식 기반으로 증강현실 구현 시, 카메라를 통해 촬영된 실사 이미지와 실사 이미지 내의 마커 위치추적 기능을 이용하여 증강현실 객체인 오브젝트 이미지를 결정하며, 오브젝트 이미지의 크기는 카메라 렌즈거리를 통해 결정한다.In order to achieve the above object, the apparatus for realizing an augmented reality according to the present invention realizes an augmented reality based on a marker recognition when a marker exists, and an augmented reality based on a motion sensor when there is no marker. The apparatus for realizing an augmented reality according to the present invention determines an object image that is an augmented reality object by using a marker position tracking function in a real image and a real image captured through a camera when implementing an augmented reality based on a marker recognition, Is determined through the camera lens distance.

본 발명에 따른 증강현실 구현 장치는 모션센서 기반으로 증강현실을 구현 시, 마커가 마지막으로 인식된 시점의 카메라부의 위치와 방향 및 각도를 이용하여 모션센서의 기준 센서 좌표계를 설정하고 상기 기준 센서 좌표계와 모션센서 출력값을 이용해 오브젝트 이미지를 결정한다. 본 발명에 따른 증강현실 구현 장치는 사용자가 오브젝트 줌 인(Zoom In)과 줌 아웃(Zoom Out)을 조작할 수 있도록 하는 사용자 인터페이스를 출력하고, 사용자 인터페이스를 통해 입력되는 조작 값에 따라 오브젝트 이미지의 크기를 결정한다.The apparatus for realizing the augmented reality according to the present invention sets the reference sensor coordinate system of the motion sensor using the position, direction and angle of the camera unit at the time when the marker is finally recognized when the augmented reality is implemented based on the motion sensor, And the motion sensor output value to determine the object image. The apparatus for realizing an augmented reality according to the present invention outputs a user interface for allowing a user to manipulate Zoom In and Zoom Out and displays the object image according to an operation value input through a user interface Determine the size.

본 발명에 따른 증강현실 구현 방법은, 카메라부를 통해 입력되는 제1 실사 이미지와 제1 실사 이미지에서 사용자가 선택한 제1 마커 이미지를 저장부에 저장하는 단계와, 제1 실사 이미지를 촬영한 시점에서의 제1 카메라 렌즈거리를 검출하고 기준 영상 좌표계를 설정하는 단계와, 카메라부를 통해 입력되는 제2 실사 이미지에서 제1 마커 이미지와 유사한 제2 마커 이미지의 인식이 가능한지를 판단하는 단계와;A method for realizing an augmented reality according to the present invention includes the steps of storing a first real image input through a camera unit and a first marker image selected by a user in a first real image at a storage unit, Determining whether a second marker image similar to the first marker image is recognizable in the second real image input through the camera unit;

상기 판단결과 긍정이면, 제2 실사 이미지와 제1 실사 이미지를 비교하여 기준 영상 좌표계로부터 변경된 카메라부의 위치를 검출하고, 제2 마커 이미지와 제1 마커 이미지를 비교하여 기준 영상 좌표계로부터 변경된 카메라부의 방향과 각도를 검출하고, 검출된 카메라부의 위치와 방향 및 각도에 대응하는 오브젝트 이미지를 결정하는 단계와, 제2 실사 이미지를 촬영한 시점에서의 제2 카메라 렌즈거리를 검출하고, 검출된 제2 카메라 렌즈거리와 제1 카메라 렌즈거리를 비교하여 오브젝트 이미지의 크기를 결정하고, 마커가 마지막으로 인식된 시점의 카메라부의 위치와 방향 및 각도를 이용하여 모션센서의 기준 센서 좌표계를 설정하고 기준 센서 좌표계와 모션센서 출력값을 이용해 오브젝트 이미지를 결정하는 단계와, 사용자가 오브젝트 이미지의 줌 인(Zoom In)과 줌 아웃(Zoom Out)을 조작할 수 있도록 하는 사용자 인터페이스를 디스플레이하고, 사용자 인터페이스를 통해 입력되는 조작 값에 따라 오브젝트 이미지의 크기를 결정하는 단계를 포함한다.If the result of the determination is affirmative, the position of the camera unit changed from the reference image coordinate system is detected by comparing the second real image and the first real image, and the second marker image is compared with the first marker image, And an object image corresponding to the detected position and direction of the camera unit and an angle of the camera unit; determining a second camera lens distance at the time of photographing the second real image; The size of the object image is determined by comparing the lens distance and the first camera lens distance, and the reference sensor coordinate system of the motion sensor is set using the position, direction, and angle of the camera unit at the time when the marker was last recognized, Determining an object image using the motion sensor output value, Displaying a user interface for manipulating the zoom in and zoom out and determining the size of the object image according to the manipulation value input through the user interface.

상기와 같은 구성에 따르면, 마커인식을 기반으로 한 증강현실 구현장치에서 마커가 카메라 영역에서 사라지거나 카메라 영역에 일부만 존재하여 마커 인식이 안 되더라도 지속적으로 증강현실을 제공할 수 있다.According to the above configuration, the augmented reality realizing device can continuously provide the augmented reality even if the marker disappears from the camera area or only a part of the camera exists in the augmented reality realization device based on the marker recognition.

도 1a는 본 발명에 따른 증강현실 구현 장치(일례로, 스마트폰)에서 책상 위에 놓인 피사체를 촬영하는 실시예를 도시한다.
도 1b는 본 발명에 따른 증강현실 구현 장치(일례로, 스마트폰)에서 책상 위에 놓인 피사체를 90도로 회전시킨 상태에서 촬영하는 실시예를 도시한다.
도 1c는 본 발명에 따른 증강현실 구현 장치(일례로, 스마트폰)에서 책상 위에 놓인 피사체를 도 1a와 다른 각도에서 촬영하는 실시예를 도시한다.
도 2a는 도 1a에서 촬영한 피사체를 도시한다.
도 2b는 도 1b와 도 1c에서 촬영한 피사체를 도시한다.
도 3a는 본 발명에 따른 증강현실 구현 장치에서 마커인식 기반 증강현실 구현 영상 예이다.
도 3b는 본 발명에 따른 증강현실 구현 장치에서 마커인식 불능 시 증강현실 구현 영상 예이다.
도 4 는 본 발명에 따른 증강현실 구현 장치의 구성도이다.
도 5 는 본 발명에 따른 증강현실 구현 방법의 흐름도이다.FIG. 1A shows an embodiment of photographing a subject placed on a desk in an augmented reality realizing device (for example, a smartphone) according to the present invention.
FIG. 1B illustrates an embodiment in which a subject placed on a desk is photographed in an apparatus for realizing an augmented reality (for example, a smartphone) rotated at 90 degrees.
FIG. 1C shows an embodiment in which an object placed on a desk in an apparatus for realizing an augmented reality according to the present invention (for example, a smartphone) is photographed at an angle different from FIG. 1A.
FIG. 2A shows a subject photographed in FIG. 1A.
Fig. 2B shows the subject photographed in Figs. 1B and 1C.
FIG. 3A is an example of a marker-based augmented reality implementation in an augmented reality implementation apparatus according to the present invention.
FIG. 3B is an example of augmented reality image when the marker is not recognized in the apparatus for realizing an augmented reality according to the present invention.
4 is a block diagram of an apparatus for implementing an augmented reality according to the present invention.
5 is a flowchart of a method for implementing an augmented reality according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 증강현실 구현 장치에 대하여 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, a detailed description will be given of an apparatus for realizing an augmented reality according to the present invention with reference to the accompanying drawings.

도 1a 내지 도 1c에 도시한 바와 같이, 본 발명에 따른 증강현실 구현 장치(일례로, 스마트폰)는 별(★)과 원(○)이 인쇄된 피사체(101), 예컨대 일종의 카드를 촬영하여 증강현실을 구현할 수 있다. 도 1b는 도 1a에 도시한 피사체(101)를 90도로 회전시킨 상태에서 본 발명에 따른 증강현실 구현 장치(일례로, 스마트폰)로 피사체(101)를 촬영하는 실시예이고, 도 1c는 도 1a에 도시한 피사체(101) 주위로 본 발명에 따른 증강현실 구현 장치(일례로, 스마트폰)를 90도로 이동시킨 후 피사체(101)를 촬영하는 실시예이다.1A to 1C, an apparatus for realizing an augmented reality according to the present invention (for example, a smart phone) photographs a subject 101 on which a star () and a circle () is printed, An augmented reality can be realized. 1B is an example of photographing a subject 101 with an augmented reality realizing device (for example, a smart phone) according to the present invention in a state where the subject 101 shown in FIG. 1A is rotated by 90 degrees, FIG. 1A, the subject 101 is photographed after moving the augmented reality realizing device (for example, a smart phone) according to the present invention by 90 degrees.

도 2a는 도 1a에서 촬영한 피사체를, 도 2b는 도 1b와 도 1c에서 촬영한 피사체를 도시한다. 도 2b에서 알 수 있듯이, 피사체(101)를 90도로 회전시킨 후 촬영하거나 피사체(101) 주위로 증강현실 구현 장치(일례로, 스마트폰)를 90도로 이동시킨 후 촬영한 경우 동일한 실사 이미지를 획득할 수 있다.FIG. 2A shows a subject photographed in FIG. 1A, and FIG. 2B shows a subject photographed in FIG. 1B and FIG. 1C. 2B, when the subject 101 is rotated 90 degrees and then photographed or the augmented reality realizing device (for example, a smartphone) is moved 90 degrees around the subject 101 and then photographed, the same real image is acquired can do.

도 3a에 도시한 바와 같이, 본 발명에 따른 증강현실 구현 장치는 별(★)과 원(○)이 인쇄된 피사체(101), 예컨대 일종의 카드를 촬영하여 게임과 같은 증강현실을 구현할 수 있다. 또한, 도 3b에 도시한 바와 같이, 본 발명에 따른 증강현실 구현 장치는 별(★)과 원(○)이 인쇄된 피사체(101)가 외부요인에 의해 카메라 촬영범위 내에서 사라지거나 피사체(101) 실물 자체가 없어지더라도 게임과 같은 증강현실을 구현할 수 있다. 역으로, 본 발명에 따른 증강현실 구현 장치는 별(★)과 원(○)이 인쇄된 피사체(101)가 다시 카메라 촬영범위 내에 나타나는 경우 마커기반으로 증강현실을 구현할 수 있다.As shown in FIG. 3A, the apparatus for realizing an augmented reality according to the present invention may implement augmented reality such as a game by shooting a subject 101 on which a star () and a circle () is printed, for example, a card. 3B, the apparatus for realizing an augmented reality according to the present invention may be configured such that a subject 101 on which a star () and a circle () is printed disappears within the camera shooting range due to external factors, ) Even if the real thing disappears, it is possible to realize an augmented reality like a game. Conversely, the augmented reality realizing device according to the present invention can realize an augmented reality based on a marker when a subject 101 on which a star () and a circle () is printed again appears within the camera photographing range.

즉, 본 발명에 따른 증강현실 구현 장치는 마커가 있는 경우 마커인식 기반으로 증강현실을 구현하고, 마커가 없는 경우 모션센서 기반으로 증강현실을 구현한다. 본 발명에 따른 증강현실 구현 장치는 마커인식 기반으로 증강현실 구현 시, 카메라를 통해 촬영된 실사 이미지와 실사 이미지 내의 마커 위치추적 기능을 이용하여 증강현실 객체인 오브젝트 이미지를 결정한다. 오브젝트 이미지의 크기는 카메라 렌즈거리를 통해 결정된다.That is, the augmented reality implementing apparatus according to the present invention implements an augmented reality based on marker recognition when there is a marker, and implements an augmented reality based on a motion sensor when there is no marker. The apparatus for realizing an augmented reality according to the present invention determines an object image, which is an augmented reality object, by using a marker position tracking function in a real image and a real image captured through a camera when implementing an augmented reality based on marker recognition. The size of the object image is determined by the camera lens distance.

본 발명에 따른 증강현실 구현 장치는 모션센서 기반으로 증강현실을 구현 시, 마커가 마지막으로 인식된 시점의 카메라부의 위치와 방향 및 각도를 이용하여 모션센서의 기준 센서 좌표계를 설정하고 상기 기준 센서 좌표계와 모션센서 출력값을 이용해 오브젝트 이미지를 결정한다. 또한, 도 3b에 도시한 바와 같이 본 발명에 따른 증강현실 구현 장치는 사용자가 오브젝트 줌 인(Zoom In)과 줌 아웃(Zoom Out)을 조작할 수 있도록 하는 사용자 인터페이스(312)를 출력하고, 사용자 인터페이스(312)를 통해 입력되는 조작 값에 따라 오브젝트 이미지의 크기를 결정할 수 있다.The apparatus for realizing the augmented reality according to the present invention sets the reference sensor coordinate system of the motion sensor using the position, direction and angle of the camera unit at the time when the marker is finally recognized when the augmented reality is implemented based on the motion sensor, And the motion sensor output value to determine the object image. 3B, the apparatus for realizing an augmented reality according to the present invention outputs a user interface 312 for allowing a user to manipulate an object Zoom In and a Zoom Out, The size of the object image can be determined according to the operation value input through the interface 312. [

본 발명에 따른 증강현실 구현 장치는 도 4 에 도시한 바와 같이, 카메라부(410)와 모션센서(420)와 증강현실 처리장치(430)와 표시부(440)와 저장부(450)를 포함하여 구현된다. 본 발명에 따른 증강현실 구현 장치는 예컨대 스마트폰, 태블릿 PC와 같이 카메라부(410)와 모션센서(420)와 증강현실 처리장치(430)와 표시부(440)와 저장부(450)가 물리적으로 통합된 하나의 기기로 구성될 수 있다.4, the apparatus for realizing an augmented reality according to the present invention includes a camera unit 410, a motion sensor 420, an augmented reality processing apparatus 430, a display unit 440, and a storage unit 450 . The apparatus for realizing an augmented reality according to the present invention is a device for realizing an augmented reality according to the present invention in which a camera unit 410, a motion sensor 420, an augmented reality processing apparatus 430, a display unit 440 and a storage unit 450, It can be composed of one device integrated.

카메라부(410)는 현실 세계에 대한 실사 이미지를 인식하기 위한 장치로, 렌즈체와 촬상부와 데이터 변환부로 구성될 수 있다. 일례로, 렌즈체는 입력되는 피사체의 초점을 조절하는 포커스 렌즈가 고정되며, 그 외측면에 경통 자석이 부착된 경통과, 경통과 슬라이딩 가능하게 결합되되 피사체와 렌즈간의 거리를 조절하는 줌렌즈가 고정되며, 그 외측면에 줌렌즈 자석이 부착된 줌렌즈를 포함하는 경통부와, 경통부가 삽입되어 슬라이딩 가능하도록 형성되며 그 내측에 경통 자석과 대응되게 부착되는 경통 전자석과, 줌렌즈 자석과 대응되게 부착되는 줌렌즈 전자석을 포함하는 렌즈홀더와, 렌즈홀더에 부착되는 경통 전자석에 전류를 공급하는 경통 리드선과, 줌렌즈 전자석에 전류를 공급하는 줌렌즈 리드선을 포함하는 전원 입력 단자를 포함하여 구현될 수 있다.The camera unit 410 is an apparatus for recognizing a real image of a real world, and may be composed of a lens body, an image pickup unit, and a data conversion unit. For example, a lens body has a lens barrel fixed with a focus lens for adjusting the focus of an input subject, a barrel having a barrel magnet attached to its outer surface, a zoom lens coupled to the barrel so as to be slidable, A lens barrel including a zoom lens having a zoom lens magnet attached to its outer surface, a barrel electromagnet formed in such a manner that the lens barrel is inserted and slidable and is attached to the inside of the lens barrel in correspondence with the lens barrel magnet, and a zoom lens electromagnet And a power input terminal including a lens barrel lead wire for supplying current to the barrel electromagnet attached to the lens holder and a zoom lens lead wire for supplying current to the zoom lens electromagnet.

데이터 변환부는 촬상부에서 출력되는 영상 밝기에 비례한 전류 또는 전압을 약간의 처리를 거쳐 디지털 데이터로 변환하고, 이 데이터값을 YUV 형식으로 변환하여 출력한다. 또다른 실시예에 있어서, 데이터 변환부는 주지된 카메라 모듈에 있어서와 같이, 촬영된 영상을 JPEG 포맷으로 압축하거나 MPEG포맷으로 압축하는 코덱을 더 포함할 수 있다.The data conversion unit converts the current or voltage proportional to the image brightness output from the image pickup unit into digital data through a slight process, converts the data value into a YUV format, and outputs the digital data. In another embodiment, the data conversion unit may further include a codec for compressing the photographed image into the JPEG format or the MPEG format, as in the well-known camera module.

모션센서(420)는 X축, Y축, Z축의 한 축을 기준으로 단위 시간에 증강현실 구현 장치의 움직임에 따라 회전한 각도 값을 출력하는 자이로센서와, 자이로센서 일측에 위치되어, X축, Y축, Z축의 축별 직선 운동에 대해 가속도 값을 출력하는 가속도센서를 포함하여 구현될 수 있다.The motion sensor 420 includes a gyro sensor for outputting an angle value rotated in accordance with the motion of the augmented reality realizing device in units of time based on one axis of the X axis, Y axis, and Z axis, a gyro sensor disposed at one side of the gyro sensor, And an acceleration sensor for outputting an acceleration value with respect to a linear motion of the Y-axis and the Z-axis.

증강현실 처리장치(430)는 카메라부(410)를 통해 촬영되는 현실 세계의 실사 이미지에 가상의 오브젝트를 추가하여 증강현실을 구현한다. 증강현실 처리장치(430)는 도 1에 도시한 바와 같이, 게임 처리부(431)와 마커 처리부(432)와 마커 인식 처리부(433)와 증강현실 처리부(434)를 포함하여 구현될 수 있다.The augmented reality processing device 430 implements the augmented reality by adding a virtual object to the real image of the real world photographed through the camera unit 410. [ The augmented reality processing apparatus 430 may be implemented by including a game processing unit 431, a marker processing unit 432, a marker recognition processing unit 433, and an augmented reality processing unit 434, as shown in Fig.

게임 처리부(431)는 저장부(450)에 저장된 증강현실 게임 앱(451)을 실행하며, 사용자가 선택한 게임 캐릭터와 스킬(skill)과 마커 이미지를 이용하여 증강현실 게임을 진행하는 게임 진행 처리부(4311)와 게임 진행 결과를 처리하는 게임 결과 처리부(4312)를 포함한다.The game processing unit 431 executes the augmented reality game application 451 stored in the storage unit 450 and executes a game progress process unit And a game result processing unit 4312 for processing the game progress result.

마커 처리부(432)는 카메라부(410)를 통해 입력되는 제1 실사 이미지에서 사용자가 선택한 이미지를 제1 마커 이미지로 저장부(450)에 저장한다. 일례로, 마커 처리부(432)는 제1 실사 이미지에서 제1 마커를 선택할 수 있도록 안내하는 창을 표시부(440)에 표시할 수 있다. 마커 처리부(432)는 제1 실사 이미지를 촬영한 시점에서의 제1 카메라 렌즈거리를 검출하고 기준 영상 좌표계(xc, yc , zc)를 설정한다. 도 1a 내지 도 1c에서 사용자는 피사체(101)에 인쇄된 별(★)을 마커로 선택하면, 본 발명에 따른 증강현실 구현 장치는 별(★)을 마커로 저장할 수 있다.The marker processing unit 432 stores the image selected by the user in the first real image input through the camera unit 410 into the storage unit 450 as the first marker image. For example, the marker processing unit 432 may display on the display unit 440 a window that guides the user to select the first marker in the first real image. The marker processing unit 432 detects the first camera lens distance at the time of photographing the first real image and sets the reference image coordinate system (x c , y c , z c ). In FIGS. 1A to 1C, if a user selects a star (★) printed on the subject 101 as a marker, the augmented reality implementing apparatus according to the present invention can store a star (★) as a marker.

마커 인식 처리부(433)는 카메라부(410)를 통해 입력되는 제2 실사 이미지에서 미리 등록된 제1 마커 이미지와 유사한 제2 마커 이미지가 포함되어 있는지를 검출하고, 검출된 제2 마커 이미지와 미리 등록된 제1 마커 이미지를 비교하여 검출된 제2 마커 이미지를 등록된 제1 마커 이미지로 인식할 수 있는지 판단한다. 마커 인식 처리부(433)는 일례로, 다각형 도형의 코너 점들을 찾는 코너 검출(Corner Detection) 기술을 이용하여 마커 이미지를 인식할 수 있다. 마커 인식 처리부(433)는 판단결과 긍정이면 검출된 제2 마커 이미지를 출력하고, 판단결과 부정이면 마커 인식불능정보를 출력한다.The marker recognition processing unit 433 detects whether or not a second marker image similar to the first marker image registered in advance in the second real image input through the camera unit 410 is included, And compares the registered first marker image to determine whether the detected second marker image can be recognized as the registered first marker image. The marker recognition processing unit 433 can recognize a marker image using a corner detection technique for finding corner points of a polygonal graphic. The marker recognition processing unit 433 outputs the detected second marker image if the determination result is affirmative, and outputs the marker non-recognition information if the determination result is negative.

증강현실 처리부(434)는 마커 인식 처리부(433)로부터 마커 인식가능정보가 입력되면 기준 영상 좌표계(xc, yc , zc)로부터 변경된 카메라부(410)의 위치와 방향과 각도를 검출하고, 상기 검출된 카메라부(410)의 위치와 방향 및 각도에 대응하는 오브젝트 이미지를 결정한다. 또한, 증강현실 처리부(434)는 제2 실사 이미지를 촬영한 시점에서의 제2 카메라 렌즈거리를 검출하고 상기 검출된 제2 카메라 렌즈거리와 제1 카메라 렌즈거리를 비교하여 오브젝트 이미지의 크기를 결정한다.AR processing unit 434 detects the position and the direction and angle of a modified camera unit 410 from the marker recognition processing unit 433, a marker recognizable information based on the image coordinate system (x c, y c, z c) when the input from the , And determines an object image corresponding to the position, direction, and angle of the detected camera unit 410. The augmented reality processing unit 434 detects the second camera lens distance at the time of photographing the second real image and compares the detected second camera lens distance and the first camera lens distance to determine the size of the object image do.

증강현실 처리부(434)는 제2 실사 이미지와 제1 실사 이미지를 비교하여 실사 이미지에 포함된 마커의 위치가 얼마만큼 변했는지를 판단한다. 증강현실 처리부(434)는 마커의 위치 변화를 카메라부(410)의 위치 변화로 인식하도록 구현된다. 증강현실 처리부(434)는 제2 마커 이미지와 제1 마커 이미지를 비교하여 카메라부(410)의 방향 및 각도의 변화를 검출하도록 구현된다. 증강현실 처리부(434)는 결정된 크기, 위치 및 방향에 대응하는 오브젝트 이미지와 실사 이미지를 결합하여 증강현실 이미지를 생성한다.The augmented reality processing unit 434 compares the second real image and the first real image to determine how much the position of the marker included in the real image has changed. The augmented reality processing unit 434 is implemented to recognize a change in the position of the marker as a change in the position of the camera unit 410. [ The augmented reality processing unit 434 is configured to compare the second marker image with the first marker image to detect a change in the direction and angle of the camera unit 410. [ The augmented reality processing unit 434 generates an augmented reality image by combining the object image and the real image corresponding to the determined size, position, and direction.

증강현실 처리부(434)는 마커 인식 처리부(433)로부터 마커 인식불능정보가 입력되면 마커 이미지가 최종 인식된 시점의 오브젝트 이미지의 크기, 위치 및 방향을 이용해 기준점을 설정한다.The augmented reality processing unit 434 sets a reference point by using the size, position, and direction of the object image at the time point when the marker recognition disabled information is input from the marker recognition processing unit 433.

일례로, 증강현실 처리부(434)는 마커 인식 처리부(433)로부터 마커 인식불능정보가 입력되면 마커가 마지막으로 인식된 시점의 카메라부의 위치와 방향 및 각도를 이용하여 모션센서의 기준 센서 좌표계를 설정하고 상기 기준 센서 좌표계와 모션센서 출력값을 이용해 오브젝트 이미지를 결정한다. 또한, 증강현실 처리부(434)는 사용자가 오브젝트 줌 인(Zoom In)과 줌 아웃(Zoom Out)을 조작할 수 있도록 하는 사용자 인터페이스를 표시부(440)에 디스플레이하도록 구현될 수 있다. 증강현실 처리부(434)는 사용자 인터페이스를 통해 입력되는 조작 값에 따라 오브젝트 이미지의 크기를 결정한다. For example, if the marker recognition disabled information is input from the marker recognition processing unit 433, the augmented reality processing unit 434 sets the reference sensor coordinate system of the motion sensor by using the position, direction and angle of the camera unit at the time when the marker was last recognized And determines the object image using the reference sensor coordinate system and the motion sensor output value. The augmented reality processing unit 434 may be implemented to display on the display unit 440 a user interface that allows the user to manipulate the Zoom In and Zoom Out operations. The augmented reality processing unit 434 determines the size of the object image according to the operation value input through the user interface.

증강현실 처리부(434)는 설정된 기준점과 모션센서 출력값을 이용해 오브젝트 이미지의 위치 및 방향을 결정하고, 결정된 위치 및 방향에 대응하는 오브젝트 이미지와 실사 이미지를 결합하여 증강현실 이미지를 생성한다.The augmented reality processing unit 434 determines the position and direction of the object image using the set reference point and the motion sensor output value, and generates an augmented reality image by combining the object image and the real image corresponding to the determined position and direction.

표시부(440)는 증강현실 처리부(434)에서 생성된 증강현실 이미지, 게임 처리부(431)의 동작 중에 발생하는 상태 정보, 사용자 인터페이스, 제한된 숫자와 문자들, 동화상(moving picture) 및 정화상(still picture) 등을 디스플레이한다. 또한, 표시부(440)는 카메라부(420)를 통해 수신되는 영상을 디스플레이한다.The display unit 440 displays the augmented reality image generated by the augmented reality processing unit 434, state information generated during the operation of the game processing unit 431, a user interface, limited numbers and characters, moving picture, picture and the like. In addition, the display unit 440 displays an image received through the camera unit 420.

저장부(450)는 증강현실 처리장치(430)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 데이터(텍스트, 이미지 파일, 동영상 등)를 저장한다. 예컨대 저장부(450)는 증강현실 게임 앱(451), 오브젝트 및 오브젝트 속성정보를 저장한 오브젝트 DB(452)를 저장한다.The storage unit 450 stores an operating system, an application program, and data (text, image files, moving pictures, etc.) for controlling the overall operation of the augmented reality processing device 430. For example, the storage unit 450 stores an augmented reality game app 451, and an object DB 452 that stores object and object attribute information.

본 발명에 따른 증강현실 구현 장치에서 실행되는 증강현실 구현 방법은 도 5 에 도시한 바와 같이, 먼저, 사용자 조작에 따라 저장부에 저장된 증강현실 게임 앱을 실행한다(S511). 이후, 증강현실 게임 앱을 통해 게임을 시작하기 전에 사용자 조작에 따라 선택된 게임 캐릭터를 인식한다(S512). 단계 S512에서 사용자는 게임 캐릭터가 사용할 수 있는 스킬(skill)을 선택할 수 있다.As shown in FIG. 5, an augmented reality implementation method executed in the augmented reality implementation apparatus according to the present invention first executes an augmented reality game application stored in a storage unit according to a user operation (S511). Then, before starting the game through the augmented reality game app, the game character selected according to the user's operation is recognized (S512). In step S512, the user can select a skill that the game character can use.

이후, 사용자 조작에 따라 카메라부에서 촬영된 현실 세계의 실사 이미지를 디스플레이한다. 본 발명에 따른 증강현실 구현 장치는 사용자 조작에 따라 카메라부를 통해 입력되는 제1 실사 이미지에서 사용자가 선택한 이미지를 제1 마커 이미지로 저장부에 저장한다(S513). 일례로 제1 마커는 명함, 종이컵 등과 같은 물건에 포함된 특정 이미지일 수 있다. Thereafter, a real image of the real world photographed by the camera unit is displayed according to a user operation. The apparatus for realizing an augmented reality according to the present invention stores an image selected by a user in a first real image input through a camera unit in a storage unit as a first marker image in operation S513. For example, the first marker may be a specific image included in an object such as a business card, a paper cup, and the like.

단계 S513에서 본 발명에 따른 증강현실 구현 장치에서 실행되는 증강현실 구현 방법은 제1 실사 이미지에서 제1 마커를 선택할 수 있도록 안내하는 창을 표시할 수 있다. 본 발명에 따른 증강현실 구현 장치에서 실행되는 증강현실 구현 방법은 제1 실사 이미지를 촬영한 시점에서의 제1 카메라 렌즈거리를 검출하고 기준 영상 좌표계(xc, yc , zc)를 설정한다. The augmented reality implementing method executed in the augmented reality implementing apparatus according to the present invention may display a window for guiding the first marker to be selected in the first real image at step S513. AR implemented method executed in augmented reality implementation apparatus according to the present invention sets the first detecting a first camera lens distance at the time of photographing the first inspection image and the reference image coordinate system (x c, y c, z c) .

본 발명에 따른 증강현실 구현 장치는 마커가 인식되면 증강현실 게임을 시작한다(S514). 본 발명에 따른 증강현실 구현 장치는 증강현실 게임의 진행과 결과를 처리한다.When the marker is recognized, the apparatus for realizing the augmented reality according to the present invention starts the augmented reality game (S514). The apparatus for realizing the augmented reality according to the present invention processes progress and results of the augmented reality game.

본 발명에 따른 증강현실 구현 장치는 카메라부를 통해 제2 실사 이미지를 수신하여(S515) 제2 실사 이미지에 제1 마커 이미지와 유사한 제2 마커 이미지가 포함되어 있는지를 검출한다(S516).The apparatus for realizing an augmented reality according to the present invention receives a second real image through a camera unit (S515) and detects whether a second marker image similar to the first marker image is included in the second real image (S516).

본 발명에 따른 증강현실 구현 장치는 검출된 제2 마커 이미지와 등록된 제1 마커 이미지를 비교하여 검출된 제2 마커 이미지를 등록된 제1 마커 이미지로 인식할 수 있는지를 판단한다(S517).The apparatus for realizing an augmented reality according to the present invention compares a detected second marker image with a registered first marker image to determine whether the detected second marker image can be recognized as a registered first marker image (S517).

단계 S517에서, 본 발명에 따른 증강현실 구현 장치는 제1 마커 이미지와 유사한 제2 마커 이미지가 포함되어 있는 경우, 제2 마커 이미지가 제1 마커로 인식 가능한지를 판단한다. 또한, 카메라부를 통해 입력되는 제2 실사 이미지에 제1 마커 이미지와 유사한 제2 마커 이미지가 포함되어 있지 않거나, 제1 마커 이미지와 유사한 제2 마커 이미지로 판단하기에 정보가 부족한지를 판단한다.In step S517, if the second marker image similar to the first marker image is included, the augmented reality implementing apparatus according to the present invention determines whether the second marker image is recognizable as the first marker. In addition, it is determined whether the second actual image input through the camera unit includes a second marker image similar to the first marker image, or is insufficient to determine the second marker image as a second marker image similar to the first marker image.

단계 S517의 판단결과 긍정이면 제2 실사 이미지와 제1 실사 이미지를 비교하여 기준 영상 좌표계(xc, yc , zc)로부터 변경된 카메라부의 위치를 검출하고, 제2 마커 이미지와 제1 마커 이미지를 비교하여 기준 영상 좌표계(xc, yc , zc)로부터 변경된 카메라부의 방향과 각도를 검출한다(S518). 이후, 검출된 카메라부의 위치와 방향 및 각도에 대응하는 오브젝트 이미지를 결정한다(S519). 이후 제2 실사 이미지를 촬영한 시점에서의 제2 카메라 렌즈거리를 검출하고, 상기 검출된 제2 카메라 렌즈거리에 대응하는 오브젝트 이미지의 크기를 결정한다(S520).If the discrimination result in the step S517 affirmative second inspection images from the first inspection comparing the images to detect a positional change camera portion from the reference image coordinate system (x c, y c, z c), the second marker image of the first marker image a comparison to detect the direction and angle of the camera portion is changed from the reference image coordinate system (x c, y c, z c) (S518). Then, an object image corresponding to the detected position, direction, and angle of the camera unit is determined (S519). Thereafter, the second camera lens distance at the time of photographing the second real image is detected, and the size of the object image corresponding to the detected second camera lens distance is determined (S520).

단계 S517의 판단결과 부정이면 마커가 마지막으로 인식된 시점의 카메라부의 위치와 방향 및 각도를 이용하여 모션센서의 기준 센서 좌표계를 설정한다(S521). 이후 설정된 기준 센서 좌표계와 모션센서 출력값을 이용해 오브젝트 이미지를 결정한다(S522). 본 발명에 따른 증강현실 구현 장치는 사용자가 오브젝트 이미지의 줌 인(Zoom In)과 줌 아웃(Zoom Out)을 조작할 수 있도록 하는 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스를 통해 입력되는 조작 값에 따라 오브젝트 이미지의 크기를 결정한다(S523).If the determination in step S517 is NO, the reference sensor coordinate system of the motion sensor is set using the position, direction, and angle of the camera unit at the time when the marker was last recognized (S521). The object image is determined using the reference sensor coordinate system and the motion sensor output value (S522). The apparatus for realizing an augmented reality according to the present invention displays a user interface for allowing a user to operate a zoom in and zoom out of an object image, The size of the object image is determined (S523).

이후, 단계 S520 또는 단계 523에서 결정된 크기, 위치 및 방향에 대응하는 오브젝트 이미지와 실사 이미지를 결합하여 증강현실 이미지를 생성하고(S524) 이를 디스플레이한다(S525).Thereafter, an augmented reality image is generated by combining the object image and the real image corresponding to the size, position, and direction determined in step S520 or step 523 (S524) and displayed (S525).

지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 본 발명의 실시예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위에 의해서만 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the scope of the invention as defined by the appended claims. Accordingly, the true scope of the present invention should be determined only by the appended claims.

Claims (4)

마커인식을 기반으로 한 증강현실 구현장치에서 마커가 카메라 영역에서 사라지거나 카메라 영역에 일부만 존재하여 마커 인식이 안 되더라도 지속적으로 증강현실을 제공하는 증강현실 구현 장치로서,
카메라부를 통해 입력되는 제1 실사 이미지에서 사용자가 선택한 이미지를 제1 마커 이미지로 저장부에 저장하고, 상기 제1 실사 이미지를 촬영한 시점에서의 제1 카메라 렌즈거리를 검출하고 기준 영상 좌표계를 설정하는 마커 처리부와;
상기 카메라부를 통해 입력되는 제2 실사 이미지에서 상기 제1 마커 이미지와 유사한 제2 마커 이미지의 인식이 가능한지를 판단하고 판단결과를 출력하는 마커 인식 처리부와;
상기 마커 인식 처리부로부터 마커 인식가능정보가 입력되면 상기 제2 실사 이미지와 제1 실사 이미지를 비교하여 상기 기준 영상 좌표계로부터 변경된 카메라부의 위치와 상기 제2 마커 이미지와 제1 마커 이미지를 비교하여 상기 기준 영상 좌표계로부터 변경된 카메라부의 방향과 각도를 검출하고, 상기 검출된 카메라부의 위치와 방향 및 각도에 대응하는 오브젝트 이미지를 결정하고,
상기 제2 실사 이미지를 촬영한 시점에서의 제2 카메라 렌즈거리를 검출하고 상기 검출된 제2 카메라 렌즈거리와 제1 카메라 렌즈거리를 비교하여 상기 오브젝트 이미지의 크기를 결정하고,
상기 마커 인식 처리부로부터 마커 인식불능정보가 입력되면 마커가 마지막으로 인식된 시점의 카메라부의 위치와 방향 및 각도를 이용하여 모션센서의 기준 센서 좌표계를 설정하고 상기 기준 센서 좌표계와 모션센서 출력값을 이용해 오브젝트 이미지를 결정하고,
사용자가 오브젝트 줌 인(Zoom In)과 줌 아웃(Zoom Out)을 조작할 수 있도록 하는 사용자 인터페이스를 표시부로 출력하고, 상기 사용자 인터페이스를 통해 입력되는 조작 값에 따라 상기 오브젝트 이미지의 크기를 결정하고,
상기 결정된 오브젝트 이미지와 실사 이미지를 결합하여 증강현실 이미지를 생성하는 증강현실 처리부와;
상기 증강현실 처리부에서 생성된 증강현실 이미지를 표시하는 표시부;
를 포함하는 증강현실 구현 장치.An augmented reality realization device that continuously provides an augmented reality even if a marker disappears from a camera area or a part of the camera exists in a camera area and a marker is not recognized,
A first marker image stored in the storage unit as an image selected by the user in the first real image input through the camera unit, detects a first camera lens distance at the time of photographing the first real image, sets a reference image coordinate system A marker processing unit;
A marker recognition processor for determining whether a second marker image similar to the first marker image is recognizable in a second real image input through the camera and outputting a determination result;
When the marker recognizable information is input from the marker recognition processing unit, the second real image and the first real image are compared to compare the position of the camera unit changed from the reference image coordinate system with the second marker image and the first marker image, Detects a direction and an angle of the changed camera unit from the image coordinate system, determines an object image corresponding to the position, direction, and angle of the detected camera unit,
Determining a second camera lens distance at the time of photographing the second real image, comparing the detected second camera lens distance and the first camera lens distance to determine the size of the object image,
When the marker recognition disabled information is input from the marker recognition processing unit, the reference sensor coordinate system of the motion sensor is set by using the position, direction, and angle of the camera unit at the time when the marker was last recognized and the reference object coordinate system is set using the reference sensor coordinate system and the motion sensor output value Determine the image,
A user interface that allows the user to manipulate object zooming in and zooming out is displayed on a display unit, the size of the object image is determined according to an operation value input through the user interface,
An augmented reality processing unit for generating an augmented reality image by combining the determined object image and a real image;
A display unit for displaying the augmented reality image generated by the augmented reality processing unit;
And an antenna for realizing the augmented reality. 청구항 1 에 있어서,
상기 모션센서는,
X축, Y축, Z축의 한 축을 기준으로 단위 시간에 증강현실 구현 장치의 움직임에 따라 회전한 각도의 값을 출력하는 자이로센서와,
상기 자이로센서 일측에 위치되어, X축, Y축, Z축의 축별 직선 운동에 대해 가속도 값을 출력하는 가속도센서를 포함하는 것,
을 특징으로 하는 증강현실 구현 장치.The method according to claim 1,
The motion sensor includes:
A gyro sensor for outputting a value of an angle rotated according to a motion of the augmented reality realizing device in unit time based on one axis of the X axis, the Y axis, and the Z axis;
And an acceleration sensor which is located at one side of the gyro sensor and outputs an acceleration value for a linear motion of the X axis, the Y axis, and the Z axis,
Wherein the augmented reality realizing device comprises: 청구항 1 에 있어서,
상기 증강현실 처리부는,
증강현실 게임 앱, 오브젝트 및 오브젝트 속성정보를 저장하는 저장부와;
상기 저장부에 저장된 증강현실 게임 앱을 실행하며, 사용자가 선택한 게임 캐릭터와 스킬(skill)과 마커 이미지를 이용하여 증강현실 게임을 진행하는 게임 진행 처리부와 게임 진행 결과를 처리하는 게임 결과 처리부를 포함하는 게임 처리부;
를 더 포함하는 것을 특징으로 하는 증강현실 구현 장치.The method according to claim 1,
The augmented reality processing unit includes:
A storage unit for storing augmented reality game app, object and object attribute information;
A game progress processing unit for executing the augmented reality game app stored in the storage unit and proceeding with the augmented reality game using the game character selected by the user, the skill and the marker image, and a game result processing unit for processing the game progress result A game processing unit;
Further comprising: a memory for storing the augmented reality information. 삭제delete
KR1020170063117A 2017-05-22 2017-05-22 Apparatus for implementing augmented reality KR101908991B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170063117A KR101908991B1 (en) 2017-05-22 2017-05-22 Apparatus for implementing augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063117A KR101908991B1 (en) 2017-05-22 2017-05-22 Apparatus for implementing augmented reality

Publications (1)

Publication Number Publication Date
KR101908991B1 true KR101908991B1 (en) 2018-12-19

Family

ID=65009147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063117A KR101908991B1 (en) 2017-05-22 2017-05-22 Apparatus for implementing augmented reality

Country Status (1)

Country Link
KR (1) KR101908991B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220020010A (en) * 2020-08-11 2022-02-18 김동욱 Apparatus for providing service of purchasing product and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101056418B1 (en) * 2011-03-31 2011-08-11 주식회사 맥스트 Apparatus and method for tracking augmented reality contents using mobile sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101056418B1 (en) * 2011-03-31 2011-08-11 주식회사 맥스트 Apparatus and method for tracking augmented reality contents using mobile sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220020010A (en) * 2020-08-11 2022-02-18 김동욱 Apparatus for providing service of purchasing product and method thereof
KR102443299B1 (en) * 2020-08-11 2022-09-14 김동욱 Apparatus for providing service of purchasing product and method thereof

Similar Documents

Publication Publication Date Title
US11836883B2 (en) Display control device, display control method, and recording medium
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US11188187B2 (en) Information processing apparatus, information processing method, and recording medium
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
WO2019101021A1 (en) Image recognition method, apparatus, and electronic device
US10198867B2 (en) Display control device, display control method, and program
EP3779883A1 (en) Method and device for repositioning in camera orientation tracking process, and storage medium
US11636644B2 (en) Output of virtual content
JP2021511728A (en) How to display additional objects and their devices, computer devices and storage media
EP3813014A1 (en) Camera localization method and apparatus, and terminal and storage medium
CN108830186B (en) Text image content extraction method, device, equipment and storage medium
CN109413399B (en) Apparatus for synthesizing object using depth map and method thereof
CN112991553B (en) Information display method and device, electronic equipment and storage medium
CN106603901A (en) Method and device used for scene matching
US20230047514A1 (en) Method and apparatus for detection and tracking, and storage medium
KR101908991B1 (en) Apparatus for implementing augmented reality
CN109934168B (en) Face image mapping method and device
JP6663491B2 (en) Image processing apparatus, image processing program, and recording medium
CN114600162A (en) Scene lock mode for capturing camera images
CN109949212B (en) Image mapping method, device, electronic equipment and storage medium
JP2017167611A (en) Terminal device, data processing system, and program
KR20170058517A (en) Photo zone photographing apparatus using Augmented Reality
CN117459827A (en) Shooting method and electronic equipment