KR20180076188A - Method for embodiment of augmented reality using marker and Voice Recognition - Google Patents

Method for embodiment of augmented reality using marker and Voice Recognition Download PDF

Info

Publication number
KR20180076188A
KR20180076188A KR1020160180367A KR20160180367A KR20180076188A KR 20180076188 A KR20180076188 A KR 20180076188A KR 1020160180367 A KR1020160180367 A KR 1020160180367A KR 20160180367 A KR20160180367 A KR 20160180367A KR 20180076188 A KR20180076188 A KR 20180076188A
Authority
KR
South Korea
Prior art keywords
augmented reality
image
marker
display
virtual
Prior art date
Application number
KR1020160180367A
Other languages
Korean (ko)
Inventor
이준돈
Original Assignee
엔티지(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔티지(주) filed Critical 엔티지(주)
Priority to KR1020160180367A priority Critical patent/KR20180076188A/en
Publication of KR20180076188A publication Critical patent/KR20180076188A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32352—Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a method for implementing an augmented reality using a marker and voice recognition. According to an aspect of the present invention, the method for implementing an augmented reality executed in an augmented reality device including a camera, a display, and a voice input means, comprises the steps of: (a) receiving an image through a camera, wherein the received image includes an image of an object and a marker for implementing an augmented reality; (b) extracting and recognizing the marker included in the received image; (c) outputting an augmented reality image on a display by synthesizing a virtual image corresponding to the marker with the image of the object; (d) receiving a voice command generated by a user through a voice input means; and (e) outputting the augmented reality image on the display by synthesizing the virtual image which has been modified in response to an image of the marker, which has been modified by the voice command, with the image of the object.

Description

마커와 음성인식을 이용한 증강현실 구현 방법 {Method for embodiment of augmented reality using marker and Voice Recognition}Field of the Invention < RTI ID = 0.0 > [0002] < / RTI > A method for implementing augmented reality using a marker and speech recognition,

본 발명은 마커와 음성인식을 이용한 증강현실 구현 방법에 관한 것으로서, 더욱 상세하게는, 증강현실 장치에서 인식된 영상에 포함된 마커를 이용하여 디스플레이 상에 증강현실을 구현하되, 음성명령을 인식하여 마커가 확장적으로 인식되도록 구성하여, 증강현실 영상의 구현을 더욱 확장적으로 실행할 수 있도록 구성된 마커를 이용한 증강현실 구현 방법 및 그 기록매체에 관한 것이다. The present invention relates to a method of realizing an augmented reality using a marker and voice recognition, and more particularly, to a method of realizing an augmented reality on a display using markers included in an image recognized by an augmented reality device, The present invention relates to a method of realizing an augmented reality using a marker configured to be able to more extensively implement an augmented reality image, and a recording medium thereof.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality, 增强現實)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다. Augmented Reality (Augmented Reality) is a technology that superimposes a virtual object on the real world seen by the user. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time and displays it as one image.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. Unlike the virtual reality technology, which consists of a virtual environment only, the augmented reality technology provides a mixed reality environment and a virtual object so that the user can see the real environment and provide better reality and additional information.

증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, manufacturing process management. In particular, smartphones have become popular in the commercialization stage in recent years, and various products are being developed in the game and mobile solution industry and education field.

예를 들어, 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 안내 서비스 등은 이미 상업적 서비스로 운영되고 있다. For example, a guide service for displaying information such as the location of a shop nearby, a telephone number, and the like in a stereoscopic image is operated as a commercial service when the user is illuminated by a smartphone camera.

한편, 증강현실의 구현에 있어서 중요한 기술적 과제로서, 실제 환경과 가상의 객체가 시간적 및 공간적으로 정확하게 정합된 영상이 구현되어야 하는 점이 중요하다. On the other hand, as an important technical problem in the realization of the augmented reality, it is important that an image in which a real environment and a virtual object are accurately matched temporally and spatially is important.

이러한 영상 정합을 위해서, 기존에는 현실환경의 객체와 함께 인식될 수 있는 다양한 형태의 마커가 사용되었다. 이러한 마커는 인위적으로 제작 또는 생성된 마커를 현실환경의 객체에 부착 또는 인쇄하거나, 영상 인식이 가능한 객체 자체의 특징점을 마커로서 미리 등록하는 등의 방식으로 제공되었다. For this image matching, various types of markers which can be recognized with objects of real environment have been used. These markers are provided by attaching or printing an artificially created or generated marker to an object in a real environment, or registering a feature point of the object itself capable of image recognition as a marker in advance.

그런데, 증강현실을 이용한 서비스가 다양하게 진화되면서, 더욱 풍부한 증강현실 영상을 구현하기 위한 마커의 표현 및 인식 기술의 개발이 절실하게 요청되는 상황이었다. However, as the services using the augmented reality have evolved variously, it has been urgently required to develop a marker representation and recognition technology for realizing a rich augmented reality image.

본 발명은 마커와 음성인식을 이용한 증강현실 구현 방법에 관한 것으로서, 더욱 상세하게는, 증강현실 장치에서 인식된 영상에 포함된 마커를 이용하여 디스플레이 상에 증강현실을 구현하되, 음성명령을 인식하여 마커가 확장적으로 인식되도록 구성하여, 증강현실 영상의 구현을 더욱 확장적으로 실행할 수 있도록 구성된 마커와 음성인식을 이용한 증강현실 구현 방법에 관한 것이다. The present invention relates to a method of realizing an augmented reality using a marker and voice recognition, and more particularly, to a method of realizing an augmented reality on a display using markers included in an image recognized by an augmented reality device, And more particularly, to a method for realizing an augmented reality using a marker and a speech recognition.

본 발명의 일측면에 따르면, 카메라와 디스플레이, 음성입력수단을 구비한 증강현실 장치에서 실행되는 증강현실 구현 방법으로서, (a) 상기 카메라를 통해 영상을 입력받는 단계- 상기 입력된 영상에는 객체의 영상과 증강현실 구현을 위한 마커가 포함됨-; (b) 입력된 영상에 포함된 마커를 추출하여 인식하는 단계; (c) 상기 마커에 대응하는 가상 영상을 상기 객체의 영상과 합성하여 증강현실 영상을 디스플레이에 출력하는 단계; (d) 상기 음성입력수단을 통해 사용자가 생성한 음성명령을 입력받는 단계; (e) 음성명령에 의해 변형 조작이 이뤄진 상기 마커의 영상에 대응하여 변형 조작이 이뤄진 가상 영상을 상기 객체의 영상과 합성하여 증강현실 영상을 디스플레이에 출력하는 단계;를 포함하여 구성된 마커와 음성인식을 이용한 증강현실 구현 방법이 개시된다. According to an aspect of the present invention, there is provided a method of realizing an augmented reality performed in an augmented reality apparatus having a camera, a display, and a voice input means, the method comprising: (a) receiving an image through the camera; Includes markers for visual and augmented reality implementations; (b) extracting and recognizing a marker included in the input image; (c) synthesizing a virtual image corresponding to the marker with an image of the object, and outputting the augmented reality image to a display; (d) receiving a voice command generated by a user through the voice input means; (e) synthesizing a virtual image in which a deformation operation is performed corresponding to an image of the marker in which a deformation operation has been performed by a voice command, with an image of the object, and outputting the augmented reality image to a display; A method of realizing an augmented reality using the method is disclosed.

바람직하게, 상기 (d) 단계에서, 음성명령에 의한 변형 조작은 사용자가 2 이상의 음성명령을 미리 설정된 시간 동안 연속적으로 생성하여 입력하는 방식으로 이뤄지는 것을 특징으로 한다. Preferably, in the step (d), the deformation operation by the voice command is performed by a user continuously generating and inputting two or more voice commands for a preset time.

이와 같은 본 발명은, 증강현실 장치에서 인식된 영상에 포함된 마커를 이용하여 디스플레이 상에 증강현실을 구현하되, 음성명령을 인식하여 마커가 확장적으로 인식되도록 구성하여, 증강현실 영상의 구현을 더욱 확장적으로 실행할 수 있다는 장점을 제공한다. According to the present invention, an augmented reality is implemented on a display by using a marker included in an image recognized by an augmented reality device, a marker is recognized to be recognized extensively by recognizing a voice command, And can be executed more extensively.

도 1은 본 발명의 일실시예에 따른 마커를 이용한 증강현실 구현 시스템의 전체 구성도,
도 2는 본 발명의 일실시예에 따른 증강현실 장치의 구성도,
도 3은 본 발명의 일실시예에 따른 증강현실 서버의 구성도,
도 4는 본 발명의 또 다른 실시예에 따른 증강현실 장치의 구성도,
도 5는 본 발명의 또 다른 실시예에 따른 마커를 이용한 증강현실 구현 시스템의 전체 구성도,
도 6은 본 발명의 또 다른 실시예에 따른 증강현실 장치의 구성도,
도 7은 본 발명의 또 다른 실시예에 따른 증강현실 서버의 구성도,
도 8은 본 발명의 일실시예에 따른 마커를 이용한 증강현실 구현 방법의 흐름도이다. FIG. 1 is an overall configuration diagram of a system for implementing augmented reality using a marker according to an embodiment of the present invention;
FIG. 2 is a configuration diagram of an augmented reality device according to an embodiment of the present invention;
FIG. 3 is a configuration diagram of an augmented reality server according to an embodiment of the present invention;
4 is a configuration diagram of an augmented reality device according to another embodiment of the present invention;
FIG. 5 is an overall configuration diagram of an augmented reality realization system using a marker according to another embodiment of the present invention;
6 is a configuration diagram of an augmented reality device according to another embodiment of the present invention,
FIG. 7 is a configuration diagram of an augmented reality server according to another embodiment of the present invention;
8 is a flowchart of a method of implementing an augmented reality using a marker according to an embodiment of the present invention.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.The present invention may be embodied in many other forms without departing from its spirit or essential characteristics. Accordingly, the embodiments of the present invention are to be considered in all respects as merely illustrative and not restrictive.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises", "having", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, components, Steps, operations, elements, components, or combinations of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like or corresponding elements are denoted by the same reference numerals, and a duplicate description thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

이하의 설명에서 사용되는 주요 용어에 관하여 설명한다. The main terms used in the following description will be described.

'마커(marker)'란, 증강현실이 구현된 영상에서 가상 영상 또는 가상 객체의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미한다. 이러한 마커는 증강현실에서 구현될 각 가상 객체에 대응하여 부여되며, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수도 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 마커로 정의하여 사용할 수도 있다. 합성 마커가 사용되는 경우에는, 해당 마커를 구성하는 기하학적 문양이나 패턴 등이 마커의 인식 정보로 사용될 수 있으며, 실제 객체의 특징점이 마커로 정의되는 경우는 실제 객체의 색상, 윤곽선 및 구성 선분, 에지(edge) 등이 마커의 인식 정보로 사용될 수 있다. A 'marker' means a recognition mark used to align a three-dimensional position and a posture of a virtual image or a virtual object with an object in a real world in an image in which an augmented reality is implemented. These markers are assigned to the respective virtual objects to be implemented in the augmented reality, and may be synthetic markers defined and generated in advance by the user, or may be defined as markers of the minutiae points of actual objects that can be recognized using the image recognition technology It can also be used. In the case where a synthetic marker is used, a geometric pattern or a pattern constituting the marker can be used as recognition information of a marker. When a minutiae of an actual object is defined by a marker, the color, contour, (edge) may be used as recognition information of the marker.

'객체'란, 카메라에 의해 촬영되는 증강현실 구현의 대상물을 의미한다. 이러한 객체는 다양한 사물 또는 배경이 될 수 있으며, 일반적으로 카메라에 의해 촬영되는 실물 자체가 될 수도 있고, 예를 들어, LCD 디스플레이 등의 디스플레이 수단을 통해 제공되는 영상 내에 존재할 수도 있다. An 'object' means an object of augmented reality realization, which is imaged by a camera. Such an object may be a variety of objects or backgrounds, and may be a real object that is generally photographed by a camera, or may be present in an image provided through a display means such as, for example, an LCD display.

'가상 영상' 또는 '가상 객체'란, 카메라를 통해 입력된 영상 내의 특정 마커에 대응하여, 증강현실 장치가 디스플레이 상에 생성하는 가상의 대상물(사물 또는 배경, 또는 이들의 동작)을 의미한다. 도 12 내지 도 14는 마커를 이용한 증강현실 구현의 일예를 나타낸 예시 사진으로서, 신문지 상에 인쇄된 마커 또는 음료수 병 뚜껑 상에 인쇄된 마커에 의해 구현된 가상 영상(애니메이션과 안내 화면)이 실제 환경의 객체와 합성되어 구현된 증강현실 화면을 예시하고 있다. The 'virtual image' or 'virtual object' means a virtual object (an object or a background, or an operation thereof) generated on the display by the augmented reality apparatus corresponding to a specific marker in the image input through the camera. 12 to 14 are photographs showing an example of the implementation of an augmented reality using a marker, in which a virtual image (animation and guidance screen) implemented by a marker printed on a newspaper or a marker printed on a cap of a beverage bottle, And an augmented reality screen synthesized with the object of FIG.

도 1은 본 발명의 일실시예에 따른 마커를 이용한 증강현실 구현 시스템의 전체 구성도, 도 2는 본 발명의 일실시예에 따른 증강현실 장치의 구성도, 도 3은 본 발명의 일실시예에 따른 증강현실 서버의 구성도이다. FIG. 2 is a block diagram of an augmented reality apparatus according to an embodiment of the present invention. FIG. 3 is a block diagram of an embodiment of the present invention FIG. 2 is a block diagram of an augmented reality server according to FIG.

카메라(150)와 디스플레이(160)를 구비한 증강현실 장치(1000)가 개시된다. 상기 증강현실 장치(1000)는 예를 들어, '증강현실 앱(APP)'이 실행되는 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동통신망을 이용하는 통상의 스마트폰, 스마트패드 등으로 구현될 수 있다. 증강현실 앱(APP)은 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공 목적으로 배포하는 앱으로서, 예를 들어, 통상의 앱 스토어 서버(도면 미도시)를 통해 배포할 수 있다. 앱(APP)은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다. 앱(APP)의 경우, 기기가 제공하는 하드웨어적 기능을 지원받아 다양한 기능의 구현이 가능하다. An augmented reality device 1000 having a camera 150 and a display 160 is disclosed. For example, the augmented reality device 1000 may be a mobile client in which an 'augmented reality app (APP)' is executed. For example, the augmented reality device 1000 may be a general smartphone using a mobile communication network such as WCDMA or LTE, Or the like. The augmented reality app (APP) is an application distributed by an augmented reality service operator for the purpose of providing various augmented reality services, for example, can be distributed through a normal app store server (not shown). App (APP) refers to an application program that operates only on a mobile device using a development language provided by a mobile OS manufacturer. In the case of an app (APP), various functions can be implemented by supporting the hardware functions provided by the device.

상기 증강현실 장치(1000)는 반드시 모바일 클라이언트로 구성될 필요는 없으며, 카메라 및 디스플레이를 구비한 일반적인 PC(Personal Computer) 또는 이와 동등한 컴퓨팅 수단이면 어느 것이나 이용될 수 있다. The augmented reality device 1000 does not necessarily have to be a mobile client, but may be a general PC (personal computer) having a camera and a display or any equivalent computing means.

본 실시예의 증강현실 장치(1000)는 카메라(150)와 디스플레이(160), 음성입력수단(미도시)을 구비하며, 이들과 연동 기능을 제공하기 위한 영상 입력 모듈(102)과 증강현실 출력 모듈(112), 음성 인식 모듈(110)을 구비한다. 음성입력수단(미도시)은 공지의 마이크가 될 수 있다. The augmented reality device 1000 includes a camera 150, a display 160 and voice input means (not shown), and includes an image input module 102 and an augmented reality output module (112), and a voice recognition module (110). The voice input means (not shown) may be a known microphone.

또한, 증강현실 장치(1000)는, 입력된 영상으로부터 마커를 인식하는 기능을 수행하는 마커 인식 모듈(104)과, 인식된 마커에 근거하여 가상 영상을 생성하는 증강현실 구현 모듈(106), 이들 각 모듈의 동작을 전체적으로 제어하는 제어 모듈(108), 음성명령 인식을 위한 음성 인식 모듈(110) 등이 구비된다. 제어 모듈(108)은 네트워크를 통해 증강현실 서버(2000)를 포함한 외부 기기와의 연동을 위한 통신 모듈 기능을 함께 구비할 수 있다. The augmented reality device 1000 includes a marker recognition module 104 that performs a function of recognizing a marker from the input image, an augmented reality implementation module 106 that generates a virtual image based on the recognized marker, A control module 108 for controlling the operation of each module as a whole, and a voice recognition module 110 for voice command recognition. The control module 108 may include a communication module function for interworking with an external device including the augmented reality server 2000 through a network.

또한, 증강현실 장치(1000)는, 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 이에 대응하는 가상 영상 매칭 정보와 음성명령을 구성하는 단어/문장과 이에 대응하는 영상 조작 처리 정보를 저장하는 마커/음성명령 정보 기억부(120)와, 각 마커에 대응한 가상 영상 정보를 저장하는 가상 영상 정보 기억부(130), 증강현실 출력된 영상을 필요 시 저장하기 위한 증강현실 출력 저장부(140)가 구비된다. Further, the augmented reality device 1000 stores the identification information of each marker for the augmented reality and / or virtual image matching information corresponding thereto, the word / sentence constituting the voice command, and the image manipulation processing information corresponding thereto A virtual image information storage unit 130 for storing virtual image information corresponding to each marker, an augmented reality output storage unit 140 for storing the augmented reality output image on demand, .

특히, 본 실시예의 증강현실 장치(1000)는, 마커의 조작 또는 제어 정보에 따른 가상 영상의 출력 제어에 관한 정보를 저장하는 조작/제어 정보 기억부(145)가 구비된다. 조작/제어 정보 기억부(145)에 저장된 정보에 근거하여, 후술하는 '변형 제어'가 이뤄지게 된다. 이들 각 기억부는 논리적 관점에서는 테이블과 필드를 포함하는 통상의 데이터베이스의 개념으로 이해될 수 있으며, 물리적 관점에서는 이들 정보를 저장하는 통상의 기억장치(예, 하드디스크, 비휘발성 메모리 소자 등)의 개념으로 더욱 확장하여 이해될 수 있다. Particularly, the augmented reality device 1000 of the present embodiment is provided with an operation / control information storage section 145 for storing information on the operation of the marker or the control of the output of the virtual image according to the control information. Based on information stored in the operation / control information storage unit 145, a 'deformation control' described later is performed. Each of these storage units can be understood as a concept of a normal database including a table and a field in a logical view, and from a physical viewpoint, a concept of a conventional storage device (e.g., a hard disk, a nonvolatile memory device, etc.) As shown in FIG.

상기 증강현실 장치(1000)는 증강현실 앱의 구동에 의해 외부 장치와의 연동 없이 증강현실 기능을 실행할 수 있으며, 도 1에 도시된 바와 같이, 통상의 유무선 네트워크(10)를 통해 증강현실 서버(2000)와 연동하여 일부 기능을 서버와의 연동을 통해 제공하는 것도 가능하다. 예를 들어, 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 서버로부터 제공받도록 할 수도 있다. The augmented reality device 1000 can perform an augmented reality function without interworking with an external device by driving the augmented reality app. As shown in Fig. 1, the augmented reality server 2000), it is possible to provide some functions in cooperation with the server. For example, various virtual images used in the augmented reality may have a large amount of data or be changed in real time depending on the type and content of the provided image. In this case, As shown in FIG.

한편, 본 실시예에서는 카메라를 통해 입력되는 영상 전체(객체와 마커를 모두 포함) 또는 적어도 마커의 영상을 제공하는 영상 구현 수단(3000)이 구비된다. 영상 구현 수단(3000)은 예를 들어, 증강현실 서버(2000)로부터 구현될 영상 및/또는 마커의 정보를 제공받아 영상으로 제공하는 통상의 디스플레이 수단(예, LCD 모니터, 프로젝터, 스마트폰 등)이 될 수 있다. 증강현실 서버(2000)는 영상 구현 수단(3000)과 구분되는 것으로 도면상으로는 표현되었으나, 물리적으로는 하나의 장치적 구성으로 구성되는 것도 가능하다. Meanwhile, in the present embodiment, an image implementing means 3000 for providing an entire image (including both an object and a marker) inputted through a camera or an image of at least a marker is provided. The image implementing means 3000 may be a conventional display means (e.g., an LCD monitor, a projector, a smart phone, or the like) that receives information of an image and / or marker to be implemented from the augmented reality server 2000, . Although the augmented reality server 2000 is described in the drawing as being distinguished from the image implementing means 3000, the augmented reality server 2000 may be physically configured as one device.

본 실시예에서는 상기 영상 구현 수단(3000)을 통해 구현 제공되는 마커를 제어(예, 회전/확대/변형)하여, 상기 마커에 의해 구현되는 증강현실 영상이 제어될 수 있도록 구성된다. 이를 마커의 '변형 제어'로 볼 수 있는데, 즉, 마커를 제공하기 위한 상기 영상 구현 수단(3000)의 마커 구현 정보를 소프트웨어적으로 제어하는 것에 의해, 증강현실 장치(1000)는 변형 제어가 이뤄진 상기 마커의 영상을 상기 카메라를 통해 입력받아 변형 제어된 증강현실 영상을 출력하게 된다. In this embodiment, the augmented reality image implemented by the marker is controlled by controlling (e.g., rotating / expanding / deforming) the marker implemented through the image implementing unit 3000. [ The augmented reality device 1000 can be regarded as a 'deformation control' of the marker, that is, by software controlling the marker implementation information of the image implementing means 3000 for providing a marker, An image of the marker is input through the camera and the deformed controlled augmented reality image is output.

이러한 변형 제어는, 예를 들어, 카메라가 움직임이 없이 유지되는 상태에서 마커가 회전/확대/변형 등의 방식으로 변형 제어되고, 이에 따라 해당 가상 객체도 회전/확대/변형 등의 방식으로 변형 제어되거나, 또는 미리 정의된 다른 방식(예, 별도의 애니메이션 실행, 별도의 음성/영상 출력 등)으로 변형 제어되는 것으로 이해될 수 있다. Such deformation control is controlled such that, for example, when the camera is held without motion, the marker is deformed and controlled in such a manner as rotation / enlargement / deformation, and accordingly, the virtual object is also subjected to deformation control Or it may be understood that it is transformed into another predefined manner (e.g., separate animation execution, separate audio / video output, etc.).

이러한 구성을 통해, 사용자 또는 카메라의 직접적인 움직임이 없이도, 영상 구현 수단(3000)에 구현되는 마커를 다양하게 변형 제어함에 따라, 증강현실 장치(1000)에 구현되는 증강현실 영상도 다양하게 변형하여 제공할 수 있게 되므로, 더욱 다양한 증강현실 영상을 제공하는 장점을 제공한다. 특히, 애니메이션 형태의 증강현실 영상을 제공하는 경우에 장점이 있다. With this configuration, the augmented reality image implemented in the augmented reality device 1000 can be variously modified and provided by variously modifying and controlling the marker implemented in the image implementing means 3000 without direct movement of the user or the camera Therefore, it provides the advantage of providing more various augmented reality images. Particularly, there is an advantage in providing an augmented reality image in an animation form.

한편, 본 실시예에서는 영상 구현 수단(3000)을 통해 제공되는 마커의 변형 제어 정보를 제공하는 증강현실 서버(2000)가 구비된다. 증강현실 서버(2000)는 마커 뿐만 아니라 증강현실 장치(1000)의 카메라를 통해 입력되는 영상 전체(객체와 마커를 모두 포함)를 제공할 수도 있다. 박물관의 전시대에 설치된 안내 키오스크를 영상 구현 수단(3000)으로 사용하는 경우를 예로 들면, 객체는 전시대 내의 전시물을 그대로 사용하면서 마커만 영상 구현 수단(3000)을 제공할 수도 있으며, 객체의 영상 자체를 키오스크의 디스플레이로 제공하면서 동일 디스플레이 내에 마커를 제공할 수도 있다. 증강현실 서버(2000)는 영상 구현 수단(3000)과 연동하여 이러한 동작이 이뤄지도록 제어한다. Meanwhile, in the present embodiment, an augmented reality server 2000 for providing deformation control information of a marker provided through the image implementing means 3000 is provided. The augmented reality server 2000 may provide not only the marker but also the entire image (including both the object and the marker) input through the camera of the augmented reality device 1000. [ For example, in the case of using the information kiosk installed in the museum's exhibition hall as the image implementing means 3000, the object may provide the marker implementing means 3000 only while using the exhibits in the exhibition hall as they are, It is also possible to provide a marker in the same display while providing it as a display of a kiosk. The augmented reality server 2000 controls the operation of the augmented reality server 2000 in conjunction with the image implementation unit 3000. [

본 실시예의 증강현실 서버(2000)는, 영상 구현 수단(3000)과의 연동 기능을 제공하기 위해 영상 구현 수단 제어 모듈(202)을 구비하며, 출력되는 마커를 제어하기 위해 마커 제어 모듈(204)을 구비한다. The augmented reality server 2000 of the present embodiment includes an image implementing means control module 202 for providing an interworking function with the image implementing means 3000 and includes a marker control module 204 for controlling the outputted markers, Respectively.

또한, 증강현실 서버(2000)는, 이들 각 모듈의 동작을 전체적으로 제어하는 운영 모듈(206), 네트워크를 통해 영상 구현 수단(3000)을 포함한 외부 기기와의 연동을 위한 통신 모듈(208) 등이 구비된다. The augmented reality server 2000 includes an operation module 206 for controlling the operation of each module as a whole and a communication module 208 for interworking with an external device including the image implementing means 3000 through a network Respectively.

또한, 증강현실 서버(2000)는, 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 음성명령과 이에 대응하는 가상 영상 매칭 정보를 저장하는 마커/음성명령 정보 기억부(220)와, 영상 구현 수단(3000)으로 제공되는 영상 정보를 저장하는 구현 영상 정보 기억부(230), 마커의 조작 또는 제어 정보에 따른 가상 영상의 출력 제어에 관한 정보를 저장하는 조작/제어 정보 기억부(250) 등이 구비된다. Also, the augmented reality server 2000 includes a marker / voice command information storage unit 220 for storing unique identification information of each marker for the augmented reality and / or voice command and corresponding virtual image matching information, An implemented image information storage unit 230 for storing image information provided to the means 3000, an operation / control information storage unit 250 for storing information on the output control of the virtual image according to the operation of the marker or the control information Respectively.

한편, 상술한 바와 같이, 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 증강현실 서버(2000)는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 장치(1000)의 요청을 받아 제공하도록 할 수도 있다. 이를 위해, 증강현실 서버(2000)는 각 마커에 대응한 가상 영상 정보를 저장하는 가상 영상 정보 기억부(240)가 구비될 수 있다. As described above, the various virtual images used in the augmented reality may have a large amount of data or be changed in real time depending on the type and content of the provided images. In this case, May be provided to the augmented reality device 1000 via the network. To this end, the augmented reality server 2000 may include a virtual image information storage unit 240 for storing virtual image information corresponding to each marker.

도 8은 본 발명의 일실시예에 따른 마커를 이용한 증강현실 구현 방법의 흐름도이다. 8 is a flowchart of a method of implementing an augmented reality using a marker according to an embodiment of the present invention.

카메라와 디스플레이를 구비한 증강현실 장치에서, 카메라를 통해 영상을 입력받는다(S100). 상기 입력된 영상에는 객체의 영상과 증강현실 구현을 위한 마커가 포함되며, 적어도 마커는 영상 구현 수단을 통해 제공된다. In an augmented reality device having a camera and a display, an image is inputted through a camera (S100). The input image includes an image of an object and a marker for implementing an augmented reality, and at least a marker is provided through an image implementing means.

입력된 영상에 포함된 마커를 추출하여 인식한다(S200). The marker included in the input image is extracted and recognized (S200).

상기 마커에 대응하는 가상 영상을 상기 객체의 영상과 합성하여 증강현실 영상을 디스플레이에 출력한다(S300).The virtual image corresponding to the marker is synthesized with the image of the object to output the augmented reality image to the display (S300).

상기 음성입력수단을 통해 사용자가 생성한 음성명령을 입력받는다(S400). 상기 음성명령은 사용자가 2 이상의 음성명령을 미리 설정된 시간 동안 연속적으로 생성하여 입력할 수 있으며, 음성명령에 의한 변형 조작도 이러한 2 이상의 음성명령의 결합 음성을 인식하여 이뤄질 수 있다. The voice command generated by the user is input through the voice input means (S400). The voice command may be generated by the user continuously by inputting two or more voice commands for a preset time, and the deformation operation by the voice command may be performed by recognizing the combined voice of the two or more voice commands.

음성명령에 의해 변형 조작이 이뤄진 상기 마커의 영상에 대응하여 변형 조작이 이뤄진 가상 영상을 상기 객체의 영상과 합성하여 증강현실 영상을 디스플레이에 출력한다(S500).The augmented reality image is synthesized with the image of the object by deforming the deformed image corresponding to the image of the marker obtained by the deforming operation by voice command in operation S500.

도 4는 본 발명의 또 다른 실시예에 따른 증강현실 장치의 구성도이다. 4 is a configuration diagram of an augmented reality device according to another embodiment of the present invention.

본 실시예의 증강현실 장치(1000)는 기본적으로는 도 2의 증강현실 장치(1000)와 동일한 구성을 갖는다. 다만, 카메라(150)로 입력되는 영상이 영상 구현 수단(3000)으로부터 제공되는 것이 아니며, 현실 세계의 객체와 이에 직접 인쇄 또는 부착되거나 별도의 마킹 수단(예, 카드)에 부착되거나 인쇄된 마커를 입력받게 된다. The augmented reality device 1000 of this embodiment basically has the same configuration as the augmented reality device 1000 of Fig. However, the image input by the camera 150 is not provided from the image implementing means 3000, and it is not possible to provide a real-world object and a marker directly attached to or printed on or attached to a marking means (e.g., a card) Input.

도 5는 본 발명의 또 다른 실시예에 따른 마커를 이용한 증강현실 구현 시스템의 전체 구성도, 도 6은 본 발명의 또 다른 실시예에 따른 증강현실 장치의 구성도, 도 7은 본 발명의 또 다른 실시예에 따른 증강현실 서버의 구성도이다. FIG. 5 is an overall configuration diagram of a system for implementing an augmented reality using a marker according to another embodiment of the present invention, FIG. 6 is a configuration diagram of an augmented reality apparatus according to another embodiment of the present invention, and FIG. FIG. 8 is a configuration diagram of an augmented reality server according to another embodiment.

상술한 바와 같이, 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 증강현실 서버(2000)는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 장치(1000)의 요청을 받아 제공할 수 있도록 할 수도 있다. 이를 위해, 증강현실 서버(2000)는 각 마커에 대응한 가상 영상 정보를 저장하는 가상 영상 정보 기억부(240)가 구비될 수 있다. 이러한 경우, 도 6에 도시된 바와 같이, 증강현실 장치(1000)에는 별도의 가상 영상 정보 기억부가 구비될 필요가 없으므로, 저장 공간을 적게 유지할 수 있다. 이외의 구성은 상술한 도 1 내지 도 4의 구성과 동일 내지 유사하므로 중복 설명은 생략한다. As described above, the various virtual images used in the augmented reality may have a large amount of data or be changed in real time according to the types and contents of the provided images. In such a case, The information may be provided through the network in response to a request from the augmented reality device 1000. [ To this end, the augmented reality server 2000 may include a virtual image information storage unit 240 for storing virtual image information corresponding to each marker. In this case, as shown in FIG. 6, since the augmented reality device 1000 does not need to have a separate virtual image information storage unit, the storage space can be kept small. Other configurations are the same as or similar to the configurations of the above-described FIG. 1 to FIG. 4, and thus redundant description will be omitted.

본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Such media may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, And hardware devices specifically configured to store and execute the same program instructions. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

1000: 증강현실 장치
2000: 증강현실 서버
3000: 영상 구현 수단1000: augmented reality device
2000: Augmented Reality Server
3000: image implementation means

Claims (2)

카메라와 디스플레이, 음성입력수단을 구비한 증강현실 장치에서 실행되는 증강현실 구현 방법으로서,
(a) 상기 카메라를 통해 영상을 입력받는 단계- 상기 입력된 영상에는 객체의 영상과 증강현실 구현을 위한 마커가 포함됨-;
(b) 입력된 영상에 포함된 마커를 추출하여 인식하는 단계;
(c) 상기 마커에 대응하는 가상 영상을 상기 객체의 영상과 합성하여 증강현실 영상을 디스플레이에 출력하는 단계;
(d) 상기 음성입력수단을 통해 사용자가 생성한 음성명령을 입력받는 단계;
(e) 음성명령에 의해 변형 조작이 이뤄진 상기 마커의 영상에 대응하여 변형 조작이 이뤄진 가상 영상을 상기 객체의 영상과 합성하여 증강현실 영상을 디스플레이에 출력하는 단계;를 포함하여 구성된 마커와 음성인식을 이용한 증강현실 구현 방법.
A method for realizing an augmented reality executed in an augmented reality apparatus having a camera, a display, and a voice input means,
(a) receiving an image through the camera, the image including an image of the object and a marker for implementing an augmented reality;
(b) extracting and recognizing a marker included in the input image;
(c) synthesizing a virtual image corresponding to the marker with an image of the object, and outputting the augmented reality image to a display;
(d) receiving a voice command generated by a user through the voice input means;
(e) synthesizing a virtual image in which a deformation operation is performed corresponding to an image of the marker in which a deformation operation has been performed by a voice command, with an image of the object, and outputting the augmented reality image to a display; Implementation Method of Augmented Reality Using.
제1항에 있어서,
상기 (d) 단계에서,
음성명령에 의한 변형 조작은 사용자가 2 이상의 음성명령을 미리 설정된 시간 동안 연속적으로 생성하여 입력하는 방식으로 이뤄지는 것을 특징으로 하는 마커와 음성인식을 이용한 증강현실 구현 방법.
The method according to claim 1,
In the step (d)
Wherein the deformation operation by the voice command is performed by a user continuously generating and inputting two or more voice commands for a preset time period.
KR1020160180367A 2016-12-27 2016-12-27 Method for embodiment of augmented reality using marker and Voice Recognition KR20180076188A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160180367A KR20180076188A (en) 2016-12-27 2016-12-27 Method for embodiment of augmented reality using marker and Voice Recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180367A KR20180076188A (en) 2016-12-27 2016-12-27 Method for embodiment of augmented reality using marker and Voice Recognition

Publications (1)

Publication Number Publication Date
KR20180076188A true KR20180076188A (en) 2018-07-05

Family

ID=62920331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180367A KR20180076188A (en) 2016-12-27 2016-12-27 Method for embodiment of augmented reality using marker and Voice Recognition

Country Status (1)

Country Link
KR (1) KR20180076188A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070645A (en) * 2019-12-05 2021-06-15 순천향대학교 산학협력단 Communication system and control method that can control device based on voice
KR102320229B1 (en) * 2020-05-13 2021-11-02 주식회사 인터포름 Smart tables for MR learning content and how to provide them

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070645A (en) * 2019-12-05 2021-06-15 순천향대학교 산학협력단 Communication system and control method that can control device based on voice
KR102320229B1 (en) * 2020-05-13 2021-11-02 주식회사 인터포름 Smart tables for MR learning content and how to provide them

Similar Documents

Publication Publication Date Title
US12020390B2 (en) Virtual content generation
US10339383B2 (en) Method and system for providing augmented reality contents by using user editing image
CN106468950B (en) Electronic system, portable display device and guiding device
JP4137078B2 (en) Mixed reality information generating apparatus and method
CN110738737A (en) AR scene image processing method and device, electronic equipment and storage medium
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
US9792731B2 (en) System and method for controlling a display
WO2022252688A1 (en) Augmented reality data presentation method and apparatus, electronic device, and storage medium
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
US20190378339A1 (en) Method for implementing augmented reality image using vector
CN113359986A (en) Augmented reality data display method and device, electronic equipment and storage medium
CN112288889A (en) Indication information display method and device, computer equipment and storage medium
WO2007108100A1 (en) Video image information processing device, judging method, and computer program
KR20180076188A (en) Method for embodiment of augmented reality using marker and Voice Recognition
CN112328088B (en) Image presentation method and device
CN113362474A (en) Augmented reality data display method and device, electronic equipment and storage medium
JP7065795B2 (en) Data creation system and data creation method
KR101582225B1 (en) System and method for providing interactive augmented reality service
KR20140096672A (en) Method for embodiment of augmented reality using marker and recording medium storing a program thereof
WO2021256241A1 (en) Guide device, guide system, guide method, program, and recording medium
JP4703744B2 (en) Content expression control device, content expression control system, reference object for content expression control, and content expression control program
JP4550460B2 (en) Content expression control device and content expression control program
CN113345110A (en) Special effect display method and device, electronic equipment and storage medium
CN113434059A (en) Written document processing method and device, electronic equipment and computer readable medium
KR101783156B1 (en) Physical Programming Information Recognition method and Method thereof