KR20190092897A - Method for providing augmented reality contents based on close-up view and apparatus using the same - Google Patents

Method for providing augmented reality contents based on close-up view and apparatus using the same Download PDF

Info

Publication number
KR20190092897A
KR20190092897A KR1020180012181A KR20180012181A KR20190092897A KR 20190092897 A KR20190092897 A KR 20190092897A KR 1020180012181 A KR1020180012181 A KR 1020180012181A KR 20180012181 A KR20180012181 A KR 20180012181A KR 20190092897 A KR20190092897 A KR 20190092897A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality content
providing
scenario
feature point
Prior art date
Application number
KR1020180012181A
Other languages
Korean (ko)
Inventor
김지은
이헌주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180012181A priority Critical patent/KR20190092897A/en
Publication of KR20190092897A publication Critical patent/KR20190092897A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Disclosed are a method for providing augmented reality contents based on a close-up view and an apparatus for the same. A method for providing augmented reality contents based on a close-up view according to an embodiment of the present invention comprises the following steps: extracting, by an apparatus for providing augmented reality contents, a feature point within a magnified image of magnifying a real object through a zoom-in function of a camera; searching, by the apparatus for providing augmented reality contents, a scenario scene corresponding to the feature point among a plurality of scenario scenes stored in a memory; and displaying, by the apparatus for providing augmented reality contents, augmented reality contents linked to the scenario scene in stages of a magnification level corresponding to the magnified image.

Description

근접뷰 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치 {METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS BASED ON CLOSE-UP VIEW AND APPARATUS USING THE SAME}Method for providing augmented reality content based on proximity view and device therefor {METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS BASED ON CLOSE-UP VIEW AND APPARATUS USING THE SAME}

본 발명은 근접 뷰 기반의 증강현실 컨텐츠 제공 기술에 관한 것으로, 특히 실세계를 작게 축소한 사물을 확대하였을 경우에 확대된 사물에 대한 장면을 인식하고 이에 연동된 컨텐츠를 증강현실 기술로 출력하는 기술에 관한 것이다.The present invention relates to a technology for providing augmented reality contents based on a proximity view, and more particularly, when a zoomed-out object is enlarged to recognize a scene of an enlarged object and to output the content linked to the augmented reality technology. It is about.

증강현실(AR, Augmented Reality) 기술은 사용자의 시야를 가리고 주어진 가상의 공간을 체험하는 가상현실(VR, Virtual Reality)과 달리 사용자가 바라보는 현실 세계 영상에 가상의 이미지, 애니메이션, 정보 등을 오버랩하여 사용자에게 새로운 경험을 제공하는 기술이다. Augmented Reality (AR) technology overlaps virtual images, animations, and information on the real-world images that users see, unlike Virtual Reality (VR), which hides the user's view and experiences a given virtual space. Is a technology that provides a new experience to the user.

증강현실을 경험하기 위해서는 증강현실 장치가 필요하다. 예를 들어, 구글은 구글글래스를, 마이크로소프트는 홀로렌즈라는 증강현실 글래스를 출시하였다. 이러한 증강현실 전용 글래스는 홀로그래픽적인 영상과 시선인식, 손 제스처 인식, 음성인식과 같은 편리한 사용자 인터페이스가 장점이지만 고가의 가격, 무게, 발열, 외부사용의 어려움 등으로 일반 구매자들의 소비로 이어지지 못하고 있다. 가장 많이 보급된 증강현실 장치는 스마트폰이다. 최근 공개된 애플, 구글 등의 스마트폰기반 증강현실 플랫폼은 바닥 면 인식 기술을 제공하여 가상의 객체들이 사물의 표면 위에 진짜 올라가 있는 것 같은 효과를 준다. 하지만 전시관 또는 박물관에서는 스마트폰기반 증강현실 컨텐츠 서비스가 활발하지 못하다. 스마트폰 사용자들이 디스플레이 화면에 집중하면서 주변의 고가의 전시물을 훼손하는 사고가 빈번하게 발생하고 있기 때문이다. To experience augmented reality, you need an augmented reality device. For example, Google released Google Glass, and Microsoft released augmented reality glass called HoloLens. These augmented reality glasses have the advantage of convenient user interface such as holographic image, gaze recognition, hand gesture recognition, and voice recognition, but they are not leading to the consumption of ordinary buyers due to high price, weight, heat, and difficulty of external use. . The most popular augmented reality device is a smartphone. Recently released smartphone-based augmented reality platforms such as Apple and Google provide floor recognition technology, which allows virtual objects to appear as if they are really on the surface of an object. However, smartphone-based augmented reality content services are not active in exhibition halls or museums. This is because smartphone users frequently focus on the display screen and damage the expensive exhibits around them.

한편, 가상현실 및 증강현실은 관광 및 게임 분야에 많이 활용되고 있다. 예를 들어, 도 1에 도시된 것과 같이 수원화성박물관에는 가상현실체험존이 있어 3차원으로 복원한 220년 전의 수원화성과 드론으로 촬영한 현재의 수원화성을 체험할 수 있다. 또한, 도 2에 도시된 것과 같이 KAIST에서는 건축물을 인식할 수 있는 증강현실 어플리케이션인 케이 컬쳐 타임머신을 개발하였다.Meanwhile, virtual reality and augmented reality are widely used in tourism and games. For example, as shown in FIG. 1, the Suwon Hwaseong Museum has a virtual reality zone, where you can experience the current Suwon Hwaseong taken by drones and Suwon Hwaseong 220 years ago restored in three dimensions. In addition, as shown in FIG. 2, KAIST has developed a K culture time machine, which is an augmented reality application that can recognize a building.

그러나, 도 1에 도시된 기술로는 실세계 영상을 볼 수 없으므로 실제 사물이 있는 관람환경에 적용하기 적합하지 않다. 또한, 도 2에 도시된 스마트폰 기반의 증강현실 환경도 스마트폰을 들고 축소사물에 근접하는 경우 관람물을 파손할 우려가 있어, 축소사물이 있는 관람장소에 적합하지 않다.However, since the technology shown in FIG. 1 does not allow a real world image to be viewed, it is not suitable for application to a viewing environment with real objects. In addition, the smart phone-based augmented reality environment shown in Figure 2 is also not suitable for the viewing place with the collapsed objects, if there is a risk of damage to the viewing objects when approaching the reduced objects holding the smartphone.

한국 공개 특허 제10-2016-0139633호, 2016년 12월 7일 공개(명칭: 증강현실을 이용한 체험형 콘텐츠 제공 시스템 및 방법)Korean Unexamined Patent Publication No. 10-2016-0139633, published on December 7, 2016 (name: system and method for providing experience type content using augmented reality)

본 발명의 목적은 실세계를 작게 축소한 관람환경에서 축소된 사물에 대해 확대된 증강현실 서비스를 제공함으로써 관람자가 축소된 사물과 장면을 효과적으로 인식할 수 있도록 하는 것이다.An object of the present invention is to provide an augmented reality service for the reduced objects in a viewing environment in which the real world is reduced in size so that the viewer can effectively recognize the reduced objects and scenes.

또한, 본 발명의 목적은 증강현실 시스템을 통해 박물관에 전시된 사물에 대해 세밀한 설명과 함께 관련된 애니메이션 장면을 제공하는 것이다. It is also an object of the present invention to provide an animated scene with a detailed description of the objects displayed in the museum through the augmented reality system.

또한, 본 발명의 목적은 전시물과 일정거리를 두고 카메라 화면을 확대하여 증강현실 컨텐츠를 제공함으로써 관람자들이 전시물을 파손하는 것을 방지하는 것이다.In addition, an object of the present invention is to prevent viewers from damaging the exhibits by providing augmented reality content by enlarging the camera screen at a certain distance from the exhibit.

또한, 본 발명의 목적은 소형 블록과 같은 장난감 게임분야에 활용 가능한 증강현실 컨텐츠 서비스를 제공하는 것이다.It is also an object of the present invention to provide augmented reality content services that can be utilized in the field of toy games, such as small blocks.

상기한 목적을 달성하기 위한 본 발명에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 카메라의 줌인(Zoom-In) 기능을 통해 현실 객체를 확대 촬영한 확대 영상 내에서 특징점을 추출하는 단계; 상기 증강현실 컨텐츠 제공 장치가, 메모리에 저장된 복수개의 시나리오 장면들 중 상기 특징점에 해당하는 시나리오 장면을 검색하는 단계; 및 상기 증강현실 컨텐츠 제공 장치가, 상기 시나리오 장면에 연동된 증강현실 컨텐츠를 상기 확대 영상에 상응하는 확대 레벨의 단계별로 디스플레이 하는 단계를 포함한다.Augmented reality content providing method according to the present invention for achieving the above object is the step of extracting a feature point in the magnified image of the enlarged image of the real object through a zoom-in (Zoom-In) function of the camera; ; Searching, by the apparatus for providing augmented reality content, a scenario scene corresponding to the feature point among a plurality of scenario scenes stored in a memory; And displaying, by the apparatus for providing augmented reality content, augmented reality content linked to the scenario scene in stages of an enlargement level corresponding to the magnified image.

이 때, 복수개의 시나리오 장면들 각각 상기 확대 레벨의 단계별로 상이한 증강현실 컨텐츠가 연동될 수 있다.In this case, different augmented reality content may be linked to each of a plurality of scenario scenes in stages of the magnification level.

이 때, 증강현실 컨텐츠 제공 방법은 상기 증강현실 컨텐츠 제공 장치가, 상기 카메라에 대한 줌 아웃(Zoom-Out) 기능을 기반으로 상기 증강현실 컨텐츠를 디스플레이 하는 컨텐츠 출력 모드를 종료하고, 확대되지 않은 영상에 대한 기본 정보를 제공하는 기본 정보 제공 모드로 동작하는 단계를 더 포함할 수 있다.In this case, in the method for providing augmented reality content, the apparatus for providing augmented reality content ends a content output mode in which the augmented reality content display device displays the augmented reality content based on a zoom-out function for the camera, and the image is not enlarged. The method may further include operating in a basic information providing mode for providing basic information about.

이 때, 증강현실 컨텐츠 제공 방법은 상기 증강현실 컨텐츠 제공 장치가, 두 개의 카메라들로 각각 촬영된 제1 확대 영상 및 제2 확대 영상을 기반으로 제1 특징점 및 제2 특징점을 추출하는 단계; 상기 증강현실 컨텐츠 제공 장치가, 상기 복수개의 시나리오 장면들 중 상기 제1 특징점 및 제2 특징점을 기반으로 두 개의 시나리오 장면들을 검색하는 단계; 및 상기 두 개의 시나리오 장면들이 연관관계에 상응하는 경우, 상기 증간현실 컨텐츠 제공 장치가, 상기 두 개의 시나리오 장면들에 의한 연동 증강현실 컨텐츠를 디스플레이 하는 단계를 더 포함할 수 있다.In this case, the method for providing augmented reality content includes the steps of extracting, by the apparatus for providing augmented reality content, a first feature point and a second feature point based on a first magnified image and a second magnified image respectively captured by two cameras; Searching, by the apparatus for providing augmented reality content, two scenario scenes based on the first feature point and the second feature point among the plurality of scenario scenes; And when the two scenario scenes correspond to an association, displaying the linked augmented reality content by the two scenario scenes.

이 때, 검색하는 단계는 상기 복수개의 시나리오 장면들 각각에 포함된 적어도 하나의 참조 특징점과 상기 추출된 특징점을 비교하여 상기 어느 하나의 시나리오 장면을 검색할 수 있다.In this case, the searching may include searching at least one scenario scene by comparing at least one reference feature point included in each of the plurality of scenario scenes with the extracted feature point.

이 때, 증강현실 컨텐츠는 애니메이션, 텍스트 및 오디오 중 적어도 하나를 포함할 수 있다.In this case, the AR content may include at least one of animation, text, and audio.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는, 카메라의 줌인(Zoom-In) 기능을 통해 현실 객체를 확대 촬영한 확대 영상 내에서 특징점을 추출하고, 복수개의 시나리오 장면들 중 상기 특징점에 해당하는 시나리오 장면을 검색하고, 상기 시나리오 장면에 연동된 증강현실 컨텐츠를 상기 확대 영상에 상응하는 확대 레벨의 단계별로 디스플레이 하는 프로세서; 및 상기 복수개의 시나리오 장면들을 저장하는 메모리를 포함한다.In addition, the apparatus for providing augmented reality content according to an embodiment of the present invention extracts a feature point from within a magnified image obtained by enlarging and capturing a real object through a zoom-in function of a camera, and among the plurality of scenario scenes. A processor for searching for a scenario scene corresponding to a feature point and displaying augmented reality content linked to the scenario scene in stages of an enlargement level corresponding to the enlarged image; And a memory for storing the plurality of scenario scenes.

이 때, 복수개의 시나리오 장면들 각각 상기 확대 레벨의 단계별로 상이한 증강현실 컨텐츠가 연동될 수 있다.In this case, different augmented reality content may be linked to each of a plurality of scenario scenes in stages of the magnification level.

이 때, 프로세서는 상기 카메라에 대한 줌 아웃(Zoom-Out) 기능을 기반으로 상기 증강현실 컨텐츠를 디스플레이 하는 컨텐츠 출력 모드를 종료하고, 확대되지 않은 영상에 대한 기본 정보를 제공하는 기본 정보 제공 모드로 동작할 수 있다.At this time, the processor exits the content output mode for displaying the augmented reality content based on the zoom-out function of the camera, and enters the basic information providing mode for providing basic information about the unexpanded image. It can work.

이 때, 프로세서는 두 개의 카메라들로 각각 촬영된 제1 확대 영상 및 제2 확대 영상을 기반으로 제1 특징점 및 제2 특징점을 추출하고, 상기 복수개의 시나리오 장면들 중 상기 제1 특징점 및 제2 특징점을 기반으로 두 개의 시나리오 장면들을 검색하고, 상기 두 개의 시나리오 장면들이 연관관계에 상응하는 경우에 상기 두 개의 시나리오 장면들에 의한 연동 증강현실 컨텐츠를 디스플레이 할 수 있다.In this case, the processor extracts a first feature point and a second feature point based on the first magnified image and the second magnified image captured by the two cameras, respectively, and the first feature point and the second feature point among the plurality of scenario scenes. Two scenario scenes may be searched based on a feature point, and when the two scenario scenes correspond to an association, the linked augmented reality content by the two scenario scenes may be displayed.

이 때, 프로세서는 상기 복수개의 시나리오 장면들 각각에 포함된 적어도 하나의 참조 특징점과 상기 추출된 특징점을 비교하여 상기 어느 하나의 시나리오 장면을 검색할 수 있다.In this case, the processor may search for one of the scenario scenes by comparing the extracted feature points with at least one reference feature point included in each of the plurality of scenario scenes.

이 때, 증강현실 컨텐츠는 애니메이션, 텍스트 및 오디오 중 적어도 하나를 포함할 수 있다.In this case, the AR content may include at least one of animation, text, and audio.

본 발명에 따르면, 실세계를 작게 축소한 관람환경에서 축소된 사물에 대해 확대된 증강현실 서비스를 제공함으로써 관람자가 축소된 사물과 장면을 효과적으로 인식할 수 있도록 할 수 있다.According to the present invention, the viewer can effectively recognize the reduced objects and scenes by providing an enlarged augmented reality service for the reduced objects in a viewing environment in which the real world is reduced in size.

또한, 본 발명은 증강현실 시스템을 통해 박물관에 전시된 사물에 대해 세밀한 설명과 함께 관련된 애니메이션 장면을 제공할 수 있다.In addition, the present invention can provide an animated scene with a detailed description of the objects displayed in the museum through the augmented reality system.

또한, 본 발명은 전시물과 일정거리를 두고 카메라 화면을 확대하여 증강현실 컨텐츠를 제공함으로써 관람자들이 전시물을 파손하는 것을 방지할 수 있다.In addition, the present invention can prevent viewers from damaging the exhibits by providing augmented reality content by enlarging the camera screen at a certain distance from the exhibit.

또한, 본 발명은 소형 블록과 같은 장난감 게임분야에 활용 가능한 증강현실 컨텐츠 서비스를 제공할 수 있다.In addition, the present invention can provide augmented reality content services that can be utilized in the field of toy games, such as small blocks.

도 1은 가상현실 관광 체험의 일 예를 나타낸 도면이다.
도 2는 증강현실 관광 체험의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법을 나타낸 동작흐름도이다.
도 4 내지 도 5는 본 발명에 따른 증강현실 컨텐츠 제공 장치를 사용하는 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 단계별 디스플레이의 일 예를 나타낸 도면이다.
도 7는 본 발명에 따른 2개의 카메라들을 이용하여 제공되는 연동 증강현실 컨텐츠의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 증강현실 컨텐츠 제공 장치의 구조의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 증강현실 컨텐츠 제공 시스템의 일 예를 나타낸 블록도이다.
도 10은 도 9에 도시된 처리 모듈의 일 예를 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치를 나타낸 블록도이다.
도 12는 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법을 상세하게 나타낸 동작흐름도이다.1 is a diagram illustrating an example of a virtual reality tourism experience.
2 is a diagram illustrating an example of an augmented reality tourism experience.
3 is a flowchart illustrating an augmented reality content providing method according to an embodiment of the present invention.
4 to 5 are diagrams showing an example of using the apparatus for providing augmented reality content according to the present invention.
6 is a diagram illustrating an example of a step-by-step display according to the present invention.
7 is a diagram illustrating an example of linked augmented reality content provided using two cameras according to the present invention.
8 is a diagram illustrating an example of a structure of an apparatus for providing augmented reality content according to the present invention.
9 is a block diagram showing an example of an augmented reality content providing system according to the present invention.
10 is a block diagram illustrating an example of a processing module illustrated in FIG. 9.
11 is a block diagram illustrating an apparatus for providing augmented reality content according to an embodiment of the present invention.
12 is a flowchart illustrating an augmented reality content providing method according to an embodiment of the present invention in detail.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Here, the repeated description, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more completely describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법을 나타낸 동작흐름도이다.3 is a flowchart illustrating an augmented reality content providing method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 카메라의 줌인(Zoom-In) 기능을 통해 현실 객체를 확대 촬영한 확대 영상 내에서 특징점을 추출한다(S310).Referring to FIG. 3, in the method for providing augmented reality content according to an exemplary embodiment of the present invention, the apparatus for providing augmented reality content may include a feature point within an enlarged image of a reality object magnified by a zoom-in function of a camera. Extract (S310).

이 때, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 축소된 사물이 전시된 곳이나 먼 곳에 위치하고 있어서 잘 보이지 않는 사물 등을 확대하여 관람하기 위해 이용될 수 있다. 예를 들어, 미니어처 박물관에서 증강현실 컨텐츠 제공 장치를 통해 축소된 현실 객체를 확대하여 관람하기 위해 사용될 수 있다.In this case, the apparatus for providing augmented reality content according to an exemplary embodiment of the present invention may be used to enlarge and view an object that is not easily seen because the reduced object is located in a place where it is displayed or far away. For example, the miniature museum may be used to enlarge and view the reduced reality object through the apparatus for providing augmented reality content.

이 때, 증강현실 컨텐츠 제공 장치는 사용자의 관람 동선에 따라 이동하면서 증강현실 컨텐츠 제공 서비스를 제공할 수 있다. 예를 들어, 증강현실 컨텐츠 제공 장치를 이용하는 사용자는 증강현실 컨텐츠 제공 장치의 하단에 구비된 바퀴를 통해 전시장을 이동하면서 증강현실 컨텐츠 서비스를 이용할 수 있다. At this time, the apparatus for providing augmented reality content may provide an augmented reality content providing service while moving according to a viewing line of a user. For example, a user using the augmented reality content providing device may use an augmented reality content service while moving to an exhibition hall through a wheel provided at the bottom of the augmented reality content providing device.

이 때, 카메라는 현실 객체를 촬영하여 영상을 획득하기 위한 수단으로써 증강현실 컨텐츠 제공 장치에 구비될 수 있다. 예를 들어, 축소된 사물이 전시된 전시장 또는 관람장에서 카메라를 통해 축소된 사물에 대한 영상을 획득할 수 있다. In this case, the camera may be provided in the apparatus for providing augmented reality content as a means for acquiring an image by photographing a reality object. For example, an image of a reduced object may be acquired through a camera in an exhibition hall or a viewing hall where the reduced object is displayed.

이 때, 카메라는 영상을 확대하여 촬영할 수 있는 줌인(Zoom-In) 기능을 제공할 수 있다. 예를 들어, 카메라의 줌인 기능으로 축소된 사물을 확대하여 확대 영상을 획득할 수 있다. 따라서, 사용자가 축소된 사물을 보기 위해 접근하다가 전시물을 훼손하는 문제를 해결할 수 있으며, 여러 사용자들이 일정거리를 두고 축소된 사물을 관람할 수 있으므로 보다 많은 사용자들이 동시에 관람할 수 있는 장점도 존재한다.In this case, the camera may provide a zoom-in function for enlarging and capturing an image. For example, an enlarged image may be obtained by enlarging an object reduced by the zoom-in function of the camera. Therefore, the user can solve the problem of damaging the exhibits while approaching to view the reduced objects, and there are also advantages that many users can simultaneously view the reduced objects at a certain distance.

이 때, 줌인 기능은 증강현실 컨텐츠 제공 장치에 구비된 사용자 인터페이스를 기반으로 동작할 수 있다. 예를 들어, 사용자가 증강현실 컨텐츠 제공 장치의 손잡이 부분에 줌인 또는 줌 아웃을 입력할 수 있는 슬라이드 버튼을 설치하고, 슬라이드 버튼에 의한 입력값을 카메라로 전달하여 영상의 배율을 조정할 수 있다.In this case, the zoom-in function may operate based on a user interface provided in the apparatus for providing augmented reality content. For example, a user may install a slide button for inputting zoom in or zoom out on a handle of the apparatus for providing augmented reality content, and transmit an input value of the slide button to the camera to adjust the magnification of the image.

이 때, 확대 영상에서 추출되는 특징점은 영상 내에 포함된 현식 객체나 현실 물체에 대한 키 포인트(key point)에 해당할 수 있다. 이 때, 특징점은 현실 객체의 형태나 크기 또는 위치가 변해도 쉽게 식별이 가능한 것일 수 있으며, 증강현실 컨텐츠 제공 장치에 구비된 카메라의 시점이나 조명이 변해도 쉽게 구별이 가능한 것으로 설정될 수 있다. In this case, the feature point extracted from the magnified image may correspond to a key point of a current object or a real object included in the image. In this case, the feature point may be easily identified even if the shape, size, or position of the reality object changes, and the feature point may be set to be easily distinguishable even if the viewpoint or lighting of the camera included in the augmented reality content providing device changes.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 메모리에 저장된 복수개의 시나리오 장면들 중 특징점에 해당하는 시나리오 장면을 검색한다(S320).In addition, in the method for providing augmented reality content according to an embodiment of the present invention, the apparatus for providing augmented reality content searches for a scenario scene corresponding to a feature point among a plurality of scenario scenes stored in a memory (S320).

이 때, 복수개의 시나리오 장면들은 사용자가 증강현실 컨텐츠 제공 서비스를 이용하기 전에 미리 저장되는 것으로, 박물관 또는 전시장에 전시된 현실 객체에 상응하게 생성될 수 있다. 예를 들어, 미니어처 박물관에 전시된 각각의 미니어처 소품들에 대해 다양한 각도와 크기로 촬영을 수행하여 각각의 미니어처 소품들에 대한 시나리오 장면을 생성하고 저장할 수 있다. In this case, the plurality of scenario scenes are stored in advance before the user uses the augmented reality content providing service, and may be generated corresponding to the reality objects displayed in the museum or exhibition hall. For example, each miniature prop displayed in the miniature museum may be photographed at various angles and sizes to generate and store a scenario scene for each miniature prop.

이 때, 하나의 현실 객체에 대해 다양한 각도와 다양한 배율로 촬영을 수행하여 시나리오 장면을 생성할 수 있는데, 하나의 현실 객체에 대한 시나리오 장면을 생성하기 위해 촬영된 모든 영상에서 검출되는 특징점은 동일할 수 있다. 따라서, 증강현실 컨텐츠 제공 장치를 이용하는 사용자가 전시장에 전시된 어느 하나의 현실 객체를 어떤 각도에서 어떤 배율로 촬영하여도 그에 상응하는 하나의 시나리오 장면이 검색될 수 있다.In this case, a scenario scene may be generated by shooting at various angles and various magnifications of one reality object, and the feature points detected in all the images photographed to generate the scenario scene for one reality object may be the same. Can be. Therefore, even if a user using the augmented reality content providing apparatus photographs any one real object displayed in the exhibition hall at any angle at any magnification, one scenario scene corresponding thereto may be searched.

이 때, 복수개의 시나리오 장면들 각각에 포함된 적어도 하나의 참조 특징점과 추출된 특징점을 비교하여 어느 하나의 시나리오 장면을 검색할 수 있다.In this case, any one scenario scene may be searched by comparing the extracted feature points with at least one reference feature point included in each of the plurality of scenario scenes.

이 때, 참조 특징점은 복수개의 시나리오 장면들마다 각각 상이하므로, 추출된 특징점이 하나인 경우에는 시나리오 장면도 한 개만 검색되어 제공될 수 있다.In this case, since the reference feature points are different for each of the plurality of scenario scenes, only one scenario scene may be searched and provided when there is one extracted feature point.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 어느 하나의 시나리오 장면에 연동된 증강현실 컨텐츠를 확대 영상에 상응하는 확대 레벨의 단계별로 디스플레이 한다(S330).In addition, in the method for providing augmented reality content according to an embodiment of the present invention, the apparatus for providing augmented reality content displays the augmented reality content linked to one of the scenario scenes in steps of an enlargement level corresponding to the magnified image (S330). .

이 때, 증강현실 컨텐츠는 애니메이션, 텍스트 및 오디오 중 적어도 하나를 포함할 수 있다. 예를 들어, 증강현실 컨텐츠는 증강현실 컨텐츠 제공 장치에 구비된 디스플레이 모듈과 스피커 모듈을 기반으로 영상과 오디오의 형태로 출력될 수 있다. In this case, the AR content may include at least one of animation, text, and audio. For example, the augmented reality content may be output in the form of video and audio based on a display module and a speaker module provided in the augmented reality content providing apparatus.

이 때, 복수개의 시나리오 장면들은 각각 확대 레벨의 단계별로 상이한 증강현실 컨텐츠가 연동될 수 있다. 즉, 카메라를 통해 영상을 확대하는 범위에 따라 증강현실 컨텐츠를 단계적으로 구성하여 제공할 수 있다.In this case, the plurality of scenario scenes may be linked with different augmented reality content in each step of the magnification level. That is, the augmented reality content can be provided in stages according to the range of enlarging the image through the camera.

예를 들어, 사용자가 증강현실 컨텐츠 제공 장치에 구비된 카메라를 통해 미니어처 마을을 확대한 경우, 마을에 대한 소개와 마을 구성원들이 어디에 사는지에 대한 스토리를 제공할 수 있다. 이 때, 사용자가 마을에 있는 어느 한 집을 확대한 경우에는 확대한 집의 가족 구성원에 대한 스토리를 제공할 수 있다. 또한, 사용자가 다시 가족 구성원 중 한 명을 확대한 경우에는 선택한 사람의 이야기를 자세하게 설명해주는 시나리오를 보여줄 수도 있다.For example, when a user enlarges a miniature village through a camera provided in the apparatus for providing augmented reality content, the user may provide an introduction to the village and a story about where the village members live. In this case, when the user enlarges one house in the village, the user may provide a story about a family member of the enlarged house. In addition, when the user expands one of the family members again, the user may show a scenario that describes in detail the story of the selected person.

또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 카메라에 대한 줌 아웃(Zoom-Out) 기능을 기반으로 증강현실 컨텐츠를 디스플레이 하는 컨텐츠 출력 모드를 종료하고, 확대되지 않은 영상에 대한 기본 정보를 제공하는 기본 정보 제공 모드로 동작할 수 있다.In addition, although not shown in FIG. 3, in the method for providing augmented reality content according to an embodiment of the present invention, the apparatus for providing augmented reality content displays augmented reality content based on a zoom-out function for a camera. The content output mode may be terminated and the user may operate in a basic information providing mode that provides basic information about an unenlarged image.

즉, 줌인 또는 줌 아웃에 의한 카메라의 배율을 고려하여 컨텐츠 출력 모드 또는 기본 정보 제공 모드로 교체되어 동작할 수 있다.That is, the camera may be switched to the content output mode or the basic information providing mode in consideration of the magnification of the camera by zooming in or out.

또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은, 증강현실 컨텐츠 제공 장치에 두 개의 카메라들이 구비되는 경우, 두 개의 카메라들에 기반한 제1 확대 영상 및 제2 확대 영상 내에서 제1 특징점 및 제2 특징점을 추출할 수 있다. In addition, although not shown in FIG. 3, the augmented reality content providing method according to an embodiment of the present invention, when the augmented reality content providing apparatus is provided with two cameras, the first enlarged image based on the two cameras and The first feature point and the second feature point may be extracted from the second magnified image.

이 때, 증강현실 컨텐츠 제공 장치가, 복수개의 시나리오 장면들 중 제1 특징점에 일치하는 제1 시나리오 장면과 제2 특징점에 일치하는 제2 시나리오 장면을 검색할 수 있다. In this case, the apparatus for providing augmented reality content may search for a first scenario scene that matches the first feature point and a second scenario scene that matches the second feature point among a plurality of scenario scenes.

이 때, 증강현실 컨텐츠 제공 장치가, 제1 시나리오 장면과 제2 시나리오 장면이 연동된 연동 증강현실 컨텐츠를 디스플레이 할 수 있다. In this case, the apparatus for providing augmented reality content may display the linked augmented reality content in which the first scenario scene and the second scenario scene are linked.

또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 상술한 증강현실 컨텐츠 제공 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.In addition, although not shown in Figure 3, the augmented reality content providing method according to an embodiment of the present invention may store a variety of information generated in the above-described augmented reality content providing process in a separate storage module.

이와 같은 증강현실 컨텐츠 제공 방법을 통해 실세계를 작게 축소한 관람환경에서 축소된 사물에 대해 확대된 증강현실 서비스를 제공함으로써 관람자가 축소된 사물과 장면을 효과적으로 인식할 수 있도록 할 수 있다.Through the augmented reality content providing method as described above, an augmented reality service may be provided for a reduced object in a viewing environment in which the real world is reduced in size so that the viewer can effectively recognize the reduced object and scene.

도 4 내지 도 5는 본 발명에 따른 증강현실 컨텐츠 제공 장치를 사용하는 일 예를 나타낸 도면이다.4 to 5 are diagrams showing an example of using the apparatus for providing augmented reality content according to the present invention.

먼저, 도 4를 참조하면, 본 발명에 따른 증강현실 컨텐츠 제공 장치(400)를 통해 사용자(401)가 미니어처 박물관을 관람하는 실시예를 보여준다.First, referring to FIG. 4, an embodiment in which the user 401 views a miniature museum through the augmented reality content providing apparatus 400 according to the present invention.

이 때, 미니어처 박물관은 정교한 제품을 다양한 스토리에 상응하게 매치하여 전시하는 경우가 많다. 그러나, 미니어처 제품은 매우 작고 직접 만질 수 없는 경우가 대부분이기 때문에 일반적인 시선에서는 자세하게 관람하기 어렵다는 문제가 존재한다. 또한, 카메라로 보는 화면에서는 미니어처 제품이 더욱 작게 보이기 때문에 미니어처 제품을 통해 구성된 시나리오 내의 특정 장면을 자세히 보려면 확대하여 볼 필요가 있다.At this time, miniature museums often display sophisticated products corresponding to various stories. However, there is a problem in that miniature products are very small and can not be touched in most cases, so it is difficult to view details in general eyes. In addition, the miniature product looks smaller on the screen viewed by the camera, so it is necessary to zoom in to see a specific scene in the scenario configured by the miniature product in detail.

따라서, 본 발명에서는 이러한 불편함을 해소하기 위하여 축소된 사물이나 물체를 관람하는 관람환경에서 활용할 수 있는 증강현실 컨텐츠 제공 장치(400)를 제공한다. Accordingly, the present invention provides an augmented reality content providing apparatus 400 that can be utilized in a viewing environment for viewing a reduced object or object in order to eliminate such inconvenience.

예를 들어, 사용자(401)는 도 4에 도시된 것과 같이 본 발명에 따른 증강현실 컨텐츠 제공 장치(400)를 가지고 이동하다가, 증강현실 컨텐츠 제공 장치(400)에 구비된 손잡이를 상하좌우로 돌려 디스플레이 화면에 원하는 스토리가 보이도록 조정한다. 이 때, 사용자(401)는 손잡이에 있는 줌인 버튼을 눌러 미니어처 박물관에 전시된 현실 객체들(410, 420) 중 어느 하나를 확대할 수 있다. 이 때, 증강현실 컨텐츠 제공 장치(500)는 도 5에 도시된 것과 같이, 확대 영상(510, 520, 530)에 상응하는 시나리오 장면을 인식하고, 시나리오 장면에 미리 연동된 애니메이션, 음악, 설명(텍스트, 오디오) 등의 증강현실 컨텐츠를 증강현실 컨텐츠 제공 장치(500)에 구비된 디스플레이 모듈 및 스피커 모듈로 출력할 수 있다.For example, the user 401 moves with the augmented reality content providing apparatus 400 according to the present invention as shown in FIG. 4, and rotates the handle provided in the augmented reality content providing apparatus 400 in up, down, left, and right. Adjust the display to show the story you want. At this time, the user 401 may press one of the zoom-in buttons on the handle to enlarge any one of the reality objects 410 and 420 displayed in the miniature museum. In this case, as shown in FIG. 5, the apparatus 500 for augmented reality content may recognize a scenario scene corresponding to the magnified images 510, 520, and 530, and may include animation, music, and description associated with the scenario scene in advance. Augmented reality content such as text, audio) may be output to a display module and a speaker module provided in the augmented reality content providing apparatus 500.

이 후, 사용자(501)는 증강현실 컨텐츠 제공 장치(500)의 손잡이에 있는 줌 아웃 버튼을 눌러 디스플레이 모듈의 화면을 줌 아웃하고 다른 현실 객체를 줌 인하여 증강현실 컨텐츠 제공 서비스를 계속 이용할 수 있다.Thereafter, the user 501 may press the zoom out button on the handle of the augmented reality content providing apparatus 500 to zoom out the screen of the display module and zoom in on another reality object to continue using the augmented reality content providing service.

도 6은 본 발명에 따른 단계별 디스플레이의 일 예를 나타낸 도면이다.6 is a diagram illustrating an example of a step-by-step display according to the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치에 구비된 카메라가 현실 객체를 촬영하는 영상을 확대하는 범위에 따라 시나리오 장면에 상응하게 제공되는 증강현실 컨텐츠를 단계적으로 구성할 수 있다. Referring to FIG. 6, according to an embodiment of the present invention, augmented reality content provided corresponding to a scenario scene according to a range in which a camera provided in an apparatus for providing augmented reality content according to an embodiment of the present invention enlarges an image of a reality object is gradually staged. can do.

예를 들어, 증강현실 컨텐츠 제공 장치를 이용하는 사용자가 도 6에 도시된 것과 같이 미니어처 마을 전체를 1단계 확대(610)에 상응하게 확대한 경우에는 증강현실 컨텐츠를 통해 마을에 대한 소개와 마을 구성원들이 어디에 사는지에 관한 애니메이션을 보여줄 수 있다. For example, when a user using the apparatus for providing augmented reality contents enlarges the miniature village corresponding to the first stage expansion 610 as shown in FIG. 6, the introduction of the village and the members of the village through the augmented reality contents are performed. You can show an animation of where you live.

다른 예를 들어, 미니어처 마을에서 한 집을 선택하여 2단계 확대(620)에 상응하게 확대한 경우, 증강현실 컨텐츠를 통해 선택한 집의 가족에 대한 설명을 제공하는 애니메이션을 보여줄 수도 있다.For another example, when a house is selected in the miniature village and enlarged corresponding to the second step enlargement 620, an animation providing a description of the family of the selected house may be shown through augmented reality content.

또 다른 예를 들어, 집에 가족 구성원 중 한 명을 선택하여 3단계 확대(630)에 상응하게 확대한 경우, 증강현실 컨텐츠를 통해 선택한 사람의 이야기를 자세하게 설명해 주는 애니메이션을 보여줄 수도 있다.As another example, when one of the family members is selected at home and enlarged in correspondence with the three-stage enlargement 630, an animation that describes in detail the story of the selected person through augmented reality content may be shown.

도 7는 본 발명에 따른 2개의 카메라들을 이용하여 제공되는 연동 증강현실 컨텐츠의 일 예를 나타낸 도면이다.7 is a diagram illustrating an example of linked augmented reality content provided using two cameras according to the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치가 두 개의 카메라들을 구비하는 경우, 두 개의 카메라들을 통해 촬영된 각각의 확대 영상(710, 720)은 증강현실 컨텐츠 제공 장치의 디스플레이 화면을 분할하여 나타낼 수 있다. Referring to FIG. 7, when the apparatus for providing augmented reality content according to an embodiment of the present invention includes two cameras, each of the enlarged images 710 and 720 photographed through the two cameras is an apparatus for providing augmented reality content. The display screen may be divided and displayed.

이 때, 디스플레이 화면을 분할하여 제공되는 각각의 확대 영상(710, 720)에 대한 시나리오 장면을 인식할 수 있다. At this time, the scenario scene for each of the enlarged images 710 and 720 provided by dividing the display screen may be recognized.

만약, 인식된 두 개의 시나리오 장면들이 연관관계에 상응하는 경우, 확대 영상(710)과 확대 영상(720)에 등장하는 가상인물이나 캐릭터들이 상호 연동하는 연동 증간현실 컨텐츠를 디스플레이 할 수도 있다.If the recognized two scenario scenes correspond to an association relationship, the virtual content or the virtual characters appearing in the magnified image 710 and the magnified image 720 may be displayed.

예를 들어, 도 7에 도시된 확대 영상(710)의 시나리오 장면이 단독으로 인식되었을 경우, 증강현실 컨텐츠를 통해 컬링 경기를 하는 애니메이션을 제공할 수 있다. For example, when the scenario scene of the magnified image 710 illustrated in FIG. 7 is recognized alone, an animation of a curling game may be provided through augmented reality content.

다른 예를 들어, 확대 영상(720)의 시나리오 장면이 단독으로 인식되었을 경우, 증강현실 컨텐츠를 통해 캐롤을 합창하는 애니메이션을 제공할 수 있다.For another example, when a scenario scene of the magnified image 720 is recognized alone, an animation for chorusing a carol through augmented reality content may be provided.

또 다른 예를 들어, 도 7에 도시된 확대 영상(710)과 확대 영상(720)에 해당하는 두 개의 시나리오 장면들이 인식되었을 경우, 증강현실 컨텐츠를 통해 컬링 게임 경기와 함께 확대 영상(720)에 포함된 캐릭터들이 응원가를 불러주는 애니메이션을 제공함으로써 두 화면이 연동하여 동작하는 시나리오를 제공해줄 수 있다. 이 때, 본 발명의 일실시예에 따른 증강현실 컨텐츠는 사용자가 이용할 수 있는 가상 인터페이스(711)를 제공하여 증강현실 컨텐츠의 애니메이션에 직접 참여할 수 있는 서비스를 제공할 수도 있다.As another example, when two scenario scenes corresponding to the enlarged image 710 and the enlarged image 720 illustrated in FIG. 7 are recognized, the enlarged image 720 is accompanied by a curling game match through augmented reality content. The included characters can provide animations that call cheering artists to provide a scenario in which the two screens work together. At this time, the augmented reality content according to an embodiment of the present invention may provide a service that can directly participate in the animation of the augmented reality content by providing a virtual interface 711 that can be used by the user.

도 8은 본 발명에 따른 증강현실 컨텐츠 제공 장치의 구조의 일 예를 나타낸 도면이다.8 is a diagram illustrating an example of a structure of an apparatus for providing augmented reality content according to the present invention.

도 8을 참조하면, 본 발명에 따른 증강현실 컨텐츠 제공 장치(810)는 종래의 장치(800)와 비교하여 않은 증강현실 시스템(811), 카메라 및 스피커(812), 줌인/줌 아웃 손잡이(813) 및 이동식 몸체(814)로 구성될 수 있다.Referring to FIG. 8, the apparatus for providing augmented reality content 810 according to the present invention may include an augmented reality system 811, a camera and a speaker 812, a zoom in / zoom out knob 813, which are not comparable to those of the conventional apparatus 800. And a movable body 814.

이 때, 증강현실 시스템(811), 카메라 및 스피커(812), 줌인/줌 아웃 손잡이(813)가 포함된 상단부와 이동식 몸체(814)가 포함된 하단부는 상하좌우 회전이 가능한 힌지(hinge)로 연결될 수 있다. At this time, the upper end including the augmented reality system 811, the camera and speaker 812, the zoom in / zoom out handle 813 and the lower end including the movable body 814 is a hinge that can be rotated up, down, left and right Can be connected.

이 때, 도 8에 도시된 증강현실 컨텐츠 제공 장치(810)에는 발판이 도시되어 있지 않지만, 키가 작은 사람이 올라설 수 있는 발판을 구비할 수도 있다.At this time, the augmented reality content providing device 810 shown in Figure 8 is not shown a footrest, but may be provided with a foothold that can be raised by a short person.

도 9는 본 발명에 따른 증강현실 컨텐츠 제공 시스템의 일 예를 나타낸 블록도이다.9 is a block diagram showing an example of an augmented reality content providing system according to the present invention.

도 9를 참조하면, 증강현실 컨텐츠 제공 시스템은 기능 수행을 위해 필요한 정보 혹은 수행 결과를 저장하는 적어도 하나 이상의 저장모듈과 기능을 수행하는 적어도 하나 이상의 프로세서를 포함할 수 있다.Referring to FIG. 9, an AR content providing system may include at least one storage module for storing information or a result of performing a function and at least one processor for performing a function.

또한, 증강현실 컨텐츠 제공 시스템은 내부의 구성요소들 간의 통신 혹은 외부 장치와의 통신 중 적어도 하나를 위한 통신모듈을 포함할 수도 있다.In addition, the AR content providing system may include a communication module for at least one of communication between internal components or communication with an external device.

도 9에 도시된 증강현실 컨텐츠 제공 시스템은 처리 모듈(900), 카메라 모듈(910), 버튼 모듈(920), 디스플레이 모듈(930) 및 스피커 모듈(940)로 구성되어 있으나, 시스템 구성이 이에 한정된 것은 아니다.The augmented reality content providing system illustrated in FIG. 9 includes a processing module 900, a camera module 910, a button module 920, a display module 930, and a speaker module 940, but the system configuration is limited thereto. It is not.

카메라 모듈(910)은 현실 객체를 촬영하여 영상을 획득하고, 획득한 영상을 처리 모듈(900)로 제공하는 것으로, 적어도 하나 이상의 고배율 카메라로 구현될 수 있다.The camera module 910 acquires an image by photographing a real object, and provides the acquired image to the processing module 900, and may be implemented by at least one high magnification camera.

버튼 모듈(920)은 증강현실 컨텐츠 제공 시스템이 제공하는 서비스를 설정하기 위한 것으로, 사용자는 화면을 확대하고 축소하는 것을 버튼 모듈(920)을 통해 입력할 수 있다.The button module 920 is for setting a service provided by the augmented reality content providing system. The user may input the enlargement and reduction of the screen through the button module 920.

디스플레이 모듈(930)은 처리 모듈(900)로부터 제공되는 증강현실 컨텐츠를 디스플레이 할 수 있다. 예를 들어, 디스플레이 모듈(930)은 LCD 패널을 포함하거나, OLED 패턴으로 구현될 수 있으나, 디스플레이 모듈(930)의 구현이 이에 한정 된 것은 아니다.The display module 930 may display augmented reality content provided from the processing module 900. For example, the display module 930 may include an LCD panel or an OLED pattern, but the display module 930 is not limited thereto.

스피커 모듈(940)은 처리 모듈(900)로부터 제공되는 증강현실 컨텐츠의 오디오를 플레이 할 수 있다. 이 때, 스피커 모듈(940)은 적어도 하나 이상의 스피커로 구현될 수 있다.The speaker module 940 may play audio of augmented reality content provided from the processing module 900. In this case, the speaker module 940 may be implemented with at least one speaker.

처리 모듈(900)은 카메라 모듈(910)을 통해 획득된 영상이 어떤 시나리오 장면인지 인식하고, 시나리오 장면과 연동된 증강현실 콘텐츠를 검색하여 디스플레이 모듈(930)과 스피커 모듈(940)을 통해 영상과 오디오를 제공할 수 있다.The processing module 900 recognizes which scenario scene an image acquired through the camera module 910 is, retrieves an augmented reality content associated with the scenario scene, and displays the image through the display module 930 and the speaker module 940. Audio can be provided.

도 10은 도 9에 도시된 처리 모듈의 일 예를 나타낸 블록도이다.10 is a block diagram illustrating an example of a processing module illustrated in FIG. 9.

도 10을 참조하면, 도 9에 도시된 처리 모듈(900)은 입력 처리부(1010), 영상 처리부(1020), 표현 처리부(1030), 서비스 정보 DB(1040), 장면 정보 DB(1050) 및 컨텐츠 정보 DB(1060)로 구성될 수 있다.Referring to FIG. 10, the processing module 900 illustrated in FIG. 9 may include an input processor 1010, an image processor 1020, an expression processor 1030, a service information DB 1040, a scene information DB 1050, and content. Information DB 1060 may be configured.

먼저, 입력 처리부(1010)는 버튼 모듈로부터 수신된 신호를 처리할 수 있다. 예를 들어, 줌인 신호 또는 줌 아웃 신호가 입력되는 경우, 영상 처리부(1020)로 전달하여 처리할 수 있다. 다른 예를 들어, 전원 신호가 입력되는 경우, 시스템의 전원을 켜거나 끌 수도 있다.First, the input processor 1010 may process a signal received from a button module. For example, when a zoom-in signal or a zoom-out signal is input, the zoom-in signal may be transmitted to the image processor 1020 for processing. In another example, when a power signal is input, the system may be turned on or off.

영상 처리부(1020)는 카메라 모듈로부터 수신된 영상을 처리한 후, 처리 결과를 표현 처리부(1030)로 출력할 수 있다. The image processor 1020 may process an image received from the camera module and then output the processing result to the expression processor 1030.

예를 들어, 입력 처리부(1010)로부터 줌인 신호가 입력되는 경우, 컨텐츠 출력 모드로 인식하고 현실 객체를 포함하는 확대 영상에서 특징점을 추출하여 표현 처리부(1030)로 출력해줄 수 있다.For example, when a zoom-in signal is input from the input processor 1010, the zoom-in signal may be recognized as a content output mode and the feature point may be extracted from the enlarged image including the real object and output to the expression processor 1030.

다른 예를 들어, 입력 처리부(1010)로부터 줌 아웃 신호가 입력되는 경우, 컨텐츠 출력 모드를 종료하고 기본 정보 제공 모드로 동작할 수 있다.For another example, when the zoom-out signal is input from the input processor 1010, the content output mode may be terminated and the basic information providing mode may be operated.

표현 처리부(1030)는 기본 정보 제공 모드인 경우, 서비스 정보 DB(1040)를 바탕으로 기본 정보를 표현할 수 있다. 또한, 표현 처리부(1030)는 컨텐츠 제공 모드인 경우, 영상 처리부(1020)로부터 수신한 특징점과 장면 정보 DB(1050)에 저장된 복수개의 시나리오 장면들의 참조 특징점을 비교하여 현재의 확대 영상에 해당하는 시나리오 장면을 인식하고, 컨텐츠 정보 DB(1060)로부터 연동된 증강현실 콘텐츠를 획득하여 출력할 수 있다.In the basic information providing mode, the expression processing unit 1030 may express basic information based on the service information DB 1040. In addition, in the content providing mode, the expression processor 1030 compares a feature point received from the image processor 1020 with reference feature points of a plurality of scenario scenes stored in the scene information DB 1050 and corresponds to a current enlarged image. Recognizes the scene, and obtains and outputs the augmented reality content linked from the content information DB (1060).

이 때, 서비스 정보 DB(1040)에는 다수의 서비스 운영정보가 저장될 수 있다.In this case, a plurality of service operation information may be stored in the service information DB 1040.

이 때, 장면 정보 DB(1050)에는 시나리오 장면 별로 미리 촬영된 특징점이 저장될 수 있다.At this time, the scene information DB 1050 may store a feature point photographed in advance for each scenario scene.

이 때, 컨텐츠 정보 DB(1060)에는 시나리오 장면 별로 증강될 영상, 애니메이션, 오디오, 텍스트 등의 증강현실 컨텐츠가 저장될 수 있다.At this time, the content information DB 1060 may store augmented reality content such as an image, animation, audio, and text to be augmented for each scenario scene.

도 11은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치를 나타낸 블록도이다.11 is a block diagram illustrating an apparatus for providing augmented reality content according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 통신부(1110), 프로세서(1120) 및 메모리(1130)를 포함한다.Referring to FIG. 11, an apparatus for providing augmented reality content according to an embodiment of the present invention includes a communication unit 1110, a processor 1120, and a memory 1130.

통신부(1110)는 네트워크와 같은 통신망을 통해 증강현실 컨텐츠 제공 서비스를 위해 필요한 정보를 송수신하는 역할을 할 수 있다. The communication unit 1110 may play a role of transmitting and receiving information necessary for augmented reality content providing service through a communication network such as a network.

프로세서(1120)는 카메라의 줌인(Zoom-In) 기능을 통해 현실 객체를 확대 촬영한 확대 영상 내에서 특징점을 추출한다.The processor 1120 extracts a feature point within a magnified image of an enlarged image of a real object through a zoom-in function of the camera.

이 때, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 축소된 사물이 전시된 곳이나 먼 곳에 위치하고 있어서 잘 보이지 않는 사물 등을 확대하여 관람하기 위해 이용될 수 있다. 예를 들어, 미니어처 박물관에서 증강현실 컨텐츠 제공 장치를 통해 축소된 현실 객체를 확대하여 관람하기 위해 사용될 수 있다.In this case, the apparatus for providing augmented reality content according to an exemplary embodiment of the present invention may be used to enlarge and view an object that is not easily seen because the reduced object is located in a place where it is displayed or far away. For example, the miniature museum may be used to enlarge and view the reduced reality object through the apparatus for providing augmented reality content.

이 때, 증강현실 컨텐츠 제공 장치는 사용자의 관람 동선에 따라 이동하면서 증강현실 컨텐츠 제공 서비스를 제공할 수 있다. 예를 들어, 증강현실 컨텐츠 제공 장치를 이용하는 사용자는 증강현실 컨텐츠 제공 장치의 하단에 구비된 바퀴를 통해 전시장을 이동하면서 증강현실 컨텐츠 서비스를 이용할 수 있다. At this time, the apparatus for providing augmented reality content may provide an augmented reality content providing service while moving according to a viewing line of a user. For example, a user using the augmented reality content providing device may use an augmented reality content service while moving to an exhibition hall through a wheel provided at the bottom of the augmented reality content providing device.

이 때, 카메라는 현실 객체를 촬영하여 영상을 획득하기 위한 수단으로써 증강현실 컨텐츠 제공 장치에 구비될 수 있고, 프로세서(1120)와 연계하여 동작할 수 있다. 예를 들어, 축소된 사물이 전시된 전시장 또는 관람장에서 카메라를 통해 축소된 사물에 대한 영상을 획득할 수 있다. In this case, the camera may be provided in the apparatus for providing augmented reality content as a means for acquiring an image by photographing a reality object, and may operate in connection with the processor 1120. For example, an image of a reduced object may be acquired through a camera in an exhibition hall or a viewing hall where the reduced object is displayed.

이 때, 카메라는 영상을 확대하여 촬영할 수 있는 줌인(Zoom-In) 기능을 제공할 수 있다. 예를 들어, 카메라의 줌인 기능으로 축소된 사물을 확대하여 확대 영상을 획득할 수 있다. 따라서, 사용자가 축소된 사물을 보기 위해 접근하다가 전시물을 훼손하는 문제를 해결할 수 있으며, 여러 사용자들이 일정거리를 두고 축소된 사물을 관람할 수 있으므로 보다 많은 사용자들이 동시에 관람할 수 있는 장점도 존재한다.In this case, the camera may provide a zoom-in function for enlarging and capturing an image. For example, an enlarged image may be obtained by enlarging an object reduced by the zoom-in function of the camera. Therefore, the user can solve the problem of damaging the exhibits while approaching to view the reduced objects, and there are also advantages that many users can simultaneously view the reduced objects at a certain distance.

이 때, 줌인 기능은 증강현실 컨텐츠 제공 장치에 구비된 사용자 인터페이스를 기반으로 동작할 수 있다. 예를 들어, 사용자가 증강현실 컨텐츠 제공 장치의 손잡이 부분에 줌인 또는 줌 아웃을 입력할 수 있는 슬라이드 버튼을 설치하고, 슬라이드 버튼에 의한 입력값을 카메라로 전달하여 영상의 배율을 조정할 수 있다.In this case, the zoom-in function may operate based on a user interface provided in the apparatus for providing augmented reality content. For example, a user may install a slide button for inputting zoom in or zoom out on a handle of the apparatus for providing augmented reality content, and transmit an input value of the slide button to the camera to adjust the magnification of the image.

이 때, 확대 영상에서 추출되는 특징점은 영상 내에 포함된 현식 객체나 현실 물체에 대한 키 포인트(key point)에 해당할 수 있다. 이 때, 특징점은 현실 객체의 형태나 크기 또는 위치가 변해도 쉽게 식별이 가능한 것일 수 있으며, 증강현실 컨텐츠 제공 장치에 구비된 카메라의 시점이나 조명이 변해도 쉽게 구별이 가능한 것으로 설정될 수 있다.In this case, the feature point extracted from the magnified image may correspond to a key point of a current object or a real object included in the image. In this case, the feature point may be easily identified even if the shape, size, or position of the reality object changes, and the feature point may be set to be easily distinguishable even if the viewpoint or lighting of the camera included in the augmented reality content providing device changes.

또한, 프로세서(1120)는 메모리에 저장된 복수개의 시나리오 장면들 중 특징점에 해당하는 시나리오 장면을 검색한다.In addition, the processor 1120 searches for a scenario scene corresponding to a feature point among a plurality of scenario scenes stored in a memory.

이 때, 복수개의 시나리오 장면들은 사용자가 증강현실 컨텐츠 제공 서비스를 이용하기 전에 미리 저장되는 것으로, 박물관 또는 전시장에 전시된 현실 객체에 상응하게 생성될 수 있다. 예를 들어, 미니어처 박물관에 전시된 각각의 미니어처 소품들에 대해 다양한 각도와 크기로 촬영을 수행하여 각각의 미니어처 소품들에 대한 시나리오 장면을 생성하고 저장할 수 있다. In this case, the plurality of scenario scenes are stored in advance before the user uses the augmented reality content providing service, and may be generated corresponding to the reality objects displayed in the museum or exhibition hall. For example, each miniature prop displayed in the miniature museum may be photographed at various angles and sizes to generate and store a scenario scene for each miniature prop.

이 때, 하나의 현실 객체에 대해 다양한 각도와 다양한 배율로 촬영을 수행하여 시나리오 장면을 생성할 수 있는데, 하나의 현실 객체에 대한 시나리오 장면을 생성하기 위해 촬영된 모든 영상에서 검출되는 특징점은 동일할 수 있다. 따라서, 증강현실 컨텐츠 제공 장치를 이용하는 사용자가 전시장에 전시된 어느 하나의 현실 객체를 어떤 각도에서 어떤 배율로 촬영하여도 그에 상응하는 하나의 시나리오 장면이 검색될 수 있다.In this case, a scenario scene may be generated by shooting at various angles and various magnifications of one reality object, and the feature points detected in all the images captured to generate the scenario scene for one reality object may be the same. Can be. Therefore, even if a user using the augmented reality content providing apparatus photographs any one real object displayed in the exhibition hall at any angle at any magnification, one scenario scene corresponding thereto may be searched.

이 때, 복수개의 시나리오 장면들 각각에 포함된 적어도 하나의 참조 특징점과 추출된 특징점을 비교하여 어느 하나의 시나리오 장면을 검색할 수 있다.In this case, any one scenario scene may be searched by comparing the extracted feature points with at least one reference feature point included in each of the plurality of scenario scenes.

이 때, 참조 특징점은 복수개의 시나리오 장면들마다 각각 상이하므로, 추출된 특징점이 하나인 경우에는 시나리오 장면도 한 개만 검색되어 제공될 수 있다.In this case, since the reference feature points are different for each of the plurality of scenario scenes, only one scenario scene may be searched and provided when there is one extracted feature point.

또한, 프로세서(1120)는 어느 하나의 시나리오 장면에 연동된 증강현실 컨텐츠를 확대 영상에 상응하는 확대 레벨의 단계별로 디스플레이 한다.In addition, the processor 1120 displays augmented reality content linked to one of the scenario scenes in steps of an enlargement level corresponding to the enlarged image.

이 때, 증강현실 컨텐츠는 애니메이션, 텍스트 및 오디오 중 적어도 하나를 포함할 수 있다. 예를 들어, 증강현실 컨텐츠는 증강현실 컨텐츠 제공 장치에 구비된 디스플레이 모듈과 스피커 모듈을 기반으로 영상과 오디오의 형태로 출력될 수 있다. In this case, the AR content may include at least one of animation, text, and audio. For example, the augmented reality content may be output in the form of video and audio based on a display module and a speaker module provided in the augmented reality content providing apparatus.

이 때, 복수개의 시나리오 장면들은 각각 확대 레벨의 단계별로 상이한 증강현실 컨텐츠가 연동될 수 있다. 즉, 카메라를 통해 영상을 확대하는 범위에 따라 증강현실 컨텐츠를 단계적으로 구성하여 제공할 수 있다.In this case, the plurality of scenario scenes may be linked with different augmented reality content in each step of the magnification level. That is, the augmented reality content can be provided in stages according to the range of enlarging the image through the camera.

예를 들어, 사용자가 증강현실 컨텐츠 제공 장치에 구비된 카메라를 통해 미니어처 마을을 확대한 경우, 마을에 대한 소개와 마을 구성원들이 어디에 사는지에 대한 스토리를 제공할 수 있다. 이 때, 사용자가 마을에 있는 어느 한 집을 확대한 경우에는 확대한 집의 가족 구성원에 대한 스토리를 제공할 수 있다. 또한, 사용자가 다시 가족 구성원 중 한 명을 확대한 경우에는 선택한 사람의 이야기를 자세하게 설명해주는 시나리오를 보여줄 수도 있다.For example, when a user enlarges a miniature village through a camera provided in the apparatus for providing augmented reality content, the user may provide an introduction to the village and a story about where the village members live. In this case, when the user enlarges one house in the village, the user may provide a story about a family member of the enlarged house. Also, when the user expands one of the family members again, the user may show a scenario that describes in detail the story of the selected person.

또한, 프로세서(1120)는 카메라에 대한 줌 아웃(Zoom-Out) 기능을 기반으로 증강현실 컨텐츠를 디스플레이 하는 컨텐츠 출력 모드를 종료하고, 확대되지 않은 영상에 대한 기본 정보를 제공하는 기본 정보 제공 모드로 동작할 수 있다.In addition, the processor 1120 terminates the content output mode displaying the augmented reality content based on the zoom-out function of the camera, and enters the basic information providing mode that provides basic information about the unexpanded image. It can work.

즉, 줌인 또는 줌 아웃에 의한 카메라의 배율을 고려하여 컨텐츠 출력 모드 또는 기본 정보 제공 모드로 교체되어 동작할 수 있다.That is, the camera may be switched to the content output mode or the basic information providing mode in consideration of the magnification of the camera by zooming in or out.

또한, 프로세서(1120)는 증강현실 컨텐츠 제공 장치에 두 개의 카메라들이 구비되는 경우, 두 개의 카메라들에 기반한 제1 확대 영상 및 제2 확대 영상 내에서 제1 특징점 및 제2 특징점을 추출할 수 있다.In addition, when two cameras are provided in the apparatus for providing augmented reality content, the processor 1120 may extract the first feature point and the second feature point within the first and second enlarged images based on the two cameras. .

이 때, 복수개의 시나리오 장면들 중 제1 특징점에 일치하는 제1 시나리오 장면과 제2 특징점에 일치하는 제2 시나리오 장면을 검색할 수 있고, 제1 시나리오 장면과 제2 시나리오 장면이 연동된 연동 증강현실 컨텐츠를 디스플레이 할 수 있다.In this case, the first scenario scene matching the first feature point and the second scenario scene matching the second feature point may be searched among the plurality of scenario scenes, and the linkage enhancement in which the first scenario scene and the second scenario scene are linked to each other. Real content can be displayed.

메모리(1130)는 복수개의 시나리오 장면들을 저장한다.The memory 1130 stores a plurality of scenario scenes.

또한, 메모리(1130)는 복수개의 시나리오 장면들 각각에 연동되는 확대 레벨의 단계별 증강현실 컨텐츠도 함께 저장할 수 있다. In addition, the memory 1130 may store the augmented reality content of each step of the magnification level linked to each of the plurality of scenario scenes.

이 때, 복수개의 시나리오 장면들과 각각의 증강현실 컨텐츠는 동일한 저장모듈에 연동되어 저장될 수도 있고, 각각 다른 저장 모듈에 연동되어 저장될 수도 있으나 특정한 형태에 한정되지 않는다. In this case, the plurality of scenario scenes and the respective augmented reality content may be stored in association with the same storage module, or may be stored in association with each other storage module, but are not limited thereto.

또한, 메모리(1130)는 상술한 바와 같이 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 과정에서 발생하는 다양한 정보를 저장한다.In addition, the memory 1130 stores various information generated in the process of providing augmented reality content according to an embodiment of the present invention as described above.

실시예에 따라, 메모리(1130)는 증강현실 컨텐츠 제공 장치와 독립적으로 구성되어 증강현실 컨텐츠 제공 서비스를 위한 기능을 지원할 수 있다. 이 때, 메모리(1130)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the memory 1130 may be configured independently of the apparatus for providing augmented reality content to support a function for an augmented reality content providing service. In this case, the memory 1130 may operate as a separate mass storage, and may include a control function for performing an operation.

한편, 증강현실 컨텐츠 제공 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the apparatus for providing augmented reality content may include a memory and store information in the apparatus. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. In one embodiment, the storage device is a computer readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 증강현실 컨텐츠 제공 장치를 이용함으로써, 증강현실 시스템을 통해 박물관에 전시된 사물에 대해 세밀한 설명과 함께 관련된 애니메이션 장면을 제공할 수 있다.By using the apparatus for providing augmented reality contents such as this, it is possible to provide an animation scene associated with a detailed description of an object displayed in a museum through an augmented reality system.

또한, 전시물과 일정거리를 두고 카메라 화면을 확대하여 증강현실 컨텐츠를 제공함으로써 관람자들이 전시물을 파손하는 것을 방지할 수도 있다.In addition, by providing augmented reality content by enlarging the camera screen at a certain distance from the exhibit, viewers may be prevented from damaging the exhibit.

도 12는 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법을 상세하게 나타낸 동작흐름도이다.12 is a flowchart illustrating an augmented reality content providing method according to an embodiment of the present invention in detail.

도 12를 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치를 처음 시작하는 경우, 기본 정보 제공 모드로 동작하여 기본 설명 화면을 제공할 수 있다(S1210).Referring to FIG. 12, when the apparatus for providing augmented reality content according to an embodiment of the present invention starts for the first time, the augmented reality content providing apparatus may operate in a basic information providing mode to provide a basic description screen (S1210).

이 때, 사용자는 증강현실 컨텐츠 제공 장치에 구비된 손잡이로 상하좌우 힌지를 조정하여 관심있는 현실 세계의 객체들이 화면에 보이도록 할 수 있다.In this case, the user may adjust up, down, left, and right hinges by using a knob provided in the apparatus for providing augmented reality content so that objects of the real world of interest are displayed on the screen.

이 후, 사용자에 의해 줌인 입력이 발생하는지 여부를 판단하고(S1215), 줌인 입력이 발생하면 컨텐츠 출력 모드로 동작하면서 디스플레이 중심의 화면이 확대될 수 있다(S1220).Thereafter, whether the zoom-in input is generated by the user is determined (S1215). When the zoom-in input is generated, the screen centered on the display may be enlarged while operating in the content output mode (S1220).

이 후, 확대 영상이 어떤 시나리오 장면인지 인식하고, 인식된 시나리오 장면에 연동된 증강현실 컨텐츠를 디스플레이 할 수 있다(S1230).Thereafter, it is possible to recognize which scenario scene the magnified image is, and display augmented reality content linked to the recognized scenario scene (S1230).

이 때, 증강현실 컨텐츠에 상응하는 영상과 오디오를 디스플레이 모듈과 스피커 모듈에 각각 출력할 수 있다.At this time, the image and audio corresponding to the augmented reality content may be output to the display module and the speaker module, respectively.

이 후, 사용자에 의해 줌 아웃 입력이 발생하는지 여부를 판단하고(S1235), 줌 아웃 입력이 발생하면 컨텐츠 출력 모드를 종료하고 다시 기본 정보 제공 모드로 동작하여 기본 설명 화면을 제공할 수 있다. Thereafter, whether the zoom-out input is generated by the user is determined (S1235). When the zoom-out input is generated, the content output mode may be terminated and the basic information screen may be provided again to provide the basic description screen.

또한, 단계(S1235)의 판단결과 줌 아웃 입력이 발생하지 않으면, 증강현실 컨텐츠 제공 서비스에 대한 종료 입력이 발생하는지 여부를 판단할 수 있다(S1245).In addition, if the zoom-out input does not occur as a result of the determination in step S1235, it may be determined whether an end input for the augmented reality content providing service occurs (S1245).

단계(S1245)의 판단결과 종료 입력이 발생하면, 증강현실 컨텐츠 제공 서비스를 종료할 수 있고, 종료 입력이 발생하지 않으면, 다른 입력이 발생할 때까지 지속적으로 증강현실 컨텐츠를 디스플레이 할 수 있다.As a result of the determination in step S1245, when the end input occurs, the augmented reality content providing service may be terminated. If the end input does not occur, the augmented reality content may be continuously displayed until another input occurs.

또한, 단계(S1215)의 판단결과 줌인 입력이 발생하지 않으면 기본 정보 제공 모드를 유지하면서 지속적으로 기본 설명화면을 제공할 수도 있다. In addition, if the zoom-in input does not occur as a result of the determination in step S1215, the basic description screen may be continuously provided while maintaining the basic information providing mode.

이상에서와 같이 본 발명에 따른 근접뷰 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the method and apparatus for providing augmented reality content based on the proximity view according to the present invention may not be limitedly applied to the configuration and method of the embodiments described as described above. All or part of each of the embodiments may be selectively combined to be implemented.

400, 500: 증강현실 컨텐츠 제공 장치 401, 501: 사용자
410, 420, 700: 현실 객체 510, 520, 530, 710, 720: 확대 영상
610: 1단계 확대 620: 2단계 확대
630: 3단계 확대 711: 가상 인터페이스
800: 종래의 장치 810: 증강현실 컨텐츠 제공 장치
811: 증강현실 시스템 812: 카메라 및 스피커
813: 줌인/줌 아웃 손잡이 814: 이동식 몸체
900: 처리 모듈 910: 카메라 모듈
920: 버튼 모듈 930: 디스플레이 모듈
940: 스피커 모듈 1010: 입력 처리부
1020: 영상 처리부 1030: 표현 처리부
1040: 서비스 정보 DB 1050: 장면 정보 DB
1060: 컨텐츠 정보 DB 1110: 통신부
1120: 프로세서 1130: 메모리400 and 500: augmented reality content providing device 401, 501: user
410, 420, 700: Real object 510, 520, 530, 710, 720: Magnified image
610: Zoom in 1 step 620: Zoom in 2 steps
630: step 3 magnification 711: virtual interface
800: conventional device 810: augmented reality content providing device
811 augmented reality system 812: camera and speakers
813: Zoom In / Zoom Out Handle 814: Removable Body
900: processing module 910: camera module
920: button module 930: display module
940: speaker module 1010: input processing unit
1020: image processor 1030: expression processor
1040: service information DB 1050: scene information DB
1060: content information DB 1110: communication unit
1120: Processor 1130: Memory

Claims (1)

증강현실 컨텐츠 제공 장치가, 카메라의 줌인(Zoom-In) 기능을 통해 현실 객체를 확대 촬영한 확대 영상 내에서 특징점을 추출하는 단계;
상기 증강현실 컨텐츠 제공 장치가, 메모리에 저장된 복수개의 시나리오 장면들 중 상기 특징점에 해당하는 시나리오 장면을 검색하는 단계; 및
상기 증강현실 컨텐츠 제공 장치가, 상기 시나리오 장면에 연동된 증강현실 컨텐츠를 상기 확대 영상에 상응하는 확대 레벨의 단계별로 디스플레이 하는 단계
를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.Extracting, by the apparatus for providing augmented reality content, a feature point within a magnified image of an enlarged image of a real object through a zoom-in function of a camera;
Searching, by the apparatus for providing augmented reality content, a scenario scene corresponding to the feature point among a plurality of scenario scenes stored in a memory; And
Displaying, by the apparatus for providing augmented reality content, augmented reality content linked to the scenario scene in stages of an enlargement level corresponding to the magnified image;
Augmented reality content providing method comprising a.
KR1020180012181A 2018-01-31 2018-01-31 Method for providing augmented reality contents based on close-up view and apparatus using the same KR20190092897A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180012181A KR20190092897A (en) 2018-01-31 2018-01-31 Method for providing augmented reality contents based on close-up view and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180012181A KR20190092897A (en) 2018-01-31 2018-01-31 Method for providing augmented reality contents based on close-up view and apparatus using the same

Publications (1)

Publication Number Publication Date
KR20190092897A true KR20190092897A (en) 2019-08-08

Family

ID=67613342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012181A KR20190092897A (en) 2018-01-31 2018-01-31 Method for providing augmented reality contents based on close-up view and apparatus using the same

Country Status (1)

Country Link
KR (1) KR20190092897A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208634B1 (en) 2020-01-23 2021-01-29 최영승 Method and system of providing augemented reality contents to exhibition hall

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139633A (en) 2015-05-28 2016-12-07 주식회사 플렉싱크 An system and method for providing experiential contents using augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139633A (en) 2015-05-28 2016-12-07 주식회사 플렉싱크 An system and method for providing experiential contents using augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208634B1 (en) 2020-01-23 2021-01-29 최영승 Method and system of providing augemented reality contents to exhibition hall

Similar Documents

Publication Publication Date Title
JP7270661B2 (en) Video processing method and apparatus, electronic equipment, storage medium and computer program
US20180240213A1 (en) Information processing system, information processing method, and program
KR20120017869A (en) Terminal device and method for providing step object information
US10732916B2 (en) Multi-device display processing
CN111970456B (en) Shooting control method, device, equipment and storage medium
CN113064684B (en) Virtual reality equipment and VR scene screen capturing method
JP6375070B1 (en) Computer system, screen sharing method and program
CN104853091A (en) Picture taking method and mobile terminal
KR20150011742A (en) User terminal device and the control method thereof
CN114115525B (en) Information display method, device, equipment and storage medium
CN112105983A (en) Enhanced visual ability
WO2022156703A1 (en) Image display method and apparatus, and electronic device
CN112783316A (en) Augmented reality-based control method and apparatus, electronic device, and storage medium
CN111353946B (en) Image restoration method, device, equipment and storage medium
TW202248808A (en) Augmented reality data presentation method, electronic equipment and computer-readable storage medium
KR20190092897A (en) Method for providing augmented reality contents based on close-up view and apparatus using the same
KR102161437B1 (en) Apparatus for sharing contents using spatial map of augmented reality and method thereof
CN113296721A (en) Display method, display device and multi-screen linkage system
CN113301356A (en) Method and device for controlling video display
CN109308740B (en) 3D scene data processing method and device and electronic equipment
US20200225467A1 (en) Method for projecting immersive audiovisual content
JP2017138983A (en) Computer program stored in storage medium so as to execute content providing method, the method and device therefor
CN113975797A (en) Cloud game interaction method and device, storage medium and electronic equipment
CN111367598B (en) Method and device for processing action instruction, electronic equipment and computer readable storage medium
KR101843024B1 (en) System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner