KR102330894B1 - Augment reality display device supporting local conversion operation for augment reality and operation method thereof - Google Patents

Augment reality display device supporting local conversion operation for augment reality and operation method thereof Download PDF

Info

Publication number
KR102330894B1
KR102330894B1 KR1020200092095A KR20200092095A KR102330894B1 KR 102330894 B1 KR102330894 B1 KR 102330894B1 KR 1020200092095 A KR1020200092095 A KR 1020200092095A KR 20200092095 A KR20200092095 A KR 20200092095A KR 102330894 B1 KR102330894 B1 KR 102330894B1
Authority
KR
South Korea
Prior art keywords
anchor
augmented reality
content
signal
unit
Prior art date
Application number
KR1020200092095A
Other languages
Korean (ko)
Inventor
김대영
Original Assignee
주식회사 케이엑스알랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이엑스알랩 filed Critical 주식회사 케이엑스알랩
Priority to KR1020200092095A priority Critical patent/KR102330894B1/en
Application granted granted Critical
Publication of KR102330894B1 publication Critical patent/KR102330894B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an augment reality system. According to an embodiment of the present invention, an augment reality display device comprises: an image capturing unit for obtaining an image including an anchor; a content generation unit for matching the anchor, obtained from the image capturing unit, with pre-stored augmented reality content, and generating the matched augmented reality content; a display unit for displaying the matched augmented reality content; and a device local switching unit for controlling the content generation unit so that the augmented reality content matched with the anchor is played on the display unit even while the image capturing unit is capturing an image that does not include the anchor. The augmented reality display device can continuously reproduce the augmented reality content desired by a user regardless of whether the anchor corresponding to the augmented reality content is continuously recognized. Accordingly, in the case of a user using a handheld augmented reality display device such as a smartphone, the inconvenience of having to hold the device toward the anchor for a long time to use augmented reality content can be resolved. In addition, in the case of a user using an augmented reality display device of a type of wearable smart device such as smart glasses, the inconvenience of having to fix the gaze in a specific direction for a long time to use augmented reality content can be resolved.

Description

증강현실에서의 디바이스 로컬 전환 동작을 지원하는 증강현실 디스플레이 장치 및 그것의 동작 방법{AUGMENT REALITY DISPLAY DEVICE SUPPORTING LOCAL CONVERSION OPERATION FOR AUGMENT REALITY AND OPERATION METHOD THEREOF}Augmented reality display device supporting device local switching operation in augmented reality and operating method thereof

본 출원은 증강현실 시스템에 대한 것이다. This application relates to an augmented reality system.

증강현실(Augmented Reality)은 가상현실과 달리 현실세계에 가상의 객체를 이음새 없이 실시간으로 정합하여 보여줌으로써 사용자가 현실세계에서 가상의 객체를 통하여 여러 가지 부가적인 정보를 얻을 수 있는 기술이다. 즉, 증강현실은 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 예를 들어, 대표적인 증강현실 제작 툴은 ARToolKit이 널리 사용되고 있다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2016-0052364호(2016.04.28)에 개시되어 있다. Unlike virtual reality, augmented reality is a technology that allows a user to obtain various additional information through virtual objects in the real world by matching and displaying virtual objects in the real world in real time. That is, augmented reality is a computer graphic technique that synthesizes virtual objects in the real environment to make them look like objects existing in the original environment. For example, ARToolKit is widely used as a representative augmented reality creation tool. The technology that is the background of the present invention is disclosed in Korean Patent Application Laid-Open No. 10-2016-0052364 (2016.04.28).

이러한 증강현실 콘텐츠를 이용하기 위해서, 사용자는 기기에 이미지를 인식시키거나 바닥이나 벽면 등 평면을 인식시켜야 한다. 이미지와 평면 모두 앵커(Anchor)라고 하는 기준점을 중심으로 콘텐츠가 재생되기 때문에, 사용자가 증강현실 콘텐츠를 이용하기 위해서는 반드시 해당 지점을 기기로 인식시켜야만 한다. 따라서, 특정 앵커에 매칭된 증강현실 콘텐츠를 계속하여 시청하기 위해서는, 사용자는 해당 앵커를 계속하여 인식시켜야만 하며, 이는 사용자로 하여금 오랫동안 해당 방향으로 기기를 들고 있어야 하는 불편함을 초래하고 있다.In order to use such augmented reality content, a user must recognize an image on the device or recognize a plane such as a floor or a wall. Since the content is reproduced around a reference point called an anchor for both images and planes, the user must recognize the corresponding point as a device in order to use the augmented reality content. Therefore, in order to continue viewing the augmented reality content matched with a specific anchor, the user must continuously recognize the corresponding anchor, which causes inconvenience in that the user has to hold the device in the corresponding direction for a long time.

본 출원의 목적은 증강현실 콘텐츠에 대응하는 앵커를 계속하여 인식하는지 여부와 무관하게, 사용자가 원하는 증강현실 콘텐츠를 계속하여 재생할 수 있는 증강현실 디스플레이 장치를 제공하는데 있다.An object of the present application is to provide an augmented reality display device capable of continuously reproducing augmented reality content desired by a user, regardless of whether an anchor corresponding to the augmented reality content is continuously recognized.

본 출원의 실시 예에 다른 증강현실 디스플레이 장치는 앵커를 포함하는 영상을 획득하는 영상 촬영부; 상기 영상 촬영부에서 획득된 상기 앵커와 기 저장된 증강현실 콘텐츠를 매칭시키고, 상기 매칭된 증강현실 콘텐츠를 생성하는 콘텐츠 생성부; 상기 매칭된 증강현실 콘텐츠를 디스플레이하는 디스플레이부; 및 상기 영상 촬영부가 상기 앵커를 포함하지 않는 영상을 촬영하는 동안에도 상기 앵커에 매칭된 증강현실 콘텐츠가 상기 디스플레이부에서 재생되도록, 상기 콘텐츠 생성부를 제어하는 디바이스 로컬 전환부를 포함한다.An augmented reality display device according to an embodiment of the present application includes: an image capturing unit for obtaining an image including an anchor; a content generating unit that matches the anchor obtained from the image capturing unit and the pre-stored augmented reality content, and generates the matched augmented reality content; a display unit for displaying the matched augmented reality content; and a device local switching unit for controlling the content generating unit so that the augmented reality content matched with the anchor is played on the display unit even while the image capturing unit captures the image that does not include the anchor.

일 실시 예에 있어서, 상기 콘텐츠 생성부는 상기 영상 촬영부에서 획득된 상기 앵커를 인식하고, 상기 앵커에 대응하는 메인 앵커 신호를 생성하는 앵커 인식부; 및 상기 메인 앵커 신호에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 매칭부를 포함한다.In an embodiment, the content generating unit may include: an anchor recognition unit for recognizing the anchor obtained by the image capturing unit, and generating a main anchor signal corresponding to the anchor; and a matching unit that selects augmented reality content matched to the main anchor signal from among a plurality of augmented reality contents based on the main anchor signal.

일 실시 예에 있어서, 상기 매칭부는 상기 메인 앵커 신호에 응답하여, 상기 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 콘텐츠 매칭 모듈; 및 상기 디바이스 로컬 전환부로부터 디바이스 로컬 전환 신호를 수신하고, 상기 디바이스 로컬 전환 신호에 기초하여 서브 앵커 신호를 생성하는 서브 앵커 생성 모듈을 포함한다.In an embodiment, the matching unit, in response to the main anchor signal, a content matching module for selecting the augmented reality content matched to the main anchor signal from among the plurality of augmented reality contents; and a sub-anchor generating module that receives a device local switch signal from the device local switch unit and generates a sub anchor signal based on the device local switch signal.

일 실시 예에 있어서, 상기 콘텐츠 매칭 모듈은 상기 서브 앵커 생성 모듈로부터 상기 서브 앵커 신호를 수신하고, 상기 서브 앵커 신호를 이용하여 상기 메인 앵커 신호를 대체한다.In an embodiment, the content matching module receives the sub anchor signal from the sub anchor generating module and replaces the main anchor signal by using the sub anchor signal.

일 실시 예에 있어서, 상기 메인 앵커 신호와 상기 서브 앵커 신호는 동일한 증강현실 콘텐츠에 매칭된다.In an embodiment, the main anchor signal and the sub anchor signal are matched to the same augmented reality content.

일 실시 예에 있어서, 상기 복수의 증강현실 콘텐츠들을 저장하는 저장부를 더 포함한다.In one embodiment, it further comprises a storage unit for storing the plurality of augmented reality contents.

일 실시 예에 있어서, 상기 저장부로부터 상기 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 수신하고, 상기 수신된 증간현실 콘텐츠를 상기 디스플레이부로 전송하는 콘텐츠 전송부를 더 포함한다.In one embodiment, the storage unit further comprises a content transmission unit for receiving the augmented reality content matched to the main anchor signal among the plurality of augmented reality contents from the storage unit, and transmitting the received augmented reality contents to the display unit. .

일 실시 예에 있어서, 상기 영상 촬영부는 제1 앵커를 포함하는 제1 영상을 획득하고, 상기 제1 앵커와 다른 제2 앵커를 포함하는 제2 영상을 획득하며, 상기 콘텐츠 생성부는 상기 제1 앵커에 대응하는 제1 메인 앵커 신호 및 상기 제2 앵커에 대응하는 제2 메인 앵커 신호를 생성하는 앵커 인식부; 및 상기 제1 메인 앵커 신호 및 상기 제2 메인 앵커 신호 중 적어도 하나에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 제1 메인 앵커 신호에 매칭된 제1 증강현실 콘텐츠 및 상기 제2 메인 앵커 신호에 매칭된 제2 증강현실 콘텐츠 중 적어도 하나를 선택하는 매칭부를 포함한다.In an embodiment, the image capturing unit acquires a first image including a first anchor, acquires a second image including a second anchor different from the first anchor, and the content generator acquires the first anchor An anchor recognition unit for generating a first main anchor signal corresponding to and a second main anchor signal corresponding to the second anchor; and on the basis of at least one of the first main anchor signal and the second main anchor signal, the first augmented reality content matched to the first main anchor signal among a plurality of augmented reality contents and the second main anchor signal and a matching unit for selecting at least one of the matched second augmented reality contents.

일 실시 예에 있어서, 상기 매칭부는 상기 제1 증강현실 콘텐츠에 대응하는 제1 디바이스 로컬 전환 신호에 기초하여, 제1 서브 앵커 신호를 생성하는 서브 앵커 생성 모듈; 및 상기 제1 서브 앵커 신호를 이용하여 상기 제1 메인 앵커 신호를 대체하는 콘텐츠 매칭 모듈을 포함한다.In one embodiment, the matching unit, based on the first device local switching signal corresponding to the first augmented reality content, a sub-anchor generating module for generating a first sub-anchor signal; and a content matching module replacing the first main anchor signal by using the first sub anchor signal.

일 실시 예에 있어서, 상기 콘텐츠 매칭 모듈은 상기 제1 서브 앵커 신호에 대응하는 상기 제1 증강현실 콘텐츠 및 상기 제2 메인 앵커 신호에 매칭된 상기 제2 증강현실 콘텐츠를 동시에 선택한다.In an embodiment, the content matching module simultaneously selects the first augmented reality content corresponding to the first sub-anchor signal and the second augmented reality content matched with the second main anchor signal.

일 실시 예에 있어서, 상기 서브 앵커 생성 모듈은 상기 제2 증강현실 콘텐츠에 대응하는 제2 디바이스 로컬 신호에 기초하여, 상기 제1 서브 앵커 신호와 다른 제2 서브 앵커 신호를 생성하고, 상기 콘텐츠 매칭 모듈은 상기 제2 서브 앵커 신호를 이용하여 상기 제2 메인 앵커 신호를 대체한다.In an embodiment, the sub-anchor generation module generates a second sub-anchor signal different from the first sub-anchor signal based on a second device local signal corresponding to the second augmented reality content, and matches the content The module replaces the second main anchor signal by using the second sub anchor signal.

일 실시 예에 있어서, 상기 콘텐츠 매칭 모듈은 상기 제1 서브 앵커 신호에 대응하는 상기 제1 증강현실 콘텐츠 및 상기 제2 서브 앵커 신호에 매칭된 상기 제2 증강현실 콘텐츠를 동시에 선택한다.In an embodiment, the content matching module simultaneously selects the first augmented reality content corresponding to the first sub-anchor signal and the second augmented reality content matched with the second sub-anchor signal.

본 출원의 일 실시 예에 따른 디스플레이 장치는 앵커를 포함하는 영상을 획득하는 영상 촬영부; 복수의 증강현실 컨텐츠들 중 상기 앵커에 대응하는 증강현실 컨텐츠를 선택하는 콘텐츠 생성부; 및 상기 선택된 증강현실 컨텐츠를 재생하는 디스플레이부를 포함하며, 상기 디스플레이부는 상기 영상 촬영부가 상기 앵커를 포함하는 영상을 더 이상 촬영하지 않는 동안에도 상기 선택된 증강현실 컨텐츠를 계속하여 재생한다.A display apparatus according to an embodiment of the present application includes: an image capturing unit for obtaining an image including an anchor; a content generator for selecting augmented reality content corresponding to the anchor from among a plurality of augmented reality contents; and a display unit for playing the selected augmented reality content, wherein the display unit continues to play the selected augmented reality content while the image capturing unit no longer captures the image including the anchor.

일 실시 예에 있어서, 상기 콘텐츠 생성부는 상기 영상 촬영부에서 상기 영상 촬영부에서 획득된 상기 앵커를 인식하고, 상기 앵커에 대응하는 메인 앵커 신호를 생성하는 앵커 인식부; 및 상기 메인 앵커 신호에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 매칭부를 포함한다.In an embodiment, the content generating unit includes: an anchor recognition unit for recognizing the anchor obtained by the image capturing unit in the image capturing unit, and generating a main anchor signal corresponding to the anchor; and a matching unit that selects augmented reality content matched to the main anchor signal from among a plurality of augmented reality contents based on the main anchor signal.

일 실시 예에 있어서, 상기 매칭부는 상기 메인 앵커 신호에 응답하여, 상기 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 콘텐츠 매칭 모듈; 및 디바이스 로컬 전환 요청에 응답하여, 서브 앵커 신호를 생성하는 서브 앵커 생성 모듈을 포함하며, 상기 메인 앵커 신호와 상기 서브 앵커 신호는 동일한 증강현실 콘텐츠에 매칭된다.In an embodiment, the matching unit, in response to the main anchor signal, a content matching module for selecting the augmented reality content matched to the main anchor signal from among the plurality of augmented reality contents; and a sub-anchor generating module configured to generate a sub-anchor signal in response to a device local switching request, wherein the main anchor signal and the sub-anchor signal are matched to the same augmented reality content.

일 실시 예에 있어서, 상기 영상 촬영부는 제1 앵커를 포함하는 제1 영상을 획득하고, 상기 제1 앵커와 다른 제2 앵커를 포함하는 제2 영상을 획득하며, 상기 콘텐츠 생성부는 상기 제1 앵커에 대응하는 제1 메인 앵커 신호 및 상기 제2 앵커에 대응하는 제2 메인 앵커 신호를 생성하는 앵커 인식부; 및 상기 제1 메인 앵커 신호 및 상기 제2 메인 앵커 신호 중 적어도 하나에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 제1 메인 앵커 신호에 매칭된 제1 증강현실 콘텐츠 및 상기 제2 메인 앵커 신호에 매칭된 제2 증강현실 콘텐츠 중 적어도 하나를 선택하는 매칭부를 포함하며, 상기 매칭부는 상기 제1 증강현실 콘텐츠에 대응하는 제1 디바이스 로컬 전환 신호에 기초하여, 제1 서브 앵커 신호를 생성하고, 상기 제1 서브 앵커 신호를 이용하여 상기 제1 메인 앵커 신호를 대체한다.In an embodiment, the image capturing unit acquires a first image including a first anchor, acquires a second image including a second anchor different from the first anchor, and the content generator acquires the first anchor An anchor recognition unit for generating a first main anchor signal corresponding to and a second main anchor signal corresponding to the second anchor; and on the basis of at least one of the first main anchor signal and the second main anchor signal, the first augmented reality content matched to the first main anchor signal among a plurality of augmented reality contents and the second main anchor signal and a matching unit for selecting at least one of the matched second augmented reality contents, wherein the matching unit generates a first sub anchor signal based on a first device local switching signal corresponding to the first augmented reality contents, and the The first sub-anchor signal is used to replace the first main anchor signal.

본 출원의 일 실시 예에 따른 증강현실 디스플레이 방법은 영상 촬영부가 앵커를 포함하는 영상을 획득하는 단계; 콘텐츠 생성부가 상기 영상에 포함된 상기 앵커를 인식하고, 상기 앵커에 대응하는 메인 앵커 신호를 생성하는 단계; 상기 콘텐츠 생성부가 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭되는 증강현실 콘텐츠를 선택하는 단계; 디스플레이부가 상기 선택된 증강현실 콘텐츠를 재생하는 단계; 디바이스 로컬 전환 요청에 응답하여, 상기 콘텐츠 생성부가 상기 선택된 증강현실 콘텐츠에 매칭되는 서브 앵커 신호를 생성하는 단계; 및 상기 콘텐츠 생성부가 상기 서브 앵커 신호를 이용하여 상기 메인 앵커 신호를 대체하는 단계를 포함한다.Augmented reality display method according to an embodiment of the present application includes: acquiring an image including an anchor by an image capturing unit; recognizing the anchor included in the image by a content generator and generating a main anchor signal corresponding to the anchor; selecting, by the content generator, augmented reality content matching the main anchor signal from among a plurality of augmented reality content; reproducing the selected augmented reality content by the display unit; generating, by the content generator, a sub-anchor signal matching the selected augmented reality content in response to a device local switching request; and replacing the main anchor signal by the content generator using the sub anchor signal.

일 실시 예에 있어서, 상기 서브 앵커 신호와 상기 메인 앵커 신호는 동일한 증강현실 콘텐츠에 매칭된다.In an embodiment, the sub-anchor signal and the main anchor signal are matched to the same augmented reality content.

일 실시 예에 있어서, 상기 영상 촬영부가 상기 앵커를 포함하는 영상을 촬영하지 않는 동안에, 상기 디스플레이부가 상기 서브 앵커 신호에 기초하여 상기 선택된 증강현실 콘텐츠를 재생하는 단계를 더 포함한다.In an embodiment, the method further comprises: while the image capturing unit does not capture the image including the anchor, the display unit reproduces the selected augmented reality content based on the sub-anchor signal.

일 실시 예에 있어서, 디바이스 로컬 전환부가 상기 디바이스 로컬 전환 요청에 응답하여 디바이스 로컬 전환 신호를 생성하고, 상기 디바이스 로컬 전환 신호를 상기 콘텐츠 생성부에 제공하는 단계를 더 포함한다.In an embodiment, the method further comprises generating a device local switching signal in response to the device local switching request by a device local switching unit, and providing the device local switching signal to the content generating unit.

본 출원에 따른 증강현실 디스플레이 장치는 증강현실 콘텐츠에 대응하는 앵커가 계속하여 인식되고 있는지 여부와 무관하게, 사용자가 원하는 증강현실 콘텐츠를 계속하여 재생할 수 있다. The augmented reality display apparatus according to the present application may continuously reproduce the augmented reality content desired by the user regardless of whether the anchor corresponding to the augmented reality content is continuously recognized.

따라서, 스마트 폰과 같은 헨드 헬드형 증강현실 디스플레이 장치를 이용하는 사용자의 경우, 증강현실 콘텐츠를 이용하고자 할 때에 기기를 오랫동안 앵커 방향을 향하여 들고 있어야 하는 불편함이 해소될 수 있다. 또한, 스마트 안경과 같은 웨어러블 스마트기기형 증강현실 디스플레이 장치를 이용하는 사용자의 경우, 증강현실 콘텐츠를 이용하고자 할 때에 오랫동안 특정 방향으로 시선을 고정해야 하는 불편함이 해소될 수 있다.Accordingly, in the case of a user using a handheld augmented reality display device such as a smart phone, the inconvenience of having to hold the device toward the anchor for a long time to use the augmented reality content can be eliminated. In addition, in the case of a user using a wearable smart device type augmented reality display device such as smart glasses, the inconvenience of having to fix the gaze in a specific direction for a long time when trying to use augmented reality content can be resolved.

도 1은 본 출원의 일 실시 예에 따른 증강현실 디스플레이 장치를 보여주는 블록도이다.
도 2는 도 1의 콘텐츠 생성부의 일 예를 보여주는 블록도이다.
도 3은 본 출원의 실시 예에 따른 증강현실 디스플레이 장치의 동작의 일 예를 보여주는 도면이다.
도 4는 본 출원의 실시 예에 따른 증강현실 디스플레이 장치의 동작을 보여주는 순서도이다.
도 5는 본 출원의 다른 실시 예에 따른 증강현실 디스플레이 장치의 콘텐츠 생성부를 보여주는 블록도이다.
도 6은 도 5의 콘텐츠 매핑 테이블을 보여주는 도면이다. 1 is a block diagram illustrating an augmented reality display device according to an embodiment of the present application.
FIG. 2 is a block diagram illustrating an example of the content generating unit of FIG. 1 .
3 is a diagram illustrating an example of an operation of an augmented reality display device according to an embodiment of the present application.
4 is a flowchart illustrating an operation of an augmented reality display device according to an embodiment of the present application.
5 is a block diagram illustrating a content generation unit of an augmented reality display apparatus according to another embodiment of the present application.
FIG. 6 is a diagram illustrating a content mapping table of FIG. 5 .

이하에서는 본 출원의 기술분야에 대한 통상의 지식을 가진 자가 본 출원의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 출원의 기술적 사상을 첨부된 도면을 참조하여 설명할 것이다.Hereinafter, the technical idea of the present application will be described with reference to the accompanying drawings in order to describe in detail enough that a person having ordinary knowledge in the technical field of the present application can easily implement the technical idea of the present application.

도 1은 본 출원의 일 실시 예에 따른 증강현실 디스플레이 장치(100)를 보여주는 블록도이다.1 is a block diagram showing an augmented reality display apparatus 100 according to an embodiment of the present application.

도 1을 참조하면, 증강현실 디스플레이 장치(100)는 영상 촬영부(110), 콘텐츠 생성부(120), 디스플레이부(130), 디바이스 로컬 전환부(140) 및 인터페이스부(150)를 포함한다.Referring to FIG. 1 , the augmented reality display apparatus 100 includes an image capturing unit 110 , a content generating unit 120 , a display unit 130 , a device local switching unit 140 , and an interface unit 150 . .

영상 촬영부(110)는 앵커(Anchor)를 포함하는 현실 환경을 촬영하고, 이로부터 현실 환경에 대한 영상을 획득할 수 있다. 영상 촬영부(110)는 획득한 영상을 콘텐츠 생성부(120)로 제공할 수 있다. 여기서, 앵커(Anchor)는 증강현실 콘텐츠를 이용하기 위한 기준점일 수 있다. The image capturing unit 110 may photograph a real environment including an anchor, and obtain an image of the real environment therefrom. The image capturing unit 110 may provide the acquired image to the content generating unit 120 . Here, the anchor may be a reference point for using augmented reality content.

예를 들어, 앵커는 그림이나 패턴 등의 이미지 또는 바닥이나 벽면 등의 평면에 포함된 기준점일 수 있다. 좀 더 자세히 설명하면, 증강현실 콘텐츠를 이용하기 위해서는, 증강현실 디스플레이 장치(100)가 특정 이미지를 인식하거나 바닥이나 벽면 등의 평면을 인식하여야 한다. 이러한 이미지나 평면에는 앵커라고 하는 기준점을 포함되어 있으며, 증강현실 디스플레이 장치(100)는 이러한 앵커를 중심으로 증강현실 콘텐츠를 재생할 수 있다. For example, the anchor may be an image such as a picture or a pattern, or a reference point included in a plane such as a floor or a wall. In more detail, in order to use augmented reality content, the augmented reality display apparatus 100 must recognize a specific image or recognize a plane such as a floor or a wall. The image or plane includes a reference point called an anchor, and the augmented reality display apparatus 100 may reproduce the augmented reality content centering on the anchor.

다른 예로, 앵커는 현실 환경의 소정 위치에 대응하는 기준점일 수 있다. 좀 더 자세히 설명하면, 앵커는 현실 환경의 소정 위치로 특정될 수 있으며, 증강현실 디스플레이 장치(100)는 GPS 정보를 통하여 촬영된 영상이 해당 앵커의 위치에 대응하는지 판단할 수 있다. 영상 촬영부(100)에서 촬영된 영상에 해당 앵커의 위치에 대응하는 경우, 증강현실 디스플레이 장치(100)는 해당 앵커를 중심으로 증강현실 콘텐츠를 재생할 수 있다. As another example, the anchor may be a reference point corresponding to a predetermined location in the real environment. In more detail, the anchor may be specified as a predetermined location in a real environment, and the augmented reality display apparatus 100 may determine whether the captured image corresponds to the location of the anchor through GPS information. When the image captured by the image capturing unit 100 corresponds to the location of the anchor, the augmented reality display apparatus 100 may reproduce the augmented reality content centering on the anchor.

영상 촬영부(110)는 개인휴대 단말기인 모바일 장치에 내장된 카메라일 수 있다. 다만, 이는 예시적인 것이며, 영상 촬영부(110)는 태블릿 PC, 웨어러블 기기, 스마트 안경 등에 내장된 카메라일 수 있으며, 별도의 독립적인 카메라일 수도 있다.The image capturing unit 110 may be a camera built into a mobile device, which is a personal portable terminal. However, this is an example, and the image capturing unit 110 may be a camera built into a tablet PC, a wearable device, smart glasses, or the like, or a separate independent camera.

콘텐츠 생성부(120)는 영상 촬영부(110)로부터 앵커가 포함된 영상을 수신하고, 영상에 포함된 앵커를 인식할 수 있다. 콘텐츠 생성부(120)는 영상을 통해 인식된 앵커에 가상객체를 증감시킴으로써, 증강현실 콘텐츠를 생성할 수 있다. The content generating unit 120 may receive an image including an anchor from the image capturing unit 110 and recognize the anchor included in the image. The content generating unit 120 may generate augmented reality content by increasing/decreasing a virtual object to an anchor recognized through an image.

예를 들어, 콘텐츠 생성부(120)는 인식된 앵커가 기 저장된 복수의 가상객체 중 어느 것에 매칭되는지 판단할 수 있다. 콘텐츠 생성부(120)는 인식된 앵커와 매칭되는 가상객체를 선택하고, 선택된 가상객체를 증강시킴으로써, 증강현실 콘텐츠를 생성할 수 있다. For example, the content generator 120 may determine which of the plurality of pre-stored virtual objects matches the recognized anchor. The content generator 120 may generate augmented reality content by selecting a virtual object matching the recognized anchor and augmenting the selected virtual object.

예를 들어, 인식된 앵커에 가상객체를 매칭시키는 것은 랜더링 기법을 사용하여 구현될 수 있다. 렌더링 기법은 앵커에 형태, 위치, 조명 등 외부의 정보에 따라 다르게 나타나는 그림자, 색상, 농도 등을 고려하면서 실감나는 3차원 화상을 만들어내는 과정 또는 그러한 기법을 일컫는다. 예를 들어, 본 출원에 따른 렌더링은 기 저장된 3차원 가상객체를 앵커 상에 증강시키는 것일 수 있다.For example, matching the virtual object to the recognized anchor may be implemented using a rendering technique. Rendering technique refers to a process or such a technique for creating realistic 3D images while considering shadows, colors, and densities that appear differently depending on external information such as shape, location, and lighting on an anchor. For example, rendering according to the present application may be augmenting a pre-stored 3D virtual object on an anchor.

디스플레이부(130)는 콘텐츠 생성부(120)로부터 증강현실 콘텐츠를 수신한다. 디스플레이부(130)는 수신된 증강현실 콘텐츠를 재생함으로써, 사용자에게 증강현실 콘텐츠를 제공할 수 있다. The display unit 130 receives the augmented reality content from the content generation unit 120 . The display unit 130 may provide the augmented reality content to the user by playing the received augmented reality content.

디바이스 로컬 전환부(140)는 외부로부터 디바이스 로컬 전환 요청을 수신할 수 있다. 디바이스 로컬 전환부(140)는 디바이스 로컬 전환 요청에 응답하여, 디바이스 전환 동작을 수행하도록 콘텐츠 생성부(120)를 제어할 수 있다. The device local switching unit 140 may receive a device local switching request from the outside. The device local switching unit 140 may control the content generating unit 120 to perform a device switching operation in response to the device local switching request.

여기서, 디바이스 로컬 전환 요청이란 영상 촬영부(110)가 앵커가 포함된 영상을 계속하여 획득하고 있는지 여부와 상관없이, 해당 앵커에 매칭된 가상객체 또는 증강현실 콘텐츠를 계속하여 재생하도록 요청하는 것을 의미한다. 디바이스 로컬 전환 동작이란 영상 촬영부(110)가 앵커가 포함된 영상을 계속하여 획득하고 있는지 여부와 상관없이, 해당 앵커에 매칭된 가상객체 또는 증강현실 콘텐츠를 계속하여 재생하는 동작을 의미한다. Here, the device local conversion request means a request to continuously play the virtual object or augmented reality content matched to the anchor, regardless of whether the image capture unit 110 continues to acquire the image including the anchor. do. The device local switching operation means an operation of continuously playing a virtual object or augmented reality content matched to the anchor regardless of whether the image capturing unit 110 continues to acquire an image including an anchor.

예를 들어, 재생 중인 증강현실 콘텐츠를 앵커에 상관없이 계속하여 시청하고 싶을 때에, 사용자는 증강현실 디스플레이 장치(100)의 사용자 인터페이스를 통하여 디바이스 로컬 전환부(140)에 디바이스 로컬 전환 요청을 전송할 수 있다. 디바이스 로컬 전환부(140)는 디바이스 로컬 전환 요청에 응답하여 디바이스 로컬 전환 신호(DLC)를 생성하고, 이를 콘텐츠 생성부(120)에 전송할 수 있다. 콘텐츠 생성부(120)는 디바이스 로컬 전환 신호(DLC)에 응답하여, 증강현실 콘텐츠에 대응하는 앵커가 계속하여 인식되고 있는지 여부와 무관하게, 증강현실 콘텐츠를 계속하여 생성할 수 있다. For example, when the user wants to continuously view the augmented reality content being reproduced regardless of the anchor, the user may transmit a device local conversion request to the device local conversion unit 140 through the user interface of the augmented reality display apparatus 100 . have. The device local conversion unit 140 may generate a device local conversion signal (DLC) in response to the device local conversion request, and transmit it to the content generation unit 120 . The content generator 120 may continuously generate the augmented reality content in response to the device local switching signal DLC, regardless of whether an anchor corresponding to the augmented reality content is continuously recognized.

상술한 바와 같이, 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)는 사용자의 디바이스 전환 요청에 응답하여, 증강현실 콘텐츠에 대응하는 앵커가 계속하여 인식되고 있는지 여부와 무관하게 증강현실 콘텐츠를 계속하여 생성할 수 있다. 즉, 증강현실 디스플레이 장치(100)는 영상 촬영부(110)가 앵커를 포함하는 현실 환경을 더 이상 촬영하지 않더라도, 기 인식된 앵커에 대응하는 매칭되는 증강현실 콘텐츠를 계속하여 사용자에게 제공할 수 있다.As described above, the augmented reality display apparatus 100 according to an embodiment of the present application displays the augmented reality content regardless of whether the anchor corresponding to the augmented reality content is continuously recognized in response to the user's device switching request. You can continue to create. That is, the augmented reality display device 100 may continue to provide the user with matching augmented reality content corresponding to the previously recognized anchor even if the image capturing unit 110 does not capture the real environment including the anchor any more. have.

따라서, 증강현실 디스플레이 장치(100)가 스마트 폰과 같은 헨드 헬드형 증강현실 디스플레이 장치인 경우, 사용자는 증강현실 콘텐츠를 계속하여 재생하기 위하여 증강현실 디스플레이 장치(100)를 계속하여 앵커 방향으로 들고 있을 필요가 없다. 또한, 증강현실 디스플레이 장치(100)가 스마트 안경과 같은 웨어러블 스마트기기형 증강현실 디스플레이 장치인 경우, 사용자는 증강현실 콘텐츠를 계속하여 재생하기 위하여 앵커 방향으로 시선을 고정할 필요가 없다. 결국, 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)는 재생 중인 증강현실 콘텐츠를 계속하여 이용하고자 하는 사용자로 하여금 자유로운 자세와 시선을 취하는 것을 가능하게 함으로써,사용자 편의성을 극대화할 수 있다. Therefore, when the augmented reality display device 100 is a handheld augmented reality display device such as a smart phone, the user may continue to hold the augmented reality display device 100 in the direction of the anchor in order to continue playing the augmented reality content. no need. In addition, when the augmented reality display device 100 is a wearable smart device type augmented reality display device such as smart glasses, the user does not need to fix the gaze in the direction of the anchor in order to continuously reproduce the augmented reality content. As a result, the augmented reality display apparatus 100 according to an embodiment of the present application enables a user who wants to continuously use augmented reality content being reproduced to take a free attitude and gaze, thereby maximizing user convenience.

도 2는 도 1의 콘텐츠 생성부(120)의 일 예를 보여주는 블록도이다.FIG. 2 is a block diagram illustrating an example of the content generating unit 120 of FIG. 1 .

도 2를 참조하면, 콘텐츠 생성부(120)는 앵커 인식부(121), 매칭부(122), 저장부(123) 및 콘텐츠 전송부(124)를 포함한다.Referring to FIG. 2 , the content generation unit 120 includes an anchor recognition unit 121 , a matching unit 122 , a storage unit 123 , and a content transmission unit 124 .

앵커 인식부(121)는 영상 촬영부(110)로부터 영상을 수신할 수 있다. 예를 들어, 앵커 인식부(121)는 영상 촬영부(110)로부터 앵커가 포함된 영상을 수신할 수 있다. 이 경우, 앵커 인식부(121)는 영상에 포함된 앵커를 인식하고, 인식된 앵커에 대응하는 메인 앵커 신호(Main_ANCH)를 매칭부(122)에 전송할 수 있다. 다른 예로, 앵커 인식부(121)는 영상 촬영부(110)로부터 앵커가 포함되지 않은 영상을 수신할 수도 있다. 이 경우, 앵커 인식부(121)는 매칭부(122)에 메인 앵커 신호(Main_ANCH)를 전송하는 것을 차단할 수 있다. The anchor recognition unit 121 may receive an image from the image capturing unit 110 . For example, the anchor recognition unit 121 may receive an image including an anchor from the image capturing unit 110 . In this case, the anchor recognition unit 121 may recognize an anchor included in the image, and transmit a main anchor signal Main_ANCH corresponding to the recognized anchor to the matching unit 122 . As another example, the anchor recognizer 121 may receive an image that does not include an anchor from the image capture unit 110 . In this case, the anchor recognition unit 121 may block transmission of the main anchor signal Main_ANCH to the matching unit 122 .

매칭부(122)는 앵커 인식부(121)로부터 메인 앵커 신호(Main_ANCH)를 수신할 수 있다. 매칭부(122)는 메인 앵커 신호(Main_ANCH)에 응답하여, 메인 앵커 신호(Main_ANCH)에 매칭되는 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. 매칭부(122)는, 또한, 디바이스 로컬 전환부(140)로부터 디바이스 로컬 전환 신호(DLC)를 수신할 수 있다. 디바이스 로컬 전환 신호(DLC)에 응답하여, 매칭부(122)는 메인 앵커 신호(Main_ANCH) 신호의 수신 여부와 무관하게, 기 선택된 가상객체 또는 증강현실 콘텐츠를 계속하여 선택할 수 있다. 이를 위하여, 매칭부(122)는 콘텐츠 매칭 모듈(122_1) 및 서브 앵커 생성 모듈(122_2)을 포함할 수 있다.The matching unit 122 may receive the main anchor signal Main_ANCH from the anchor recognition unit 121 . The matching unit 122 may select a virtual object or augmented reality content matching the main anchor signal Main_ANCH in response to the main anchor signal Main_ANCH. The matching unit 122 may also receive the device local switching signal DLC from the device local switching unit 140 . In response to the device local switching signal DLC, the matching unit 122 may continuously select a pre-selected virtual object or augmented reality content regardless of whether the main anchor signal Main_ANCH signal is received. To this end, the matching unit 122 may include a content matching module 122_1 and a sub-anchor generating module 122_2.

콘텐츠 매칭 모듈(122_1)은 앵커 인식부(121)로부터 메인 앵커 신호(Main_ANCH)를 수신할 수 있다. 예를 들어, 영상 촬영부(110)에서 촬영된 영상에 앵커가 포함되어 있는 경우, 콘텐츠 매칭 모듈(122_1)은 앵커 인식부(121)로부터 메인 앵커 신호(Main_ANCH)를 수신할 수 있다. 이 경우, 콘텐츠 매칭 모듈(122_1)은 저장부(123)에 저장된 복수의 가상현실 객체들 또는 증강현실 콘텐츠들 중 메인 앵커 신호(Main_ANCH)에 매칭되는 가상현실 객체 또는 증강현실 콘텐츠를 선택할 수 있다. 콘텐츠 매칭 모듈(122_1)은 선택된 가상현실 객체 또는 증강현실 콘텐츠를 콘텐츠 전송부(124)에 전송할 수 있다. The content matching module 122_1 may receive the main anchor signal Main_ANCH from the anchor recognizer 121 . For example, when the image captured by the image capturing unit 110 includes an anchor, the content matching module 122_1 may receive the main anchor signal Main_ANCH from the anchor recognizer 121 . In this case, the content matching module 122_1 may select a virtual reality object or augmented reality content matching the main anchor signal Main_ANCH from among a plurality of virtual reality objects or augmented reality contents stored in the storage unit 123 . The content matching module 122_1 may transmit the selected virtual reality object or augmented reality content to the content transmitter 124 .

서브 앵커 생성 모듈(122_2)은 디바이스 로컬 전환부(140)로부터 디바이스 로컬 전환 신호(DLC)를 수신할 수 있다. 예를 들어, 사용자가 선택된 가상현실 객체 또는 증강현실 콘텐츠를 앵커의 인식과 무관하게 계속하여 시청하기를 원하는 경우, 서브 앵커 생성 모듈(122_2)은 디바이스 로컬 전환 신호(DLC)를 디바이스 로컬 전환부(140)로부터 수신할 수 있다. The sub-anchor generation module 122_2 may receive a device local conversion signal DLC from the device local conversion unit 140 . For example, when the user wants to continuously view the selected virtual reality object or augmented reality content regardless of the recognition of the anchor, the sub-anchor generation module 122_2 transmits the device local conversion signal DLC to the device local conversion unit ( 140) can be received.

디바이스 로컬 전환 신호(DLC)에 응답하여, 서브 앵커 생성 모듈(122_2)은 서브 앵커 신호(Sub_ANCH)를 생성할 수 있다. 여기서, 서브 앵커 신호(Sub_ANCH)는 메인 앵커 신호(Main_ANCH)와 마찬가지로, 메인 앵커 신호(Main_ANCH)에 의하여 현재 재생 중인 가상객체 또는 증강현실 콘텐츠에 매칭되는 신호일 수 있다. 즉, 서브 앵커 생성 모듈(122_2)은 메인 앵커 신호(Main_ANCH)와 동일한 가상객체 또는 증강현실 콘텐츠에 매칭되는 서브 앵커 신호(Sub_ANCH)를 생성할 수 있다. 서브 앵커 생성 모듈(122_2)은 생성된 서브 앵커 신호(Sub_ANCH)를 콘텐츠 매칭 모듈(122_1)에 전송할 수 있다. In response to the device local switch signal DLC, the sub anchor generating module 122_2 may generate a sub anchor signal Sub_ANCH. Here, the sub anchor signal Sub_ANCH, like the main anchor signal Main_ANCH, may be a signal matching the currently playing virtual object or augmented reality content by the main anchor signal Main_ANCH. That is, the sub anchor generating module 122_2 may generate the sub anchor signal Sub_ANCH matching the same virtual object or augmented reality content as the main anchor signal Main_ANCH. The sub anchor generation module 122_2 may transmit the generated sub anchor signal Sub_ANCH to the content matching module 122_1 .

서브 앵커 신호(Sub_ANCH)에 응답하여, 콘텐츠 매칭 모듈(122_1)은 현재 디스플레이부(130)에서 재생 중인 가상객체 또는 증강현실 콘텐츠를 계속하여 선택할 수 있다. 예를 들어, 콘텐츠 매칭 모듈(122_1)은 서브 앵커 신호(Sub_ANCH)에 응답하여, 메인 앵커 신호(Main_ANCH)와 가상객체 또는 증강현실 콘텐츠 사이의 매칭을 해제할 수 있다. 이후, 콘텐츠 매칭 모듈(122_1)은 서브 앵커 신호(Sub_ANCH)와 가상객체 또는 증강현실 콘텐츠를 매칭시킬 수 있다. In response to the sub anchor signal Sub_ANCH, the content matching module 122_1 may continuously select the virtual object or augmented reality content currently being played on the display unit 130 . For example, the content matching module 122_1 may release matching between the main anchor signal Main_ANCH and the virtual object or augmented reality content in response to the sub anchor signal Sub_ANCH. Thereafter, the content matching module 122_1 may match the sub anchor signal Sub_ANCH with the virtual object or augmented reality content.

이 경우, 메인 앵커 신호(Main_ANCH)가 아닌 서브 앵커 신호(Sub_ANCH)에 응답하여 콘텐츠 매칭 모듈(122_1)이 가상객체 또는 증강현실 콘텐츠를 선택하였기 때문에, 영상 촬영부(110)에서 더 이상 앵커가 포함되지 않은 현실 환경을 촬영한다고 하더라도, 콘텐츠 매칭 모듈(122_1)은 계속하여 디스플레이부(130)에서 재생 중인 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. In this case, since the content matching module 122_1 selected the virtual object or augmented reality content in response to the sub anchor signal (Sub_ANCH) rather than the main anchor signal (Main_ANCH), the image capturing unit 110 no longer includes an anchor. Even if the unreal environment is photographed, the content matching module 122_1 may continuously select the virtual object or augmented reality content being reproduced on the display unit 130 .

이에 따라, 사용자는 증강현실 디스플레이 장치(100)를 계속하여 앵커 방향으로 고정시켜 앵커를 인식할 필요 없이, 디바이스 로컬 전환을 요청하는 것만으로 끊김없이 재생 중인 가상객체 또는 증강현실 콘텐츠를 계속하여 시청할 수 있다. Accordingly, the user does not need to continuously fix the augmented reality display apparatus 100 in the direction of the anchor to recognize the anchor, and can continue to watch the virtual object or augmented reality content that is being played seamlessly just by requesting a device local switch. have.

계속해서 도 2를 참조하면, 저장부(123)는 복수의 가상객체 또는 증강현실 콘텐츠들을 저장할 수 있다. 저장부(123)는 콘텐츠 매칭 모듈(122_1)의 요청에 응답하여, 메인 앵커 신호(Main_ANCH) 또는 서브 앵커 신호(Sub_ANCH)에 매칭되는 가상객체 또는 증강현실 콘텐츠를 콘텐츠 전송부(124)에 전송할 수 있다. Continuing to refer to FIG. 2 , the storage unit 123 may store a plurality of virtual objects or augmented reality contents. The storage unit 123 responds to the request of the content matching module 122_1, and transmits the virtual object or augmented reality content matching the main anchor signal (Main_ANCH) or the sub anchor signal (Sub_ANCH) to the content transmission unit 124. have.

저장부(123)는 모바일 기기와 같은 증강현실 디스플레이 장치(100)에 내장된 메모리일 수 있다. 다만, 이는 예시적인 것이며, 저장부(123)는 인터넷으로 연결된 외부 서버로 대체될 수도 있다. The storage unit 123 may be a memory embedded in the augmented reality display device 100 such as a mobile device. However, this is only an example, and the storage unit 123 may be replaced with an external server connected to the Internet.

콘텐츠 전송부(124)는 저장부(123)로부터 메인 앵커 신호(Main_ACNH) 또는 서브 앵커 신호(Sub_ANCH)에 매칭된 가상객체 또는 증강현실 콘텐츠를 수신한다. 콘텐츠 전송부(123)는 수신된 가상객체 또는 증강현실 콘텐츠를 디스플레이부(140)로 전송한다. The content transmission unit 124 receives the virtual object or augmented reality content matched to the main anchor signal (Main_ACNH) or the sub anchor signal (Sub_ANCH) from the storage unit 123 . The content transmission unit 123 transmits the received virtual object or augmented reality content to the display unit 140 .

상술한 바와 같이, 본 출원의 실시 예에 따른 콘텐츠 생성부(120)는 디바이스 로컬 전환 신호(DLC)에 응답하여, 재생 중인 가상객체 또는 증강현실 콘텐츠에 매칭되는 서브 앵커 신호(Sub_ANCH)를 생성하고, 생성된 서브 앵커 신호(Sub_ANCH)를 이용하여 메인 앵커 신호(Main_ANCH)를 대체할 수 있다. 이에 따라, 앵커 인식부(121)에서 앵커를 인식하지 못한다고 할지라도, 현재 재생 중인 가상객체 또는 증강현실 콘텐츠를 끊김없이 재생할 수 있다.As described above, the content generation unit 120 according to an embodiment of the present application generates a sub anchor signal (Sub_ANCH) matching the virtual object or augmented reality content being reproduced in response to the device local conversion signal (DLC) and , the generated sub anchor signal Sub_ANCH may be used to replace the main anchor signal Main_ANCH. Accordingly, even if the anchor recognition unit 121 does not recognize the anchor, the currently playing virtual object or augmented reality content can be reproduced without interruption.

도 3은 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)의 동작의 일 예를 보여주는 도면이다. 구체적으로, 도 3a에서는, 인식된 앵커에 대응하는 가상객체를 재생하는 예가 도시되어 있다. 도 3b에서는, 더 이상 앵커를 인식하지 않는 경우에도, 기 인식된 앵커가 계속하여 재생되는 예가 도시되어 있다.3 is a view showing an example of the operation of the augmented reality display apparatus 100 according to an embodiment of the present application. Specifically, in FIG. 3A, an example of reproducing the virtual object corresponding to the recognized anchor is shown. In FIG. 3B , even when the anchor is no longer recognized, an example in which the previously recognized anchor is continuously reproduced is shown.

도 1, 도 2 및 도 3a를 참조하면, 증강현실 디스플레이 장치(100)의 영상 촬영부(110)는 앵커(Anchor)가 포함된 이미지를 촬영하고, 디스플레이 장치(100)의 콘텐츠 생성부(120)는 해당 앵커에 대응하는 가상객체(1)를 재생할 수 있다.1, 2 and 3A , the image capturing unit 110 of the augmented reality display apparatus 100 captures an image including an anchor, and the content generating unit 120 of the display apparatus 100 ) can reproduce the virtual object 1 corresponding to the anchor.

도 1, 도 2 및 도 3b를 참조하면, 사용자는 디바이스 로컬 전환을 요청하고, 이후 증강현실 디스플레이 장치(100)의 영상 촬영부(110)는 더 이상 앵커가 포함된 이미지를 촬영하지 않을 수 있다. 이 경우, 콘텐츠 생성부(120)는 가상객체(1)에 대응하는 서브 앵커 신호(Sub_ANCH)를 생성하고, 생성된 서브 앵커 신호(Sub_ANCH)를 이용하여 기 인식된 앵커(Anchor)에 대응하는 메인 앵커 신호(Main_ANCH)를 대체할 수 있다. 이에 따라, 도 3b에 도시된 바와 같이, 증강현실 디스플레이 장치(100)가 더 이상 앵커(Anchor) 를 촬영하지 않는다고 하더라도, 가상객체(1)를 계속하여 재생할 수 있다.Referring to FIGS. 1, 2 and 3B , the user requests a device local switch, and thereafter, the image capturing unit 110 of the augmented reality display apparatus 100 may no longer capture an image including an anchor. . In this case, the content generating unit 120 generates a sub anchor signal (Sub_ANCH) corresponding to the virtual object (1), and uses the generated sub anchor signal (Sub_ANCH) to generate a main corresponding to the previously recognized anchor (Anchor). It can replace the anchor signal (Main_ANCH). Accordingly, as shown in FIG. 3B , even if the augmented reality display apparatus 100 no longer captures the anchor, the virtual object 1 may be continuously reproduced.

도 4는 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)의 동작을 보여주는 순서도이다. 이하에서는 도 1 내지 도 4를 참조하여, 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)의 동작이 설명될 것이다.4 is a flowchart showing the operation of the augmented reality display apparatus 100 according to an embodiment of the present application. Hereinafter, an operation of the augmented reality display apparatus 100 according to an embodiment of the present application will be described with reference to FIGS. 1 to 4 .

S110 단계에서, 증강현실 디스플레이 장치(100)에 설치된 증강현실 어플리케이션이 실행된다. In step S110, the augmented reality application installed on the augmented reality display device 100 is executed.

S120 단계에서, 증강현실 디스플레이 장치(100)의 영상 촬영부(110)는 앵커를 포함하는 영상을 촬영한다. 예를 들어, 영상 촬영부(110)는 그림이나 패턴 등의 이미지를 앵커로 하는 영상을 촬영할 수 있다. 다만, 이는 예시적인 것이며, 앵커는 평면 또는 위치를 기준점으로 할 수도 있다.In step S120 , the image capturing unit 110 of the augmented reality display apparatus 100 captures an image including an anchor. For example, the image capturing unit 110 may capture an image using an image such as a picture or a pattern as an anchor. However, this is an example, and the anchor may use a plane or a position as a reference point.

S130 단계에서, 증강현실 디스플레이 장치(100)의 콘텐츠 생성부(120)는 메인 앵커 신호(Main_ANCH)를 생성한다. 예를 들어, 콘텐츠 생성부(120)의 앵커 인식부(121)는 영상에 포함된 앵커를 인식하고, 해당 앵커에 대응하는 메인 앵커 신호(Main_ANCH)를 생성할 수 있다.In step S130 , the content generating unit 120 of the augmented reality display apparatus 100 generates a main anchor signal Main_ANCH. For example, the anchor recognition unit 121 of the content generation unit 120 may recognize an anchor included in an image and generate a main anchor signal Main_ANCH corresponding to the anchor.

S140 단계에서, 증강현실 디스플레이 장치(100)의 콘텐츠 생성부(120)는 메인 앵커 신호(Main_ANCH)에 매칭되는 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. 예를 들어, 콘텐츠 생성부(120)의 콘텐츠 매칭 모듈(122_1)은 저장부(123)에 저장된 복수의 가상객체들 또는 증강현실 콘텐츠들 중 메인 앵커 신호(Main_ANCH)에 매칭되는 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. In step S140 , the content generator 120 of the augmented reality display apparatus 100 may select a virtual object or augmented reality content matching the main anchor signal Main_ANCH. For example, the content matching module 122_1 of the content generating unit 120 may match a main anchor signal Main_ANCH among a plurality of virtual objects or augmented reality contents stored in the storage unit 123 , or augmented reality. You can select content.

S150 단계에서, 증강현실 디스플레이 장치(100)의 디스플레이부(130)는 선택된 가상객체 또는 증강현실 콘텐츠를 재생한다. 예를 들어, 콘텐츠 생성부(120)의 콘텐츠 매칭 모듈(122_1)의 제어에 응답하여, 저장부(123)는 선택된 가상객체 또는 증강현실 콘텐츠를 콘텐츠 전송부(124)로 전송할 수 있다. 콘텐츠 전송부(124)는 선택된 가상객체 또는 증강현실 콘텐츠를 디스플레이부(130)로 전송하고, 디스플레이부(130)는 이를 재생할 수 있다.In step S150, the display unit 130 of the augmented reality display device 100 reproduces the selected virtual object or augmented reality content. For example, in response to the control of the content matching module 122_1 of the content generator 120 , the storage 123 may transmit the selected virtual object or augmented reality content to the content transmitter 124 . The content transmission unit 124 transmits the selected virtual object or augmented reality content to the display unit 130 , and the display unit 130 may reproduce it.

S160 단계에서, 사용자로부터 디바이스 로컬 전환 요청이 있었는지 판단된다. In step S160, it is determined whether there is a device local switch request from the user.

사용자로부터 디바이스 로컬 전환 요청이 있는 경우, S170 단계에서, 디바이스 로컬 전환 동작이 수행된다. When there is a device local switching request from the user, in step S170 , a device local switching operation is performed.

좀 더 구체적으로, S171 단계에서, 증강현실 디스플레이 장치(100)의 디바이스 로컬 전환부(140)는 리바이스 로컬 전환 신호(DLC)를 생성하고, 이를 콘텐츠 생성부(120)에 전송한다. More specifically, in step S171 , the device local conversion unit 140 of the augmented reality display apparatus 100 generates a Levi's local conversion signal (DLC) and transmits it to the content generation unit 120 .

S172 단계에서, 콘텐츠 생성부(120)의 서브 앵커 생성 모듈(122_2)은 재생 중인 가상객체 또는 증강현실 콘텐츠에 매칭되는 서브 앵커 신호(Sub_ANCH)를 생성한다. 서브 앵커 생성 모듈(122_2)은 생성된 서브 앵커 신호(Sub_ANCH)를 콘텐츠 매칭 모듈(122_1)로 전송한다. In step S172, the sub-anchor generating module 122_2 of the content generating unit 120 generates a sub-anchor signal (Sub_ANCH) matching the playing virtual object or augmented reality content. The sub anchor generating module 122_2 transmits the generated sub anchor signal Sub_ANCH to the content matching module 122_1.

S173 단계에서, 콘텐츠 생성부(120)의 콘텐츠 매칭 모듈(122_1)은 서브 앵커 신호(Sub_ANCH)를 수신하고, 수신된 서브 앵커 신호(Sub_ANCH)를 이용하여 메인 앵커 신호(Main_ANCH)를 대체한다. 서브 앵커 신호(Sub_ANCH)는 메인 앵커 신호(Main_ANCH)와 동일하게 재생 중인 가상객체 또는 증강현실 콘텐츠에 매칭되기 때문에, 콘텐츠 매칭 모듈(122_1)은 끊김 없이 재생 중인 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. In step S173 , the content matching module 122_1 of the content generator 120 receives the sub anchor signal Sub_ANCH and replaces the main anchor signal Main_ANCH by using the received sub anchor signal Sub_ANCH. Since the sub anchor signal (Sub_ANCH) matches the virtual object or augmented reality content being reproduced in the same way as the main anchor signal (Main_ANCH), the content matching module 122_1 can select the virtual object or augmented reality content being played without interruption. .

S174 단계에서, 증강현실 디스플레이 장치(100)의 디스플레이부(130)는 서브 앵커 신호(Sub_ANCH)에 매칭되는 가상객체 또는 증강현실 콘텐츠를 계속하여 재생한다. In step S174, the display unit 130 of the augmented reality display apparatus 100 continuously reproduces the virtual object or augmented reality content matching the sub anchor signal (Sub_ANCH).

상술한 바와 같이, 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)는 디바이스 로컬 전환 동작을 지원한다. 이에 따라, 본 출원의 실시 예에 따른 증강현실 디스플레이 장치(100)는 앵커를 포함하는 현실 환경을 계속하여 촬영하지 않는다고 하더라도, 기 인식된 앵커에 대응하는 매칭되는 증강현실 콘텐츠를 계속하여 사용자에게 제공할 수 있다.As described above, the augmented reality display apparatus 100 according to an embodiment of the present application supports a device local switching operation. Accordingly, even if the augmented reality display apparatus 100 according to the embodiment of the present application does not continuously capture the real environment including the anchor, the augmented reality content matching the previously recognized anchor continues to be provided to the user. can do.

도 5는 본 출원의 다른 실시 예에 따른 증강현실 디스플레이 장치(100)의 콘텐츠 생성부(120_1)를 보여주는 블록도이며, 도 6은 도 5의 콘텐츠 매핑 테이블을 보여주는 도면이다. 도 5의 콘텐츠 생성부(120_1)는 도 2의 콘텐츠 생성부(120)와 유사하다. 따라서, 동일하거나 유사한 구성요소는 동일하거나 유사한 참조번호를 사용하여 표기하였으며, 반복되거나 중복되는 설명은 간략한 설명을 위하여 생략될 것이다.FIG. 5 is a block diagram illustrating the content generating unit 120_1 of the augmented reality display apparatus 100 according to another embodiment of the present application, and FIG. 6 is a view showing the content mapping table of FIG. 5 . The content generator 120_1 of FIG. 5 is similar to the content generator 120 of FIG. 2 . Accordingly, the same or similar components are denoted using the same or similar reference numbers, and repeated or overlapping descriptions will be omitted for the sake of brevity.

도 5를 참조하면, 콘텐츠 생성부(120_1)는 앵커 인식부(121), 매칭부(122), 저장부(123) 및 콘텐츠 전송부(124)를 포함하며, 매칭부(122)는 콘텐츠 매칭 모듈(122_11) 및 서브 앵커 생성 모듈(122_21)을 포함한다.Referring to FIG. 5 , the content generating unit 120_1 includes an anchor recognition unit 121 , a matching unit 122 , a storage unit 123 , and a content transmitting unit 124 , and the matching unit 122 is a content matching unit. It includes a module 122_11 and a sub-anchor generation module 122_21.

본 출원의 기술적 사상에 따른 실시 예에 있어서, 도 5의 콘텐츠 생성부(120_1)는 복수의 앵커에 대한 디바이스 로컬 전환 동작을 지원할 수 있다. 즉, 복수의 앵커를 포함하는 현실 환경을 계속하여 촬영하지 않는다고 하더라도 해당 복수의 앵커에 대응하는 가상객체 또는 증강현실 콘텐츠들이 계속하여 재생될 수 있도록, 콘텐츠 생성부(120_1)는 복수의 앵커에 대한 디바이스 로컬 전환 동작을 지원할 수 있다. 이를 위하여, 콘텐츠 생성부(120_1)의 콘텐츠 매칭 모듈(122_11)은 콘텐츠 매핑 테이블(125)을 포함할 수 있다.In an embodiment according to the technical idea of the present application, the content generator 120_1 of FIG. 5 may support a device local switching operation for a plurality of anchors. That is, even if the real environment including the plurality of anchors is not continuously photographed, the content generating unit 120_1 controls the plurality of anchors so that virtual objects or augmented reality contents corresponding to the plurality of anchors can be continuously reproduced. A device local switching operation may be supported. To this end, the content matching module 122_11 of the content generator 120_1 may include a content mapping table 125 .

좀 더 자세히 설명하면, 앵커 인식부(121)는 영상 촬영부(110)로부터 제1 앵커가 포함된 영상을 수신하고, 이에 대응하는 제1 메인 앵커(Main_ANCH 1)를 생성할 수 있다. 콘텐츠 매칭 모듈(122_11)은 제1 메인 앵커(Main_ANCH 1)에 대응하는 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. In more detail, the anchor recognizer 121 may receive an image including the first anchor from the image capture unit 110 , and may generate a corresponding first main anchor Main_ANCH 1 . The content matching module 122_11 may select a virtual object or augmented reality content corresponding to the first main anchor Main_ANCH 1 .

이후, 제1 앵커에 대응하는 가상객체 또는 증강현실 콘텐츠에 대한 디바이스 로컬 전환 요청이 사용자로부터 수신되면, 디바이스 로컬 전환부(140)는 제1 디바이스 로컬 전환 신호(DLC 1)를 생성하고, 이를 서브 앵커 생성 모듈(122_21)에 전송한다. 서브 앵커 생성 모듈(122_21)은 제1 서브 앵커 신호(Sub_ANCH 1)를 생성하고, 이를 콘텐츠 매칭 모듈(122_11)에 전송한다. 콘텐츠 매칭 모듈(122_11)은 제1 서브 앵커 신호(Sub_ANCH 1)를 이용하여 제1 메인 앵커 신호(Main_ANCH 1)를 대체함으로써, 현재 재생 중인 가상객체 또는 증강현실 콘텐츠가 끊김 없이 계속하여 재생되도록 할 수 있다. Thereafter, when a device local switching request for a virtual object or augmented reality content corresponding to the first anchor is received from the user, the device local switching unit 140 generates a first device local switching signal DLC 1 and serves it It is transmitted to the anchor generation module 122_21. The sub anchor generating module 122_21 generates a first sub anchor signal Sub_ANCH 1 and transmits it to the content matching module 122_11. The content matching module 122_11 replaces the first main anchor signal (Main_ANCH 1) using the first sub anchor signal (Sub_ANCH 1), so that the currently playing virtual object or augmented reality content can be continuously played without interruption. have.

한편, 제1 서브 앵커 신호(Sub_ANCH 1)를 이용하여 가상객체 또는 증강현실 콘텐츠를 재생하는 동안에, 영상 촬영부(110)를 제2 앵커가 포함된 영상을 촬영할 수 있다. 이 경우, 앵커 인식부(121)는 영상 촬영부(110)로부터 제2 앵커가 포함된 영상을 수신하고, 이에 대응하는 제2 메인 앵커(Main_ANCH 2)를 생성할 수 있다. 콘텐츠 매칭 모듈(122_11)은 제2 메인 앵커(Main_ANCH 2)에 대응하는 가상객체 또는 증강현실 콘텐츠를 선택할 수 있다. 이 경우, 제1 서브 앵커에 대응하는 가상객체 및 제2 메인 앵커에 대응하는 가상객체가 동시에 재생될 수 있다. Meanwhile, while the virtual object or augmented reality content is reproduced using the first sub anchor signal Sub_ANCH 1 , the image capturing unit 110 may capture an image including the second anchor. In this case, the anchor recognizer 121 may receive an image including the second anchor from the image capture unit 110 , and generate a corresponding second main anchor Main_ANCH 2 . The content matching module 122_11 may select a virtual object or augmented reality content corresponding to the second main anchor Main_ANCH 2 . In this case, the virtual object corresponding to the first sub-anchor and the virtual object corresponding to the second main anchor may be simultaneously reproduced.

이후, 만약 제2 앵커에 대응하는 가상객체 또는 증강현실 콘텐츠에 대한 디바이스 로컬 전환 요청이 사용자로부터 수신되면, 디바이스 로컬 전환부(140)는 제2 디바이스 로컬 전환 신호(DLC 2)를 생성하고, 이를 서브 앵커 생성 모듈(122_21)에 전송한다. 서브 앵커 생성 모듈(122_21)은 제2 서브 앵커 신호(Sub_ANCH 2)를 생성하고, 이를 콘텐츠 매칭 모듈(122_11)에 전송한다. 콘텐츠 매칭 모듈(122_11)은 제2 서브 앵커 신호(Sub_ANCH 2)를 이용하여 제2 메인 앵커 신호(Main_ANCH 2)를 대체함으로써, 제2 앵커에 대응하는 가상객체 또는 증강현실 콘텐츠를 끊임 없이 계속하여 재생되도록 할 수 있다.Thereafter, if a device local switching request for a virtual object or augmented reality content corresponding to the second anchor is received from the user, the device local switching unit 140 generates a second device local switching signal DLC 2 , and It is transmitted to the sub-anchor generation module 122_21. The sub-anchor generating module 122_21 generates a second sub-anchor signal Sub_ANCH 2 and transmits it to the content matching module 122_11. The content matching module 122_11 continuously reproduces the virtual object or augmented reality content corresponding to the second anchor by replacing the second main anchor signal Main_ANCH 2 using the second sub anchor signal Sub_ANCH 2 . can make it happen

결과적으로, 제1 앵커 및 제2 앵커에 대응하는 가상객체 또는 증강현실 콘텐츠에 대한 디바이스 로컬 전환 동작을 지원함으로써, 증강현실 디스플레이 장치(100)는 서로 다른 앵커에 대응하는 가상객체 또는 증강현실 콘텐츠를 계속하여 사용자에게 제공할 수도 있다. As a result, by supporting a device local switching operation for virtual objects or augmented reality contents corresponding to the first anchor and the second anchor, the augmented reality display apparatus 100 displays virtual objects or augmented reality contents corresponding to different anchors. It may continue to be provided to the user.

한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 예를 들어, 도 5에서는 2개의 서로 다른 앵커에 대한 디바이스 로컬 전환 동작이 예시적으로 설명되었다. 그러나, 본 출원의 기술적 사상에 따른 증강현실 디스플레이 장치(100)는 세 개 이상의 서로 다른 앵커에 대한 디바이스 로컬 전환 동작도 지원할 수 있으며, 이 경우에 콘텐츠 매칭 모듈(122_11)은 도 6에 도시된 바와 같은 콘텐츠 매핑 테이블(125)을 저장할 수도 있다. Meanwhile, it will be understood that the above description is exemplary, and the technical spirit of the present application is not limited thereto. For example, in FIG. 5 , a device local switching operation for two different anchors has been exemplarily described. However, the augmented reality display apparatus 100 according to the technical idea of the present application may also support a device local switching operation for three or more different anchors, and in this case, the content matching module 122_11 is as shown in FIG. The same content mapping table 125 may be stored.

한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 본 출원의 기술 분야에서 통상의 지식을 가진 자는 본 출원의 기술적 사상이 다양하게 응용 및 적용될 수 있음을 이해할 것이며, 이러한 응용 및 적용은 모두 본 출원의 기술적 사상의 범주 내에 속함이 이해될 것이다.Meanwhile, it will be understood that the above description is exemplary, and the technical spirit of the present application is not limited thereto. Those of ordinary skill in the technical field of the present application will understand that the technical spirit of the present application may be variously applied and applied, and it will be understood that all such applications and applications fall within the scope of the technical spirit of the present application.

100: 증강현실 디스플레이 장치
110: 영상 촬영부
120: 콘텐츠 생성부
121: 앵커 인식부
122: 매칭부
123: 저장부
124: 콘텐츠 전송부
130: 디스플레이부
140: 디바이스 로컬 전환부
DLC: 디바이스 로컬 전환 신호
Main_ANCH: 메인 앵커 신호
Sub_ANCH: 서브 앵커 신호100: augmented reality display device
110: video recording unit
120: content generation unit
121: anchor recognition unit
122: matching unit
123: storage
124: content transmission unit
130: display unit
140: device local switching unit
DLC: Device Local Switch Signal
Main_ANCH: main anchor signal
Sub_ANCH: sub anchor signal

Claims (20)

앵커를 포함하는 영상을 획득하는 영상 촬영부;
상기 영상 촬영부에서 획득된 상기 앵커와 기 저장된 증강현실 콘텐츠를 매칭시키고, 상기 매칭된 증강현실 콘텐츠를 생성하는 콘텐츠 생성부;
상기 매칭된 증강현실 콘텐츠를 디스플레이하는 디스플레이부; 및
상기 영상 촬영부가 상기 앵커를 포함하지 않는 영상을 촬영하는 동안에도 상기 앵커에 매칭된 증강현실 콘텐츠가 상기 디스플레이부에서 재생되도록, 상기 콘텐츠 생성부를 제어하는 디바이스 로컬 전환부를 포함하고,
상기 콘텐츠 생성부는 상기 디바이스 로컬 전환부로부터 디바이스 로컬 전환 신호를 수신하고, 상기 디바이스 로컬 전환 신호에 기초하여 서브 앵커 신호를 생성하는, 증강현실 디스플레이 장치.an image capturing unit for obtaining an image including an anchor;
a content generating unit that matches the anchor obtained from the image capturing unit and the pre-stored augmented reality content, and generates the matched augmented reality content;
a display unit for displaying the matched augmented reality content; and
and a device local switching unit for controlling the content generation unit so that the augmented reality content matched with the anchor is played on the display unit even while the image capturing unit captures an image that does not include the anchor,
The content generator receives a device local switch signal from the device local switch unit, and generates a sub-anchor signal based on the device local switch signal, augmented reality display apparatus. 제1 항에 있어서,
상기 콘텐츠 생성부는
상기 영상 촬영부에서 획득된 상기 앵커를 인식하고, 상기 앵커에 대응하는 메인 앵커 신호를 생성하는 앵커 인식부; 및
상기 메인 앵커 신호에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 매칭부를 포함하는, 증강현실 디스플레이 장치.According to claim 1,
The content creation unit
an anchor recognition unit for recognizing the anchor obtained by the image capturing unit and generating a main anchor signal corresponding to the anchor; and
Based on the main anchor signal, augmented reality display device comprising a matching unit for selecting the augmented reality content matched to the main anchor signal from among a plurality of augmented reality content. 제2 항에 있어서,
상기 매칭부는
상기 메인 앵커 신호에 응답하여, 상기 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 콘텐츠 매칭 모듈; 및
상기 서브 앵커 신호를 생성하는 서브 앵커 생성 모듈을 포함하는, 증강현실 디스플레이 장치.3. The method of claim 2,
the matching unit
a content matching module for selecting an augmented reality content matched with the main anchor signal from among the plurality of augmented reality contents in response to the main anchor signal; and
Augmented reality display device comprising a sub-anchor generating module for generating the sub-anchor signal. 제3 항에 있어서,
상기 콘텐츠 매칭 모듈은 상기 서브 앵커 생성 모듈로부터 상기 서브 앵커 신호를 수신하고, 상기 서브 앵커 신호를 이용하여 상기 메인 앵커 신호를 대체하는, 증강현실 디스플레이 장치.4. The method of claim 3,
The content matching module receives the sub anchor signal from the sub anchor generating module, and replaces the main anchor signal by using the sub anchor signal. 제4 항에 있어서,
상기 메인 앵커 신호와 상기 서브 앵커 신호는 동일한 증강현실 콘텐츠에 매칭되는, 증강현실 디스플레이 장치.5. The method of claim 4,
The main anchor signal and the sub anchor signal are matched to the same augmented reality content, augmented reality display device. 제2 항에 있어서,
상기 복수의 증강현실 콘텐츠들을 저장하는 저장부를 더 포함하는, 증강현실 디스플레이 장치.3. The method of claim 2,
The augmented reality display device further comprising a storage unit for storing the plurality of augmented reality contents. 제6 항에 있어서,
상기 저장부로부터 상기 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 수신하고, 상기 수신된 증간현실 콘텐츠를 상기 디스플레이부로 전송하는 콘텐츠 전송부를 더 포함하는, 증강현실 디스플레이 장치.7. The method of claim 6,
The augmented reality display device further comprising a content transmitting unit for receiving the augmented reality content matched to the main anchor signal among the plurality of augmented reality contents from the storage unit, and transmitting the received augmented reality contents to the display unit. 제1 항에 있어서,
상기 영상 촬영부는 제1 앵커를 포함하는 제1 영상을 획득하고, 상기 제1 앵커와 다른 제2 앵커를 포함하는 제2 영상을 획득하며,
상기 콘텐츠 생성부는
상기 제1 앵커에 대응하는 제1 메인 앵커 신호 및 상기 제2 앵커에 대응하는 제2 메인 앵커 신호를 생성하는 앵커 인식부; 및
상기 제1 메인 앵커 신호 및 상기 제2 메인 앵커 신호 중 적어도 하나에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 제1 메인 앵커 신호에 매칭된 제1 증강현실 콘텐츠 및 상기 제2 메인 앵커 신호에 매칭된 제2 증강현실 콘텐츠 중 적어도 하나를 선택하는 매칭부를 포함하는, 증강현실 디스플레이 장치.According to claim 1,
The image capturing unit acquires a first image including a first anchor, and acquires a second image including a second anchor different from the first anchor,
The content creation unit
an anchor recognition unit generating a first main anchor signal corresponding to the first anchor and a second main anchor signal corresponding to the second anchor; and
Based on at least one of the first main anchor signal and the second main anchor signal, a first augmented reality content matched to the first main anchor signal among a plurality of augmented reality contents and the second main anchor signal matching Augmented reality display device comprising a matching unit for selecting at least one of the second augmented reality content. 제8 항에 있어서,
상기 매칭부는
상기 제1 증강현실 콘텐츠에 대응하는 제1 디바이스 로컬 전환 신호에 기초하여, 제1 서브 앵커 신호를 생성하는 서브 앵커 생성 모듈; 및
상기 제1 서브 앵커 신호를 이용하여 상기 제1 메인 앵커 신호를 대체하는 콘텐츠 매칭 모듈을 포함하는, 증강현실 디스플레이 장치.9. The method of claim 8,
the matching unit
a sub-anchor generating module for generating a first sub-anchor signal based on a first device local switching signal corresponding to the first augmented reality content; and
And a content matching module that replaces the first main anchor signal by using the first sub anchor signal, augmented reality display device. 제9 항에 있어서,
상기 콘텐츠 매칭 모듈은 상기 제1 서브 앵커 신호에 대응하는 상기 제1 증강현실 콘텐츠 및 상기 제2 메인 앵커 신호에 매칭된 상기 제2 증강현실 콘텐츠를 동시에 선택하는, 증강현실 디스플레이 장치.10. The method of claim 9,
The content matching module simultaneously selects the first augmented reality content corresponding to the first sub-anchor signal and the second augmented reality content matched with the second main anchor signal, an augmented reality display device. 제9 항에 있어서,
상기 서브 앵커 생성 모듈은 상기 제2 증강현실 콘텐츠에 대응하는 제2 디바이스 로컬 신호에 기초하여, 상기 제1 서브 앵커 신호와 다른 제2 서브 앵커 신호를 생성하고,
상기 콘텐츠 매칭 모듈은 상기 제2 서브 앵커 신호를 이용하여 상기 제2 메인 앵커 신호를 대체하는, 증강현실 디스플레이 장치.10. The method of claim 9,
The sub-anchor generating module generates a second sub-anchor signal different from the first sub-anchor signal on the basis of a second device local signal corresponding to the second augmented reality content,
The augmented reality display device, wherein the content matching module replaces the second main anchor signal by using the second sub anchor signal. 제11 항에 있어서,
상기 콘텐츠 매칭 모듈은 상기 제1 서브 앵커 신호에 대응하는 상기 제1 증강현실 콘텐츠 및 상기 제2 서브 앵커 신호에 매칭된 상기 제2 증강현실 콘텐츠를 동시에 선택하는, 증강현실 디스플레이 장치.12. The method of claim 11,
The content matching module simultaneously selects the first augmented reality content corresponding to the first sub-anchor signal and the second augmented reality content matched with the second sub-anchor signal, an augmented reality display device. 앵커를 포함하는 영상을 획득하는 영상 촬영부;
복수의 증강현실 컨텐츠들 중 상기 앵커에 대응하는 증강현실 컨텐츠를 선택하는 콘텐츠 생성부; 및
상기 선택된 증강현실 컨텐츠를 재생하는 디스플레이부를 포함하며,
상기 디스플레이부는 상기 영상 촬영부가 상기 앵커를 포함하는 영상을 더 이상 촬영하지 않는 동안에도 상기 선택된 증강현실 컨텐츠를 계속하여 재생하고,
상기 콘텐츠 생성부는 디바이스 로컬 전환 요청에 응답하여, 서브 앵커 신호를 생성하는, 증강현실 디스플레이 장치.an image capturing unit for obtaining an image including an anchor;
a content generator for selecting augmented reality content corresponding to the anchor from among a plurality of augmented reality contents; and
It includes a display unit for playing the selected augmented reality content,
The display unit continues to reproduce the selected augmented reality content while the image capturing unit no longer shoots the image including the anchor,
The content generating unit in response to a device local switch request, the augmented reality display device for generating a sub-anchor signal. 제13 항에 있어서,
상기 콘텐츠 생성부는
상기 영상 촬영부에서 상기 영상 촬영부에서 획득된 상기 앵커를 인식하고, 상기 앵커에 대응하는 메인 앵커 신호를 생성하는 앵커 인식부; 및
상기 메인 앵커 신호에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 매칭부를 포함하는, 증강현실 디스플레이 장치.14. The method of claim 13,
The content creation unit
an anchor recognition unit for recognizing the anchor obtained by the image capturing unit in the image capturing unit, and generating a main anchor signal corresponding to the anchor; and
Based on the main anchor signal, augmented reality display device comprising a matching unit for selecting the augmented reality content matched to the main anchor signal from among a plurality of augmented reality content. 제14 항에 있어서,
상기 매칭부는
상기 메인 앵커 신호에 응답하여, 상기 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭된 증강현실 콘텐츠를 선택하는 콘텐츠 매칭 모듈; 및
상기 서브 앵커 신호를 생성하는 서브 앵커 생성 모듈을 포함하며,
상기 메인 앵커 신호와 상기 서브 앵커 신호는 동일한 증강현실 콘텐츠에 매칭되는, 증강현실 디스플레이 장치.15. The method of claim 14,
the matching unit
a content matching module for selecting an augmented reality content matched with the main anchor signal from among the plurality of augmented reality contents in response to the main anchor signal; and
A sub-anchor generating module for generating the sub-anchor signal,
The main anchor signal and the sub anchor signal are matched to the same augmented reality content, augmented reality display device. 제13 항에 있어서,
상기 영상 촬영부는 제1 앵커를 포함하는 제1 영상을 획득하고, 상기 제1 앵커와 다른 제2 앵커를 포함하는 제2 영상을 획득하며,
상기 콘텐츠 생성부는
상기 제1 앵커에 대응하는 제1 메인 앵커 신호 및 상기 제2 앵커에 대응하는 제2 메인 앵커 신호를 생성하는 앵커 인식부; 및
상기 제1 메인 앵커 신호 및 상기 제2 메인 앵커 신호 중 적어도 하나에 기초하여, 복수의 증강현실 콘텐츠들 중 상기 제1 메인 앵커 신호에 매칭된 제1 증강현실 콘텐츠 및 상기 제2 메인 앵커 신호에 매칭된 제2 증강현실 콘텐츠 중 적어도 하나를 선택하는 매칭부를 포함하며,
상기 매칭부는
상기 제1 증강현실 콘텐츠에 대응하는 제1 디바이스 로컬 전환 신호에 기초하여, 제1 서브 앵커 신호를 생성하고, 상기 제1 서브 앵커 신호를 이용하여 상기 제1 메인 앵커 신호를 대체하는, 증강현실 디스플레이 장치.14. The method of claim 13,
The image capturing unit acquires a first image including a first anchor, and acquires a second image including a second anchor different from the first anchor,
The content creation unit
an anchor recognition unit generating a first main anchor signal corresponding to the first anchor and a second main anchor signal corresponding to the second anchor; and
Based on at least one of the first main anchor signal and the second main anchor signal, a first augmented reality content matched to the first main anchor signal among a plurality of augmented reality contents and the second main anchor signal matching Includes a matching unit that selects at least one of the second augmented reality content,
the matching unit
Based on a first device local switching signal corresponding to the first augmented reality content, generating a first sub-anchor signal, and using the first sub-anchor signal to replace the first main anchor signal, augmented reality display Device. 영상 촬영부가 앵커를 포함하는 영상을 획득하는 단계;
콘텐츠 생성부가 상기 영상에 포함된 상기 앵커를 인식하고, 상기 앵커에 대응하는 메인 앵커 신호를 생성하는 단계;
상기 콘텐츠 생성부가 복수의 증강현실 콘텐츠들 중 상기 메인 앵커 신호에 매칭되는 증강현실 콘텐츠를 선택하는 단계;
디스플레이부가 상기 선택된 증강현실 콘텐츠를 재생하는 단계;
디바이스 로컬 전환 요청에 응답하여, 상기 콘텐츠 생성부가 상기 선택된 증강현실 콘텐츠에 매칭되는 서브 앵커 신호를 생성하는 단계; 및
상기 콘텐츠 생성부가 상기 서브 앵커 신호를 이용하여 상기 메인 앵커 신호를 대체하는 단계를 포함하는, 증강현실 디스플레이 방법.acquiring an image including an anchor by an image capturing unit;
recognizing the anchor included in the image by a content generator and generating a main anchor signal corresponding to the anchor;
selecting, by the content generator, augmented reality content matching the main anchor signal from among a plurality of augmented reality content;
reproducing the selected augmented reality content by the display unit;
generating, by the content generator, a sub-anchor signal matching the selected augmented reality content in response to a device local switching request; and
The augmented reality display method, comprising the step of the content generating unit replacing the main anchor signal by using the sub anchor signal. 제17 항에 있어서,
상기 서브 앵커 신호와 상기 메인 앵커 신호는 동일한 증강현실 콘텐츠에 매칭되는, 증강현실 디스플레이 방법.18. The method of claim 17,
The sub-anchor signal and the main anchor signal are matched to the same augmented reality content, augmented reality display method. 제17 항에 있어서,
상기 영상 촬영부가 상기 앵커를 포함하는 영상을 촬영하지 않는 동안에, 상기 디스플레이부가 상기 서브 앵커 신호에 기초하여 상기 선택된 증강현실 콘텐츠를 재생하는 단계를 더 포함하는, 증강현실 디스플레이 방법. 18. The method of claim 17,
While the image capturing unit does not capture the image including the anchor, the display unit further comprises reproducing the selected augmented reality content based on the sub-anchor signal. 제17 항에 있어서,
디바이스 로컬 전환부가 상기 디바이스 로컬 전환 요청에 응답하여 디바이스 로컬 전환 신호를 생성하고, 상기 디바이스 로컬 전환 신호를 상기 콘텐츠 생성부에 제공하는 단계를 더 포함하는, 증강현실 디스플레이 방법.

18. The method of claim 17,
The method further comprising the step of generating a device local switching signal in response to the device local switching request by a device local switching unit, and providing the device local switching signal to the content generating unit, the augmented reality display method.
KR1020200092095A 2020-07-24 2020-07-24 Augment reality display device supporting local conversion operation for augment reality and operation method thereof KR102330894B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200092095A KR102330894B1 (en) 2020-07-24 2020-07-24 Augment reality display device supporting local conversion operation for augment reality and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200092095A KR102330894B1 (en) 2020-07-24 2020-07-24 Augment reality display device supporting local conversion operation for augment reality and operation method thereof

Publications (1)

Publication Number Publication Date
KR102330894B1 true KR102330894B1 (en) 2021-12-01

Family

ID=78933944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200092095A KR102330894B1 (en) 2020-07-24 2020-07-24 Augment reality display device supporting local conversion operation for augment reality and operation method thereof

Country Status (1)

Country Link
KR (1) KR102330894B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281314B1 (en) * 2013-02-18 2013-07-03 구덕회 System and method for augmented reality
KR20180010724A (en) * 2016-07-22 2018-01-31 주식회사 엠코코아 Apparatus and method for object creation augmented reality
KR20200074786A (en) * 2018-12-17 2020-06-25 주식회사 에릭씨앤씨 Memory improvement training system based on augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281314B1 (en) * 2013-02-18 2013-07-03 구덕회 System and method for augmented reality
KR20180010724A (en) * 2016-07-22 2018-01-31 주식회사 엠코코아 Apparatus and method for object creation augmented reality
KR20200074786A (en) * 2018-12-17 2020-06-25 주식회사 에릭씨앤씨 Memory improvement training system based on augmented reality

Similar Documents

Publication Publication Date Title
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
US10721116B2 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
US20200045244A1 (en) Communication terminal, image data communication system, and communication method
US10666898B2 (en) Communication management system, communication system, and communication method
JP2019047167A (en) Imaging apparatus, image display system, operation method, program
US11042342B2 (en) Communication terminal, image communication system, display method, and non-transitory recording medium
US10939068B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US20200186407A1 (en) Communication terminal, image network system, display method, and program
JP2001008232A (en) Omnidirectional video output method and apparatus
KR102431712B1 (en) Electronic apparatus, method for controlling thereof and computer program product thereof
CN114327700A (en) Virtual reality equipment and screenshot picture playing method
CN110800314B (en) Computer system, remote operation notification method, and recording medium
JP2019121224A (en) Program, information processing device, and information processing method
CN110601959A (en) Session message display method, device, terminal and storage medium
JPWO2019123509A1 (en) Terminal device, system, program and method
JP2019004243A (en) Display system, display device, and control method of display system
US20190020644A1 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
US8928653B2 (en) Information processing system, information processing method, and computer-readable storage medium having information processing program stored therein
KR20200091188A (en) Electronic device and method for providing content thereof
JP2017201477A (en) Method, program and storage medium for providing virtual space
KR102330894B1 (en) Augment reality display device supporting local conversion operation for augment reality and operation method thereof
CN111459432B (en) Virtual content display method and device, electronic equipment and storage medium
KR20190098583A (en) Electronic device and method for controlling an image display
JP2023100616A (en) Content distribution apparatus, content distribution program, content distribution method, content display device, content display program, and contents display method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant