KR101746838B1 - Method for Operating Augmented Reality by using Display Stand - Google Patents

Method for Operating Augmented Reality by using Display Stand Download PDF

Info

Publication number
KR101746838B1
KR101746838B1 KR1020100055786A KR20100055786A KR101746838B1 KR 101746838 B1 KR101746838 B1 KR 101746838B1 KR 1020100055786 A KR1020100055786 A KR 1020100055786A KR 20100055786 A KR20100055786 A KR 20100055786A KR 101746838 B1 KR101746838 B1 KR 101746838B1
Authority
KR
South Korea
Prior art keywords
data
virtual
shelf
space
reality
Prior art date
Application number
KR1020100055786A
Other languages
Korean (ko)
Other versions
KR20110136029A (en
Inventor
김재형
홍종철
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020100055786A priority Critical patent/KR101746838B1/en
Publication of KR20110136029A publication Critical patent/KR20110136029A/en
Application granted granted Critical
Publication of KR101746838B1 publication Critical patent/KR101746838B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 진열대를 이용한 증강현실 매장 운영 방법에 관한 것으로, 카메라를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 증강현실장치의 카메라를 통해 입력되는 실제현실 데이터 상에서 특정한 실제현실 공간에 실제로 구비된 실제현실 공간의 특정 진열대를 인식하는 진열대 인식 정보, 상기 실제현실 공간의 진열대에 가상으로 진열할 하나 이상의 가상상품 데이터, 상기 실제현실 공간의 진열대의 실제 상품 진열 공간 중 가상상품을 표시할 가상의 공간을 가상 할당하기 위한 상품 진열 공간 할당 정보를 연결하여 저장하고, 상기 진열대 인식 정보를 근거로 상기 카메라를 통해 입력되는 실제현실 데이터를 판독하여 실제현실 공간에 구비된 진열대를 인식하고, 실제현실 공간의 진열대를 인식환 경우 상기 실제현실 데이터 상에서 인식된 진열대의 상품 진열 공간 할당 정보를 근거로 상기 인식된 실제현실 공간의 진열대의 실제 상품 진열 공간 중 실제 상품이 진열되지 않은 공간을 가상 분배하여 가상상품을 표시할 하나 이상의 가상의 상품 진열 공간을 가상 할당하고, 상기 실제현실 데이터 상의 진열대에 표시할 가상상품 데이터를 확인하여 상기 실제현실 데이터 상의 진열대의 실제 상품 진열 공간에 가상 할당된 하나 이상의 가상의 상품 진열 공간에 표시한다.The present invention relates to a method of operating an augmented reality store using a virtual shelf, and more particularly, to a method of operating an augmented reality store using a virtual shelf, A display unit for displaying virtual goods to be displayed on the shelves of the real space and virtual goods to be displayed on the shelves of the real space, And displays real-world real-world data inputted through the camera on the basis of the shelf recognition information, recognizes a real-world real-space shelf, In case of recognition of the shelf space, One or more virtual merchandise display spaces for displaying a virtual merchandise by virtually distributing a space where the actual merchandise is not displayed among the actual merchandise display spaces of the recognized real space space on the basis of the merchandise display space allocation information of the recognized shelves Virtual product data to be displayed on the shelf on the actual reality data is displayed and displayed in one or more virtual merchandise display space virtually allocated to the actual product shelf space of the shelf on the actual reality data.

Description

진열대를 이용한 증강현실 운영 방법{Method for Operating Augmented Reality by using Display Stand}Technical Field [0001] The present invention relates to an Augmented Reality Real-

본 발명은 카메라를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 증강현실장치의 카메라를 통해 입력되는 실제현실 데이터 상에서 특정한 실제현실 공간에 실제로 구비된 실제현실 공간의 특정 진열대를 인식하는 진열대 인식 정보, 상기 실제현실 공간의 진열대에 가상으로 진열할 하나 이상의 가상상품 데이터, 상기 실제현실 공간의 진열대의 실제 상품 진열 공간 중 가상상품을 표시할 가상의 공간을 가상 할당하기 위한 상품 진열 공간 할당 정보를 연결하여 저장하고, 상기 진열대 인식 정보를 근거로 상기 카메라를 통해 입력되는 실제현실 데이터를 판독하여 실제현실 공간에 구비된 진열대를 인식하고, 실제현실 공간의 진열대를 인식환 경우 상기 실제현실 데이터 상에서 인식된 진열대의 상품 진열 공간 할당 정보를 근거로 상기 인식된 실제현실 공간의 진열대의 실제 상품 진열 공간 중 실제 상품이 진열되지 않은 공간을 가상 분배하여 가상상품을 표시할 하나 이상의 가상의 상품 진열 공간을 가상 할당하고, 상기 실제현실 데이터 상의 진열대에 표시할 가상상품 데이터를 확인하여 상기 실제현실 데이터 상의 진열대의 실제 상품 진열 공간에 가상 할당된 하나 이상의 가상의 상품 진열 공간에 표시하는 진열대를 이용한 증강현실 운영 방법에 관한 것이다.The present invention relates to a method implemented through an augmented reality device having a camera, which method comprises the steps of: recognizing a specific shelf of an actual real space actually provided in a specific real space on actual real data input through a camera of the augmented reality device; One or more virtual goods data to be virtually displayed on the shelf of the actual real space, virtual shop space allocation information for virtually allocating a virtual space for displaying the virtual goods among the actual goods display space of the shelves of the actual real space, And displays the actual real space data on the display unit of the actual reality space by reading the actual reality data input through the camera on the basis of the shelf recognition information, Based on the merchandise display space allocation information of the displayed shelves, A virtual product display space for displaying a virtual product by virtually distributing a space in which an actual product is not displayed among the actual product display space on the shelf of the actual real space, And displaying the product data in at least one virtual merchandise display space virtually allocated to the actual merchandise display space on the shelf on the actual reality data.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
The reality displayed through the display device is divided into a real reality (real reality) shot through a camera and a virtual reality (virtual reality) that does not exist in the real world but represents a virtual world created through a computer. Fiction) There is Chroma-Key Reality, which is a combination of virtual reality and actual reality shot in front of blue screen according to predetermined scenarios such as movie. Chroma-key reality belongs to virtual reality in classification.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
Recently, the Augmented Reality which displays real-time virtual reality data on real-world objects by the progress of continuous information technology has been proposed. The augmented reality is distinguished from the reality of chroma key in that there is no predefined scene scenario like SF movie and reality reality is not shot in front of blue screen.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
As a method of determining an object to display virtual reality data on an actual reality in the augmented reality, there is a method of displaying a marker on an actual reality, then recognizing the marker and displaying a virtual reality data on the marker There are augmented reality and a markerless augmented reality in which virtual reality data is displayed by directly recognizing an actual real object without displaying a marker in actual reality. Currently, a number of trial services are provided using each marker, but there is no standardization of the marker configuration at all. Markerless augmented reality is a case in which realistic reality in which a predetermined object is photographed in a studio is used But it is not demonstrated due to the instability of object recognition.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
In addition, as a method of displaying virtual reality data in an actual reality in the augmented reality, there is a method of recognizing an object in a marker / markerless manner from an actual reality photographed through a camera and stored in a storage medium, There is a method of displaying an object in a marker / markerless manner from an actual reality photographed in real time through a camera and displaying virtual reality data on the recognized object. In addition to the above-mentioned method, Using transparent objects (such as glasses, goggles, glass windows, etc.) that look at the actual reality beyond the eyes of the human being as a transparent display without photographing the reality, and the sensor technology allows the human eye to see an object There is theoretically a method for recognizing and displaying the virtual reality data on the transparent display .

한편 상기 증강현실은 쇼핑과 같은 상품판매에 이용할 수 있는데, 현재까지 상품판매에 상기 증강현실을 이용하는 방법은 프로모션 또는 이벤트 제공에 이용하는 것이 대부분이며, 상기 증강현실을 통해 고객에게 직접 상품을 판매하는 기법은 존재하지 않는다.
On the other hand, the augmented reality can be used for selling a product such as shopping. Up to now, a method of using the augmented reality for selling a commodity is mostly used for providing a promotion or an event, and a technique of selling a commodity directly to a customer through the augmented reality Does not exist.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 카메라를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 증강현실장치의 카메라를 통해 입력되는 실제현실 데이터 상에서 특정한 실제현실 공간에 실제로 구비된 실제현실 공간의 특정 진열대를 인식하는 진열대 인식 정보, 상기 실제현실 공간의 진열대에 가상으로 진열할 하나 이상의 가상상품 데이터, 상기 실제현실 공간의 진열대의 실제 상품 진열 공간 중 가상상품을 표시할 가상의 공간을 가상 할당하기 위한 상품 진열 공간 할당 정보를 연결하여 저장하는 제1 단계와 상기 진열대 인식 정보를 근거로 상기 카메라를 통해 입력되는 실제현실 데이터를 판독하여 실제현실 공간에 구비된 진열대를 인식하는 제2 단계와 실제현실 공간의 진열대를 인식환 경우 상기 실제현실 데이터 상에서 인식된 진열대의 상품 진열 공간 할당 정보를 근거로 상기 인식된 실제현실 공간의 진열대의 실제 상품 진열 공간 중 실제 상품이 진열되지 않은 공간을 가상 분배하여 가상상품을 표시할 하나 이상의 가상의 상품 진열 공간을 가상 할당하는 제3 단계 및 상기 실제현실 데이터 상의 진열대에 표시할 가상상품 데이터를 확인하여 상기 실제현실 데이터 상의 진열대의 실제 상품 진열 공간에 가상 할당된 하나 이상의 가상의 상품 진열 공간에 표시하는 제4 단계를 포함하는 진열대를 이용한 증강현실 운영 방법을 제공함에 있다.In order to solve the above problems, an object of the present invention is to provide a method for realizing a method for realizing a method for realizing a real- A virtual space for displaying a virtual item in an actual product display space of a shelf of the actual real space, a virtual space for displaying a virtual item on the shelf of the actual real space, a shelf identification information for identifying a specific shelf of the real space, A first step of connecting and storing the merchandise display space allocation information for virtual allocation of the shelf space, and a second step of reading the actual reality data input through the camera based on the shelf recognition information, In the case of recognizing the stage and the shelf of the actual reality space, A virtual product display space for displaying a virtual product by virtually distributing a space in which the actual product is not displayed among the actual product display space of the recognized real space space on the basis of the goods display space allocation information of the shelf recognized on the display shelf, And displaying virtual product data to be displayed on the shelf on the actual reality data and displaying the virtual product data in at least one virtual product display space virtually allocated to the actual product shelf space on the shelf on the actual reality data, And a method of operating an augmented reality using a shelf.

본 발명에 따른 진열대를 이용한 증강현실 운영 방법은, 카메라를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 증강현실장치의 카메라를 통해 입력되는 실제현실 데이터 상에서 특정한 실제현실 공간에 실제로 구비된 실제현실 공간의 특정 진열대를 인식하는 진열대 인식 정보, 상기 실제현실 공간의 진열대에 가상으로 진열할 하나 이상의 가상상품 데이터, 상기 실제현실 공간의 진열대의 실제 상품 진열 공간 중 가상상품을 표시할 가상의 공간을 가상 할당하기 위한 상품 진열 공간 할당 정보를 연결하여 저장하는 제1 단계와 상기 진열대 인식 정보를 근거로 상기 카메라를 통해 입력되는 실제현실 데이터를 판독하여 실제현실 공간에 구비된 진열대를 인식하는 제2 단계와 실제현실 공간의 진열대를 인식환 경우 상기 실제현실 데이터 상에서 인식된 진열대의 상품 진열 공간 할당 정보를 근거로 상기 인식된 실제현실 공간의 진열대의 실제 상품 진열 공간 중 실제 상품이 진열되지 않은 공간을 가상 분배하여 가상상품을 표시할 하나 이상의 가상의 상품 진열 공간을 가상 할당하는 제3 단계 및 상기 실제현실 데이터 상의 진열대에 표시할 가상상품 데이터를 확인하여 상기 실제현실 데이터 상의 진열대의 실제 상품 진열 공간에 가상 할당된 하나 이상의 가상의 상품 진열 공간에 표시하는 제4 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 진열대를 이용한 증강현실 운영 방법에 있어서, 상기 실제현실 데이터 상의 진열대에 가상 할당된 하나 이상의 상품 진열 공간에 표시된 가상상품 데이터 중 어느 하나를 구매 선택하는 구매상품 선택 정보를 확인하는 제5 단계 및 상기 구매상품 선택 정보에 대응하는 구매정보에 대한 결제를 처리하는 절차를 수행하는 제6 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 진열대를 이용한 증강현실 운영 방법에 있어서, 상기 제6 단계는, 상기 카메라를 통해 입력되는 실제현실 데이터 상에 상기 구매정보에 대한 결제화면 데이터를 표시하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 가상 진열대를 이용한 증강현실 매장 운영 시스템은, 가상의 상품을 진열할 오프라인 매장 진열대를 인식하는 진열대 인식 정보, 상기 오프라인 매장 진열대에 진열할 하나 이상의 가상상품 데이터, 상기 오프라인 매장 진열대의 진열 공간 중 상기 가상상품 데이터를 표시할 공간을 할당하는 상품 진열 공간 할당 정보를 연결하여 저장매체에 저장하는 정보 저장수단과, 증강현실 장치로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단과, 상기 가상현실 요청 정보와 상기 저장매체에 저장된 진열대 인식 정보를 비교, 판독하여 상기 증강현실 장치에서 오프라인 매장 진열대에 가상의 상품 진열을 요청하는지 확인하는 정보 확인수단과, 상기 가상의 상품 진열을 요청하는 경우, 상기 저장매체에 저장된 상품 진열 공간 할당 정보를 통해 상기 가상상품 데이터를 오프라인 매장 진열대의 진열 공간에 표시하는 가상 상품 진열용 증강현실 데이터를 구성하여 상기 증강현실 장치로 전송하는 증강현실 제공수단과, 상기 증강현실 장치로부터 상기 가상상품 데이터 중 어느 하나를 선택한 구매상품 선택 정보를 수신하는 구매상품 확인수단과, 상기 구매상품 선택 정보에 대응하는 구매정보를 구성하여 판매자 단말(또는 서버)로 전송하는 정보 중계수단을 구비한다.A method of operating an augmented reality using a shelf according to the present invention is a method implemented through an augmented reality apparatus having a camera, A virtual space for displaying the virtual goods among the actual goods display space of the shelves of the actual real space, at least one virtual goods data to be displayed on the shelves of the actual real space, A first step of connecting and storing merchandise display space allocation information for virtual allocation and a second step of reading actual reality data input through the camera based on the shelf recognition information and recognizing a shelf provided in an actual reality space, And the actual real space data, A virtual product display space for displaying a virtual product by virtually distributing a space in which the actual product is not displayed among the actual product display space of the recognized real space space on the basis of the goods display space allocation information of the shelf recognized on the display shelf, And displaying virtual product data to be displayed on the shelf on the actual reality data and displaying the virtual product data in at least one virtual product display space virtually allocated to the actual product shelf space on the shelf on the actual reality data, The method comprising the steps of:
The fifth aspect of the present invention is a method for operating an augmented reality using a shelf according to the present invention, the method comprising the steps of: (a) identifying a purchase item selection information for purchasing one of virtual goods data displayed in one or more goods display space And a sixth step of processing a payment for purchasing information corresponding to the purchased product selection information.
In the method of operating an augmented reality using a shelf according to the present invention, the sixth step may further include displaying settlement screen data for the purchase information on actual reality data input through the camera .
The augmented reality store operation system using the virtual shelf system according to the present invention includes shelf recognition information for recognizing an in-store store shelf for displaying a virtual merchandise, one or more virtual merchandise data for displaying on the offline store shelf, A virtual reality request information receiving means for receiving virtual reality request information from the augmented reality device; and a virtual reality information receiving means for receiving the virtual reality request information from the augmented reality device, Information comparing means for comparing the virtual reality request information with the shelf recognition information stored in the storage medium and verifying whether the virtual merchandise is requested from the augmented reality shelf in the augmented reality display device, In this case, the merchandise display space An augmented reality providing means for constructing augmented reality data for virtual merchandise display and displaying the virtual merchandise data on a shelf space of an offline store shelf through assignment information and transmitting the augmented reality data to the augmented reality device; And information relay means for constructing the purchase information corresponding to the purchased product selection information and transmitting it to the seller terminal (or server).

본 발명에 따르면, 상기 가상 진열대를 이용한 증강현실 매장 운영 시스템은, 상기 구매상품 선택 정보에 대응하는 결제화면 데이터를 상기 증강현실 장치를 통해 출력되는 실제현실 데이터 상에 표시하는 결제화면 제공수단을 더 구비할 수 있다.
According to the present invention, the augmented reality store operating system using the virtual shelf has a settlement screen providing means for displaying settlement screen data corresponding to the purchased goods selection information on the actual reality data outputted through the augmented reality device .

본 발명에 따른 가상 진열대를 이용한 증강현실 매장 운영 시스템에서 상기 가상 상품 진열용 증강현실 데이터는, 상기 오프라인 매장 진열대의 진열 공간에 표시될 가상현실 데이터와, 상기 오프라인 매장 진열대의 진열 공간 중 상기 가상현실 데이터가 표시될 공간 값(또는 좌표 값)을 포함할 수 있다.
In the augmented reality store operation system using the virtual shelf system according to the present invention, the augmented reality data for virtual merchandise display may include virtual reality data to be displayed in the shelf space of the offline store shelf and virtual reality data to be displayed in the shelf space of the offline store shelf, (Or coordinate values) in which data is to be displayed.

본 발명에 따르면, 오프라인 매장 진열대에 실물의 상품을 구비하지 않고도 고객이 구매하고자 하는 맞춤형 상품을 진열하여 판매하는 이점이 있다. 예를들어, 상기 오프라인 매장 진열대가 구비된 매장이 여성 의류를 판매하는 곳이라고 할지라도, 고객이 남성 의류나 다른 브랜드의 의류를 구매하고자 하는 경우 오프라인 매장 진열대에 고객이 원하는 가상의 상품을 표시하여 판매할 수 있다.
According to the present invention, there is an advantage that a customized product that a customer desires to purchase is displayed and sold without providing a real product in an offline store shelf. For example, even if the store equipped with the offline store shelf is a place for selling women's clothing, if the customer desires to purchase men's clothing or other branded clothing, the virtual goods desired by the customer are displayed on the offline store shelf You can sell.

도 1은 본 발명의 실시 방법에 따른 증강현실 매장 운영 시스템 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 오프라인 매장 진열대에 가상상품을 진열한 증강현실을 예시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 오프라인 매장 진열대에 가상의 상품을 진열하는 과정을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따라 오프라인 매장 진열대에 표시된 가상의 상품을 구매하는 과정을 도시한 도면이다.FIG. 1 is a view illustrating a configuration of an augmented reality store operation system according to an embodiment of the present invention.
2 is a diagram illustrating an augmented reality in which a virtual merchandise is displayed on an offline store shelf according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of an augmented reality apparatus according to an embodiment of the present invention.
4 is a diagram illustrating a process of displaying a virtual merchandise on an offline store shelf according to an embodiment of the present invention.
5 is a view illustrating a process of purchasing a virtual merchandise displayed on an offline store shelf according to an embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 증강현실 매장 운영 시스템 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 오프라인 매장 진열대에 가상의 상품을 진열하여 판매하는 증강현실 매장 운영 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 매장 운영 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 도면1에서 상기 증강현실 매장 운영 시스템을 구성하는 각각의 수단을 증강현실 운영 서버(100)의 구성요소 형태로 상기 증강현실 운영 서버(100) 내에 도시하였으나, 상기 수단들이 증강현실 운영 서버(100) 구성요소로 한정되는 것은 결코 아니며, 당업자의 의도에 따라 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 일부 수단은 서버 형태로 구현되고 나머지 수단은 증강현실 운영 서버(100)의 구성요소 형태로 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
본 발명에 따르면, 상기 증강현실 매장 운영 시스템은, 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 증강현실 장치(300)와, 상기 증강현실 장치(300)와 통신 연결되어 상기 증강현실 장치(300)에서 인식한 실제현실 데이터 상의 오프라인 매장 진열대에 가상의 상품을 진열하여 판매하는 증강현실 운영 서버(100)를 포함하여 이루어진다. 여기서, 상기 실제현실 데이터는 실제 세계를 카메라를 통해 촬영한 이미지 파일 또는 동영상 파일을 포함한다.
상기 증강현실 운영 서버(100)는 상기 증강현실 장치(300)에서 가상현실 데이터를 상기 증강현실 운영 서버(100)로부터 수신하는 경우, 상기 증강현실 장치(300)로 제공할 하나 이상의 가상현실 데이터를 저장하는 가상현실 D/B(160)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 가상현실 데이터는 폴리곤(Polygon)과 텍스쳐(Texture)를 결합한 후 렌더링(Rendering)하여 생성된 가상현실 데이터 파일을 포함하거나, 폴리곤과 텍스쳐를 포함하고 상기 폴리곤에 상기 텍스쳐를 결합하여 렌더링하기 위한 렌더링 정보를 포함하는 3D 데이터 파일을 포함하거나, 상기 증강현실 장치(300)를 통해 결합 가능한 하나 이상의 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 포함할 수 있다. 만약 상기 가상현실 데이터가 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 포함하는 경우, 상기 가상현실 데이터는 상기 폴리곤 데이터와 텍스쳐 데이터를 결합하는 결합 조건 정보, 또는 두개 이상의 폴리곤을 결합하여 하나의 폴리곤 데이터를 구성하는 결합 조건 정보, 두개 이상의 텍스쳐 데이터를 하나의 폴리곤 데이터와 결합하는 결합 조건 정보를 더 포함할 수 있으며, 이 때 상기 결합 조건 정보를 기반으로 폴리곤에 텍스쳐를 결합하기 렌더링하기 위한 렌더링 정보는 상기 결합 조건 정보를 기반으로 증강현실 장치(300)에서 동적으로 결정될 수 있다.
본 발명의 실시 방법에 따르면, 상기 가상현실 데이터는 해당 가상현실 데이터를 설명하는 태그, 키워드, 문자열을 포함하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(160)에 저장될 수 있다.
도면1을 참조하면, 상기 증강현실 운영 서버(100)는, 상기 증강현실 장치(300)로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단(105)과, 상기 가상현실 요청 정보를 판독하거나 또는 상기 가상현실 요청 정보와 가상현실 D/B(160)에 저장된 가상현실 메타 정보를 비교하여 상기 증강현실 장치(300)로 전송할 가상현실 데이터를 추출하는 가상현실 데이터 추출수단(110)과, 상기 추출된 가상현실 데이터를 상기 증강현실 장치(300)로 전송하는 가상현실 데이터 전송수단(115)을 구비할 수 있다. 만약 상기 증강현실 장치(300)에 가상현실 데이터가 저장되거나 또는 다른 서버로부터 가상현실 데이터를 수신하는 경우 상기 증강현실 장치(300)로 가상현실 데이터를 전송하는 수단들은 생략 가능하다.
여기서, 상기 가상현실 요청 정보는 상기 실제현실 데이터로부터 인식된 마커 정보, 또는 가상현실 데이터를 표시할 실제현실 데이터, 또는 상기 실제현실 데이터로부터 획득된 객체 정보(예컨대, 실제현실 데이터의 색상/채도를 판독하여 획득된 기하학 구조와 색상 분포의 패턴 정보), 또는 상기 가상현실 D/B(160)에 저장된 가상현실 데이터 중 어느 하나의 가상현실 데이터와 연계된 가상현실 메타 정보와 매칭되는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
상기 가상현실 요청 정보 수신수단(105)을 통해 증강현실 장치(300)로부터 가상현실 요청 정보가 수신되면, 상기 가상현실 데이터 추출수단(110)은 상기 가상현실 D/B(160)로부터 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 추출한다.
본 발명의 일 실시 방법에 따라 상기 추출된 가상현실 데이터가 렌더링된 상기 가상현실 데이터 파일을 포함하는 경우, 상기 가상현실 데이터 전송수단(115)은 상기 가상현실 데이터 파일을 상기 증강현실 장치(300)로 전송한다.
본 발명의 다른 일 실시 방법에 따라 상기 추출된 가상현실 데이터가 상기 3D 데이터 파일을 포함하는 경우, 상기 가상현실 데이터 전송수단(115)은 상기 3D 데이터 파일을 렌더링하여 가상현실 데이터 파일을 생성한 후 상기 증강현실 장치(300)로 전송하거나, 또는 상기 3D 데이터 파일을 상기 증강현실 장치(300)로 전송할 수 있다. 만약 상기 3D 데이터 파일이 상기 증강현실 장치(300)로 전송되면, 상기 증강현실 장치(300)는 상기 3D 데이터 파일을 렌더링하여 가상현실 데이터 파일을 생성할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 추출된 가상현실 데이터가 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일 및 결합 조건 정보를 포함하는 경우, 상기 가상현실 데이터 전송수단(115)은 상기 결합 조건 정보를 기반으로 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합하여 3D 데이터 파일을 생성하고 상기 3D 데이터 파일을 렌더링한 가상현실 데이터 파일을 생성하여 상기 증강현실 장치(300)로 전송하거나, 또는 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합하여 생성된 3D 데이터 파일을 상기 증강현실 장치(300)로 전송하거나, 또는 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일 및 결합 조건 정보를 상기 증강현실 장치(300)로 전송할 수 있다. 만약 상기 가상현실 데이터 전송수단(115)에서 상기 결합 조건 정보를 기반으로 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합한 3D 데이터 파일을 상기 증강현실 장치(300)로 전송하는 경우, 상기 증강현실 장치(300)는 상기 3D 데이터 파일을 렌더링하여 가상현실 데이터 파일을 생성할 수 있다. 또는 상기 가상현실 데이터 전송수단(115)에서 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일 및 결합 조건 정보를 상기 증강현실 장치(300)로 전송하는 경우, 상기 증강현실 장치(300)는 상기 결합 조건 정보를 기반으로 상기 폴리곤 데이터 파일과 텍스쳐 데이터 파일을 결합한 3D 데이터 파일을 생성하고 상기 3D 데이터 파일을 렌더링한 가상현실 데이터 파일을 생성할 수 있다.
도면1을 참조하면, 상기 증강현실 운영 서버(100)는, 가상의 상품을 진열할 오프라인 매장 진열대를 인식하는 진열대 인식 정보, 상기 오프라인 매장 진열대에 진열할 하나 이상의 가상상품 데이터, 상기 오프라인 매장 진열대의 진열 공간 중 상기 가상상품 데이터를 표시할 공간을 할당하는 상품 진열 공간 할당 정보를 연결하여 저장매체(165)에 저장하는 정보 저장수단(120)과, 증강현실 장치(300)로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단(105)과, 상기 가상현실 요청 정보와 상기 저장매체(165)에 저장된 진열대 인식 정보를 비교, 판독하여 상기 증강현실 장치(300)에서 오프라인 매장 진열대에 가상의 상품 진열을 요청하는지 확인하는 정보 확인수단(125)과, 상기 가상의 상품 진열을 요청하는 경우, 상기 저장매체(165)에 저장된 상품 진열 공간 할당 정보를 통해 상기 가상상품 데이터를 오프라인 매장 진열대의 진열 공간에 표시하는 가상 상품 진열용 증강현실 데이터를 구성하여 상기 증강현실 장치(300)로 전송하는 증강현실 제공수단(130)과, 상기 증강현실 장치(300)로부터 상기 가상상품 데이터 중 어느 하나를 선택한 구매상품 선택 정보를 수신하는 구매상품 확인수단(140)과, 상기 구매상품 선택 정보에 대응하는 구매정보를 구성하여 판매자 단말(또는 서버)로 전송하는 정보 중계수단(155)을 구비한다.
상기 정보 저장수단(120)은 증강현실 장치(300)로 입력/출력되는 실제현실 데이터로부터 가상의 상품을 진열할 오프라인 매장 진열대를 인식하는 진열대 인식 정보와, 상기 오프라인 매장 진열대에 진열할 하나 이상의 가상상품 데이터 및 상기 오프라인 매장 진열대의 진열 공간 중 상기 가상상품 데이터를 표시할 공간을 할당하는 상품 진열 공간 할당 정보를 연결하여 저장매체(165)에 저장한다.
여기서, 상기 진열대 인식 정보는, 상기 증강현실 장치(300)를 통해 입력/출력되는 실제현실 데이터에 상기 가상의 상품을 진열할 오프라인 매장 진열대가 포함되어 있음을 인식하는 정보이다. 예를들어, 상기 오프라인 매장 진열대에 마커가 구비된 경우, 상기 진열대 인식 정보는 상기 오프라인 매장 진열대에 구비된 마커를 인식하는 마커 정보를 포함할 수 있다. 또는 상기 진열대 인식 정보는 상기 증강현실 장치(300)를 통해 입력/출력되는 실제현실 데이터에 포함된 오프라인 매장 진열대를 인식하는 객체 인식 정보(예컨대, 실제현실 데이터의 색상/채도를 판독하여 획득되는 기하학 구조와 색상 분포의 패턴과 미리 정의된 객체의 기하학 구조 및 색상 분포와 비교하여 상기 실제현실 데이터에 포함된 객체를 인식하는 정보)를 포함할 수 있다. 또는 상기 진열대 인식 정보는 상기 오프라인 매장 진열대에 대응하는 메타 정보를 포함할 수 있다.
상기 가상상품 데이터는, 상기 증강현실 장치(300)를 통해 입력되는 실제현실 데이터로부터 오프라인 매장 진열대가 인식되는 경우, 상기 오프라인 매장 진열대의 상품 진열 공간에 가상의 상품을 표시하는 가상현실 데이터이다.
상기 상품 진열 공간 할당 정보는, 상기 증강현실 장치(300)를 통해 입력되는 실제현실 데이터 상의 오프라인 매장 진열대의 실제 상품 진열 공간 중 상기 가상상품 데이터가 표시될 상품 진열 공간을 할당하는 정보이다. 예를들어, 상기 오프라인 매장 진열대가 3단 구조로 이루어진 경우, 상기 상품 진열 공간 할당 정보는 각 단 별로 3개의 가상상품을 표시하도록 상기 오프라인 매장 진열대의 상품 진열 공간을 분배하는 공간 분배 정보를 포함할 수 있다. 또는 상기 오프라인 매장 진열대의 각 단에 가상상품 데이터가 표시될 마커가 표시된 경우, 상기 상품 진열 공간 할당 정보는 상기 오프라인 매장 진열대의 각 단에 표시된 마커 정보(또는 마커 인식 정보)를 포함할 수 있다.
본 발명의 실시 방법에 따르면, 상기 정보 저장수단(120)은 상기 가상상품 데이터에 대응하는 상품정보를 더 연결하여 저장매체(165)에 저장할 수 있다.
여기서, 상기 상품정보는, 상기 가상상품 데이터에 대응하는 상품명, 제조사, 상품식별코드, 구매금액을 하나 이상 포함할 수 있으며, 상기 상품정보를 기반으로 상기 가상상품 데이터에 대한 구매정보가 구성된다.
본 발명의 실시 방법에 따르면, 상기 정보 저장수단(120)은 상기 가상상품 데이터 중 어느 하나의 가상상품 데이터를 선택하는 구매상품 선택 인터페이스를 상기 증강현실 장치(300)의 실제현실 데이터 상에 출력시키는 구매화면 데이터를 더 연결하여 저장매체(165)에 저장할 수 있다.
여기서, 상기 구매화면 데이터는, 상기 증강현실 장치(300)에 출력되는 실제현실 데이터 상에 상기 가상상품 데이터 중 구매 대상 가상상품 데이터를 선택하는 구매상품 선택 인터페이스, 또는 특정 가상상품 데이터에 대한 상세상품 정보를 표시하는 상세상품 정보 표시 인터페이스를 출력시키는 가상현실 데이터이다.
본 발명의 실시 방법에 따르면, 상기 정보 저장수단(120)은 상기 가상상품 데이터 중 구매 대상 가상상품 데이터에 대응하는 상품의 구매금액을 결제하는 결제 인터페이스를 상기 증강현실 장치(300)의 실제현실 데이터 상에 출력시키는 결제화면 데이터를 더 연결하여 저장매체(165)에 저장할 수 있다.
여기서, 상기 결제화면 데이터는, 상기 증강현실 장치(300)에서 상기 구매화면 데이터를 통해 구매상품이 선택되는 경우, 상기 구매상품에 대한 결제를 처리하는 결제 인터페이스를 상기 증강현실 장치(300)에 출력되는 실제현실 데이터(=오프라인 매장 진열대를 촬영한 실제현실 데이터) 상에 출력시키는 가상현실 데이터이다.
본 발명의 실시 방법에 따르면, 상기 정보 저장수단(120)은 상기 오프라인 매장 진열대의 상품 진열 공간에 가상상품 데이터를 표시하여 가상의 상품을 판매하는 판매자 정보를 상기 저장매체(165)에 더 저장할 수 있다. 여기서, 상기 판매자 정보는 상기 가상의 상품을 판매하는 판매자 단말 정보 또는 판매 서버(170) 정보를 포함할 수 있다.
예를들어, 상기 오프라인 매장 진열대가 구비된 오프라인 매장 운영자와 상기 오프라인 매장 진열대에 가상의 상품을 진열하여 판매하는 판매자가 동일한 경우, 상기 판매자 단말은 상기 가상의 상품을 판매하는 오프라인 매장 운영자의 단말장치를 포함할 수 있다.
또는, 상기 오프라인 매장 진열대가 구비된 오프라인 매장 운영자와 상기 오프라인 매장 진열대에 가상의 상품을 진열하여 판매하는 판매자가 다른 경우, 상기 판매 서버(170)는 상기 가상의 상품을 판매하는 쇼핑 서버 또는 상기 판매자의 상품판매 서버(170)를 포함할 수 있다.
증강현실 장치(300)에서 가상현실 요청 정보를 전송하면, 상기 가상현실 요청 정보 수신수단(105)은 상기 가상현실 요청 정보를 수신하고, 상기 정보 확인수단(125)은 상기 가상현실 요청 정보에 포함된 마커 정보, 객체 정보, 메타 정보와 상기 저장매체(165)에 저장된 진열대 인식 정보를 비교, 판독하여 상기 증강현실 장치(300)에서 오프라인 매장 진열대에 가상의 상품 진열을 요청하는지 확인한다. 만약 상기 가상현실 요청 정보가 상기 가상의 상품 진열을 요청하지 않는다면, 상기 가상현실 데이터 추출수단(110)은 상기 가상현실 D/B(160)로부터 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 추출하고, 상기 가상현실 데이터 전송수단(115)은 상기 추출된 가상현실 데이터를 상기 증강현실 장치(300)로 전송한다.
만약 상기 가상현실 요청 정보가 상기 가상의 상품 진열을 요청하는 것으로 확인되면, 상기 증강현실 제공수단(130)은 상기 저장매체(165)로부터 상기 가상현실 요청 정보에 대응하는 상품 진열 공간 할당 정보를 판독하여 오프라인 매장 진열대의 진열 공간에 가상현실 데이터를 표시할 상품 진열 공간을 할당하고, 상기 할당된 상품 진열 공간에 가상상품 데이터를 표시하는 가상 상품 진열용 증강현실 데이터를 구성한다.
여기서, 상기 가상 상품 진열용 증강현실 데이터는 상기 오프라인 매장 진열대의 진열 공간에 표시될 가상현실 데이터와, 상기 오프라인 매장 진열대의 진열 공간 중 상기 가상현실 데이터가 표시될 공간 값(또는 좌표 값)이 포함된다.
본 발명의 실시 방법에 따르면, 상기 가상 상품 진열용 증강현실 데이터는 상기 가상상품 데이터 중 어느 하나의 구매 대상 가상상품 데이터를 선택하는 구매화면 데이터를 더 포함할 수 있다.
본 발명의 실시 방법에 따르면, 상기 저장매체(165)는 사용자(또는 사용자 그룹) 별로 서로 다른 가상상품 데이터를 저장할 수 있으며, 이 경우 상기 증강현실 제공수단(130)은 상기 가상현실 요청 정보를 전송하는 사용자(또는 증강현실 장치(300))를 확인한 후, 상기 사용자(또는 증강현실 장치(300))에 최적화된 가상상품 데이터를 포함하는 가상 상품 진열용 증강현실 데이터를 구성할 수 있다.
상기 가상 상품 진열용 증강현실 데이터가 구성되면, 상기 증강현실 제공수단(130)은 상기 증강현실 장치(300)로 상기 가상 상품 진열용 증강현실 데이터를 전송한다.
상기 증강현실 장치(300)를 통해 실제현실 데이터 상의 오프라인 매장 진열대에 가상상품 데이터가 표시된 후, 상기 가상상품 데이터 중 어느 하나를 선택한 구매상품 선택 정보를 전송하면, 상기 구매상품 확인수단(140)은 상기 증강현실 장치(300)로부터 상기 구매상품 선택 정보를 수신한다. 본 발명의 실시 방법에 따르면, 상기 증강현실 장치(300)는 상기 구매상품 선택 정보에 대응하는 상품을 구매하는 사용자 정보를 더 전송할 수 있으며, 이 경우 상기 구매상품 확인수단(140)은 상기 사용자 정보를 더 수신할 수 있다. 또는 상기 증강현실 장치(300)가 개인화된 장치(예컨대, 휴대폰)라면, 상기 구매상품 확인수단(140)은 상기 장치 식별정보를 상기 구매상품 선택 정보에 대응하는 상품을 구매하는 사용자 정보로 확인할 수 있다.
상기 증강현실 장치(300)로부터 상기 구매상품 선택 정보가 수신되면, 상기 정보 중계수단(155)은 상기 구매상품 선택 정보에 대응하는 상품 식별정보와 구매금액 및 사용자 정보를 포함하는 구매정보를 확인(또는 구성)하고, 상기 구매상품 선택 정보에 대응하는 가상의 상품을 판매하는 판매자의 단말(또는 서버)로 상기 구매정보를 전송한다.
도면1을 참조하면, 상기 증강현실 운영 서버(100)는, 상기 구매상품 선택 정보에 대응하는 결제화면 데이터를 상기 증강현실 장치(300)를 통해 출력되는 실제현실 데이터 상에 표시하는 결제화면 제공수단(145)과, 상기 결제화면 데이터를 통해 입력된 결제 데이터를 통한 결제를 처리하는 결제 처리수단(150)을 더 구비할 수 있다. 만약 상기 구매상품 선택 정보에 대응하는 상품에 대한 구매대금을 상기 오프라인 매장 진열대가 구비된 오프라인 매장에 지불하는 경우, 상기 결제화면 제공수단(145)과 결제 처리수단(150)은 생략 가능하다.
상기 증강현실 장치(300)를 통해 상기 구매상품 선택 정보에 대한 결제를 처리하는 경우, 상기 결제화면 제공수단(145)은 상기 저장매체(165)로부터 상기 구매상품 선택 정보에 대응하는 결제화면 데이터를 확인하고, 상기 확인된 결제화면 데이터를 상기 증강현실 장치(300)로 전송하여 실제현실 데이터 상에 출력시킨다.
상기 증강현실 장치(300)에서 상기 결제화면 데이터를 기반으로 결제 데이터를 구성하여 전송하면, 상기 결제 처리수단(150)은 상기 결제 데이터를 수신하고, 상기 결제 데이터에 포함된 카드정보(또는 계좌정보)에 대응하는 결제 서버로 상기 결제 데이터를 전송하여 상기 구매상품에 대한 결제를 처리한다. 상기 카드정보(또는 계좌정보)는 상기 증강현실 장치(300)에서 키 입력되거나, 또는 상기 증강현실 장치(300)에 탑재 또는 이탈착되는 IC칩(또는 메모리)으로부터 추출될 수 있으며, 상기 증강현실 장치(300)에 카드 리더가 구비된 경우 상기 카드 리더를 통해 리딩될 수 있다.
도면2는 본 발명의 실시 방법에 따라 오프라인 매장 진열대에 가상상품을 진열한 증강현실을 예시한 도면이다.
사용자는 휴대폰 또는 고글과 같은 증강현실 장치(300)를 소지하고 있으며, 상기 증강현실 장치(300)를 통해 오프라인 매장 진열대를 인식하여 증강현실 운영 서버(100)로 전송하면, 상기 증강현실 운영 서버(100)는 상기 오프라인 매장 진열대에 가상의 상품을 진열하는 가상 상품 진열용 증강현실 데이터를 구성하여 전송하며, 상기 증강현실 장치(300)에는 본 도면2와 같이 가상의 상품이 상기 오프라인 매장 진열대에 진열된 것처럼 표시된다.
도면3은 본 발명의 실시 방법에 따른 증강현실 장치(300) 구성을 도시한 도면이다.
보다 상세하게 본 도면3은 오프라인 매장 진열대를 인식하여 상기 도면1에 도시된 증강현실 운영 서버(100)를 통해 상기 오프라인 매장 진열대의 상품 진열 공간에 가상의 상품을 진열하여 표시하는 증강현실 장치(300) 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 증강현실 장치(300) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명의 증강현실 장치(300)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 입력되거나, 또는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다. 상기 가상현실 데이터가 표시될 객체는 마커/마커리스 방식 중 어느 방식을 이용하여 결정되어도 무방하다. 상기 객체에 가상현실 데이터를 표시하는 방식은 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 출력 데이터에 실제현실 계층(Layer)와 가상현실 계층을 구비하고 실제현실 데이터는 실제현실 계층에 표시하고 가상현실 데이터는 가상현실 계층에 표시하는 방식, 투명 디스플레이 너머의 객체 위치에 가상현실 데이터만 표시하는 방식이 사용될 수 있다.
또한, 상기 증강현실 장치(300)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(300)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
도면3을 참조하면, 상기 증강현실 장치(300)는, 제어부(305), 메모리부(335) 및 출력부(310)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(330)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(320)를 더 구비하고, 실제현실 데이터 상의 객체를 결정하는 방식에 따라 센서부(325)를 더 구비하고, 사용자 조작을 위한 조작부(315)를 더 구비할 수 있다.
상기 제어부(305)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(300)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면3은 상기 증강현실 장치(300)에 구비되는 프로그램 구성부를 편의상 상기 제어부(305) 내에 도시하여 설명하기로 한다.
상기 메모리부(335)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(305)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체(165) 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(300)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(300)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
본 발명의 실시 방법에 따르면, 상기 메모리부(335)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(335)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(335)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(335)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 출력부(310)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
상기 카메라부(330)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부(330)는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(325)의 기능을 더 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 카메라부(330)는 상기 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
상기 통신부(320)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(300)와 통신채널을 연결하는 기능을 수행한다.
본 발명의 실시 방법에 따르면, 상기 통신부(320)는 통신망 상의 서버(또는 장치)에 저장된 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 통신부(320)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 센서부(325)는 어느 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센서신호를 획득하는 장치를 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득한 후 상기 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 본 발명에 따르면, 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(325)는 상기 카메라부(330)와 통합될 수 있다.
상기 조작부(315)는 상기 증강현실 장치(300)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(315)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(310)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(330) 또는 센서부(325)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
도면3을 참조하면, 상기 증강현실 장치(300)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(340)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(345)와, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(350)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(355)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(310)를 통해 출력하는 증강현실 출력부(360)를 구비한다.
상기 실제현실 입력부(340)는 상기 카메라부(330)를 통해 입력되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(310)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 메모리부(335)에 저장되어 있거나 또는 상기 메모리부(335)로 실시간 저장되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(310)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 통신부(320)를 통해 수신되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(310)를 통해 출력할 실제현실 데이터로 입력한다.
상기 실제현실 데이터가 입력되면, 상기 객체 인식부(345)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체를 인식한다.
본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(345)는 상기 실제현실 데이터를 판독하여 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 객체 인식부(345)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기 설정된 기하학 구조를 갖는 하나 이상의 객체 영역을 인식하고, 상기 객체 영역을 가상현실 데이터를 출력할 객체를 인식할 수 있다. 여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 카메라부(330)를 통해 실시간 입력되는 경우, 상기 객체 인식부(345)는 상기 센서부(325)와 카메라부(330)의 시선 방향을 일치시킨 후, 상기 카메라부(330)를 통해 입력되는 데이터의 좌표계와 상기 센서부(325)를 통해 센싱되는 센싱신호의 좌표계를 매칭하여 특정 센서신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체로 인식할 수 있다. 또는 상기 실제현실 데이터에 객체 위치를 판별하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체로 인식할 수 있다.
상기 가상현실 결정부(350)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(350)는 상기 고정된 상기 객체 인식부(345)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(350)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(350)는 상기 객체 인식부(345)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(350)는 상기 객체 인식부(345)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(345)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 메모리부(335)에 저장되어 있거나 또는 통신부(320)를 통해 수신되는 데이터이고, 상기 실제현실 데이터에 가상현실 데이터를 결정하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 가상현실 결정부(350)는 상기 메타 데이터를 참조하여 상기 객체 인식부(345)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
상기 가상현실 입력부(355)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(350)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
상기 증강현실 출력부(360)는 상기 실제현실 입력부(340)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(355)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(310)를 통해 출력한다.
본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(360)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(310)를 통해 출력할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(360)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(310)를 통해 출력할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(310)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(360)는 상기 객체 인식부(345)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
도면4는 본 발명의 실시 방법에 따라 오프라인 매장 진열대에 가상의 상품을 진열하는 과정을 도시한 도면이다.
도면4를 참조하면, 증강현실 운영 서버(100)는 오프라인 매장 진열대를 구비한 매장 운영자로부터 가상의 상품을 진열할 오프라인 매장 진열대를 인식하는 진열대 인식 정보를 제공받고, 상기 오프라인 매장 진열대의 진열 공간 중 상기 가상상품 데이터를 표시할 공간을 할당하는 상품 진열 공간 할당 정보를 구성한 후, 상기 오프라인 매장 진열대를 통해 상품을 판매할 판매자로부터 상기 오프라인 매장 진열대에 진열할 하나 이상의 가상상품 데이터가 제공되면, 상기 진열대 인식 정보와 가상상품 데이터 및 상품 진열 공간 할당 정보를 연결하여 저장매체(165)에 저장한다(400).
상기 저장매체(165)에 상기 진열대 인식 정보와 가상상품 데이터 및 상품 진열 공간 할당 정보가 저장된 후, 상기 증강현실 운영 서버(100)는 증강현실 장치(300)로부터 가상현실 요청 정보가 수신되는지 확인한다(405).
만약 상기 가상현실 요청 정보가 수신되면(415), 상기 증강현실 운영 서버(100)는 상기 저장매체(165)를 통해 상기 가상현실 요청 정보가 오프라인 매장 진열대에 가상의 상품을 진열하도록 요청하는지 확인한다(420).
만약 상기 가상현실 요청 정보가 상기 오프라인 매장 진열대에 가상의 상품을 진열하도록 요청하는 것이 아니라면(425), 상기 증강현실 운영 서버(100)는 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 확인/추출하여 상기 증강현실 장치(300)로 전송한다(430).
한편 오프라인 매장 진열대 근처에 위치한 증강현실 장치(300)에서 상기 오프라인 매장 진열대를 인식하여 상기 증강현실 운영 서버(100)로 가상현실 요청 정보를 전송하고(410), 상기 증강현실 운영 서버(100)에서 상기 가상현실 요청 정보가 오프라인 매장 진열대에 가상의 상품을 진열하도록 요청하는 것으로 확인하면(425), 상기 증강현실 운영 서버(100)는 상기 저장매체(165)로부터 상기 가상현실 요청 정보에 대응하는 상품 진열 공간 할당 정보를 판독하여 오프라인 매장 진열대의 진열 공간에 가상현실 데이터를 표시할 상품 진열 공간을 할당하고, 상기 할당된 상품 진열 공간에 가상상품 데이터를 표시하는 가상 상품 진열용 증강현실 데이터를 구성하고(435), 상기 증강현실 장치(300)로 상기 구성된 가상 상품 진열용 증강현실 데이터를 전송하며(440), 상기 증강현실 장치(300)는 상기 도면2에 예시된 바와 같이 오프라인 매장 진열대의 진열 공간에 상기 가상 상품 진열용 증강현실 데이터에 포함된 가상상품 데이터를 표시한다.
도면5는 본 발명의 실시 방법에 따라 오프라인 매장 진열대에 표시된 가상의 상품을 구매하는 과정을 도시한 도면이다.
상기 도면4에 도시된 과정을 통해 상기 증강현실 장치(300)로 전송된 가상 상품 진열용 증강현실 데이터는 상기 오프라인 매장 진열대의 상품 진열 공간에 표시된 가상상품 데이터 중 어느 하나를 구매 대상 상품으로 선택하는 구매상품 선택 인터페이스를 포함하며, 상기 증강현실 운영 서버(100)는 상기 증강현실 장치(300)로부터 상기 구매상품 선택 인터페이스를 통해 선택된 구매상품 선택 정보가 수신되는지 확인한다(500).
만약 상기 증강현실 장치(300)로부터 상기 구매상품 선택 정보가 수신되면(505), 상기 증강현실 운영 서버(100)는 상기 저장매체(165)를 통해 상기 구매상품 선택 정보에 대응하는 구매정보를 구성하여 판매자 단말(또는 판매 서버(170))로 전송한다(510).
한편 상기 증강현실 장치(300)를 통해 상기 구매상품 선택 정보를 통해 선택된 상품에 대한 결제를 처리하는 경우, 상기 증강현실 운영 서버(100)는 상기 증강현실 장치(300)에 출력되는 실제현실 데이터 상에 표시되는 결제화면 데이터를 확인(또는 구성)하여 상기 증강현실 장치(300)로 전송하고(515), 상기 증강현실 장치(300)로부터 상기 결제화면 데이터를 통해 입력된 결제 데이터(예컨대, 신용카드정보, 계좌정보 등)가 수신되는지 확인한다.
만약 상기 증강현실 장치(300)로부터 상기 구매상품 선택 정보에 대응하는 결제 데이터가 수신되면(520), 상기 증강현실 운영 서버(100)는 상기 결제 데이터에 대응하는 결제서버와 연계하여 상기 결제 데이터에 대한 결제를 처리하고(525), 상기 결제처리 결과를 상기 증강현실 장치(300)와 판매자 단말(또는 판매 서버(170))로 전송한다.The operation principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. It should be understood, however, that the drawings and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not to be construed as limiting the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the present invention, which may vary depending on the user, intention or custom of the operator. Therefore, the definition should be based on the contents throughout the present invention.
As a result, the technical idea of the present invention is determined by the claims, and the following embodiments are merely means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs Only.
1 is a diagram illustrating a configuration of an augmented reality store operation system according to an embodiment of the present invention.
1 shows a configuration of an augmented reality store operation system for displaying virtual merchandise on an offline store shelf and selling the virtual merchandise. As a person skilled in the art, (E.g., some of the components may be omitted, or segmented, or combined) to the augmented reality store operating system configuration, but the invention is not limited to all of the above envisioned implementations And the technical features thereof are not limited only by the method shown in FIG.
For example, in FIG. 1, each means constituting the augmented reality store operation system is shown in the augmented reality operation server 100 in the form of a component of the augmented reality operation server 100, The present invention is not limited to the components of the server 100 and may be realized in the form of a separate server according to the intention of those skilled in the art or a combination of two or more means may be implemented in a server form, Means may be implemented in the form of a component of the augmented reality operating server 100, and it is evident that the present invention is not limited by the manner of implementation of the means.
According to the present invention, the augmented reality store operation system includes a function of acquiring real reality data, a function of acquiring virtual reality data, a function of determining an object to display virtual reality data from the actual reality data, A virtual reality device 300 having a function of displaying virtual reality data on an object on the virtual reality device 300 and outputting the virtual reality data to an object on the virtual reality device 300, And an augmented reality operation server 100 that displays and sells virtual goods on a shelf. Here, the actual reality data includes an image file or a moving image file taken through a camera in a real world.
When the augmented reality operation server 100 receives virtual reality data from the augmented reality operation server 100 in the augmented reality device 300, the augmented reality operation server 100 transmits one or more virtual reality data to be provided to the augmented reality device 300 And a virtual reality D / B 160 for storing the virtual reality D / B 160.
The virtual reality data may include a virtual reality data file generated by combining a polygon and a texture, rendering the virtual reality data file by rendering, combining the polygon with a texture, rendering the combined polygon with the texture, And may include one or more polygon data files and texture data files that can be combined through the augmented reality device 300. [ If the virtual reality data includes a polygon data file and a texture data file, the virtual reality data may include combining condition information for combining the polygon data and the texture data, or composing one polygon data by combining two or more polygons The rendering condition information may include combining condition information and combining condition information for combining two or more texture data with one polygon data. In this case, the rendering information for rendering a combined texture to a polygon based on the combining condition information may include Information can be dynamically determined in the augmented reality device 300. [
According to an embodiment of the present invention, the virtual reality data may be stored in the virtual reality D / B 160 in association with virtual reality meta information including a tag, a keyword, and a character string describing the virtual reality data.
Referring to FIG. 1, the augmented reality operation server 100 includes a virtual reality request information receiving unit 105 for receiving virtual reality request information from the augmented reality device 300, Virtual reality data extraction means 110 for comparing the virtual reality request information with virtual reality meta information stored in the virtual reality D / B 160 and extracting virtual reality data to be transmitted to the augmented reality device 300, And a virtual reality data transfer unit 115 for transferring the extracted virtual reality data to the augmented reality device 300. [ If the augmented reality device 300 stores virtual reality data or receives virtual reality data from another server, means for transmitting virtual reality data to the augmented reality device 300 may be omitted.
Here, the virtual reality request information may include marker information recognized from the actual reality data, or actual information to display virtual reality data, or object information (e.g., color / saturation of actual reality data) obtained from the actual reality data The pattern information of the geometric structure and the color distribution obtained by reading the virtual reality data, or the virtual reality data stored in the virtual reality D / B 160, And may include an address and a data identification code for requesting specific virtual reality data according to an implementation method.
When the virtual reality request information is received from the augmented reality device 300 through the virtual reality request information receiving means 105, the virtual reality data extracting means 110 extracts the virtual reality request from the virtual reality D / And extracts the virtual reality data corresponding to the request information.
If the extracted virtual reality data includes the rendered virtual reality data file according to an embodiment of the present invention, the virtual reality data transfer unit 115 transfers the virtual reality data file to the augmented reality device 300, Lt; / RTI >
When the extracted virtual reality data includes the 3D data file according to another embodiment of the present invention, the virtual reality data transfer unit 115 generates the virtual reality data file by rendering the 3D data file To the augmented reality device 300, or to transmit the 3D data file to the augmented reality device 300. Fig. If the 3D data file is transmitted to the augmented reality device 300, the augmented reality device 300 may generate the virtual reality data file by rendering the 3D data file.
When the extracted virtual reality data includes the polygon data file, the texture data file, and the combining condition information according to another embodiment of the present invention, the virtual reality data transmitting unit 115 may transmit the virtual reality data based on the combining condition information A 3D data file is generated by combining the polygon data file and the texture data file, and a virtual reality data file in which the 3D data file is rendered is generated and transmitted to the augmented reality device 300, or the polygon data file and the texture data file Files may be transmitted to the augmented reality device 300 or the polygon data file and the texture data file and the combining condition information may be transmitted to the augmented reality device 300. [ If the virtual reality data transmitting unit 115 transmits the 3D data file combining the polygon data file and the texture data file to the augmented reality device 300 based on the combining condition information, May render the 3D data file to generate a virtual reality data file. Or when the virtual reality data transmission unit 115 transmits the polygon data file, the texture data file, and the coupling condition information to the augmented reality device 300, the augmented reality device 300 transmits the combining condition information A 3D data file combining the polygon data file and the texture data file may be generated and a virtual reality data file in which the 3D data file is rendered may be generated.
1, the augmented reality operation server 100 includes shelf recognition information for recognizing an in-store shelf for displaying a virtual commodity, one or more virtual commodity data for displaying in the offline commodity shelf, An information storage unit 120 for storing merchandise display space allocation information for allocating a space for displaying the virtual merchandise data among the display space and storing the merchandise display space allocation information in the storage medium 165; The virtual reality request information receiving means 105 compares the virtual reality request information with the shelf recognition information stored in the storage medium 165 and reads the virtual reality request information from the augmented reality device 300, An information confirmation means (125) for confirming whether or not a shelf is requested, and a storage means Augmented reality providing means (130) for constructing virtual product display augmented reality data for displaying the virtual product data on a shelf space of an offline store shelf through shelf space allocation information and transmitting it to the augmented reality device (300) A purchase commodity checking means (140) for receiving purchase commodity selection information selected from any one of the virtual commodity data from the augmented reality device (300) And an information relaying unit 155 for transmitting the information to the mobile terminal.
The information storage unit 120 stores shelf recognition information for recognizing an offline store shelf for displaying virtual goods from actual reality data input to and output from the augmented reality device 300 and one or more virtual Product display space allocation information for allocating a space for displaying the virtual product data among the display space of the offline store shelves, and stores them in the storage medium (165).
The shelf recognition information is information for recognizing that an offline store shelf for displaying the virtual merchandise is included in actual reality data input / output through the augmented reality device 300. [ For example, if the offline store shelf has a marker, the shelf recognition information may include marker information for recognizing the marker included in the offline store shelf. Alternatively, the shelf recognition information may include object recognition information (for example, geometry obtained by reading color / saturation of actual reality data) that recognizes an offline store shelf included in actual reality data input / output through the augmented reality device 300 Information that recognizes an object included in the actual reality data by comparing the geometry and the color distribution of the predefined object with the pattern of the structure and color distribution). Or the shelf recognition information may include meta information corresponding to the offline store shelf.
The virtual merchandise data is virtual reality data that displays a virtual merchandise in the merchandise display space of the offline store shelf when the offline store shelf is recognized from the actual reality data input through the augmented reality device 300. [
The merchandise display space allocation information is information for allocating a merchandise display space to display the virtual merchandise data among the actual merchandise display spaces of the offline store shelves on the actual reality data input through the augmented reality device 300. [ For example, when the offline store shelf has a three-tiered structure, the merchandise display space allocation information includes space distribution information for distributing the merchandise display space of the offline store shelf so as to display three virtual merchandise for each stage . Alternatively, when a marker for displaying virtual product data is displayed at each end of the offline store shelf, the merchandise display space allocation information may include marker information (or marker recognition information) displayed at each end of the offline store shelf.
According to the embodiment of the present invention, the information storage unit 120 may further store product information corresponding to the virtual product data in the storage medium 165. [
Here, the product information may include at least one of a product name, a manufacturer, a product identification code, and a purchase amount corresponding to the virtual product data, and the purchase information for the virtual product data is configured based on the product information.
According to the embodiment of the present invention, the information storage unit 120 outputs a purchase item selection interface for selecting any one of the virtual goods data from the virtual goods data on actual real data of the augmented reality device 300 Purchase screen data can be further connected and stored in the storage medium 165. [
Here, the purchase screen data may include a purchase product selection interface for selecting purchase virtual product data among the virtual product data on actual real data output to the augmented reality device 300, And outputting a detailed product information display interface for displaying information.
According to an embodiment of the present invention, the information storage unit 120 stores a payment interface for paying a purchase amount of goods corresponding to purchase virtual product data among the virtual goods data, to the actual reality data of the augmented reality device 300 The settlement screen data to be output on the storage medium 165 can be further connected and stored in the storage medium 165. [
Here, the payment screen data may be output to the augmented reality device 300 when a purchase item is selected through the purchase screen data in the augmented reality device 300, and a payment interface for processing payment for the purchased product (I.e., actual real data photographed on an offline store shelf).
According to the embodiment of the present invention, the information storage unit 120 may store virtual merchandise data in the merchandise display space of the offline store shelf so that the seller information for selling the virtual merchandise may be further stored in the storage medium 165 have. Here, the seller information may include seller terminal information for selling the virtual goods or information on the sales server 170.
For example, if the offline store operator having the offline store shelf and the seller displaying the virtual merchandise on the offline store shelf are the same, the seller terminal may be a terminal device of the offline store operator who sells the virtual merchandise . ≪ / RTI >
Alternatively, when the offline store operator having the offline store shelf and the seller displaying the virtual merchandise on the offline store shelf are different from each other, the sales server 170 may store the virtual merchandise or the seller A merchandise sales server 170 of the present invention.
When the virtual reality request information is transmitted from the augmented reality device 300, the virtual reality request information receiving means 105 receives the virtual reality request information, and the information checking means 125 includes the virtual reality request information And compares the read marker information, the object information, and the meta information with the shelf recognition information stored in the storage medium 165, and confirms whether the augmented reality device 300 requests a virtual merchandise display on the offline store shelf. If the virtual reality request information does not request the virtual merchandise display, the virtual reality data extracting unit 110 extracts virtual reality data corresponding to the virtual reality request information from the virtual reality D / B 160 And the virtual reality data transmission unit 115 transmits the extracted virtual reality data to the augmented reality device 300. [
If it is confirmed that the virtual reality request information requests the virtual merchandise display, the augmented reality providing means 130 reads the merchandise shelf space allocation information corresponding to the virtual reality request information from the storage medium 165 And allocates a merchandise display space for displaying virtual reality data in a shelf space of the offline store shelf, and displays virtual merchandise data in the allocated merchandise display space.
Here, the augmented reality data for virtual merchandise display includes virtual reality data to be displayed in the shelf space of the offline store shelf and a space value (or coordinate value) to display the virtual reality data of the shelf space of the offline store shelf do.
According to an embodiment of the present invention, the augmenting reality data for virtual merchandise display may further include purchase screen data for selecting any one of the virtual merchandise data of the virtual merchandise data.
According to an embodiment of the present invention, the storage medium 165 may store different virtual product data for each user (or user group). In this case, the augmented reality providing unit 130 may transmit the virtual reality request information (Or the augmented reality device 300) of the user (or the augmented reality device 300), and then configure the augmented reality data for virtual goods display including the virtual product data optimized for the user (or the augmented reality device 300).
When the augmented reality data for virtual merchandise display is configured, the augmented reality providing means 130 transmits the augmented reality data for virtual merchandise display to the augmented reality device 300. [
After the virtual product data is displayed on the offline store shelf on the actual reality data through the augmented reality device 300 and the purchase product selection information selected from any one of the virtual product data is transmitted, And receives the purchase item selection information from the augmented reality device (300). According to the embodiment of the present invention, the augmented reality device 300 can further transmit user information for purchasing a product corresponding to the purchased product selection information, Lt; / RTI > Alternatively, if the augmented reality device 300 is a personalized device (e.g., a cellular phone), the purchased product confirmation means 140 can identify the device identification information as user information for purchasing a product corresponding to the purchased product selection information have.
Upon receipt of the purchase product selection information from the augmented reality device 300, the information relaying unit 155 confirms the purchase information including the product identification information corresponding to the purchase product selection information, the purchase amount, and the user information And transmits the purchase information to the terminal (or server) of the seller who sells the virtual goods corresponding to the purchased goods selection information.
Referring to FIG. 1, the augmented reality operation server 100 includes a settlement screen providing means (not shown) for displaying settlement screen data corresponding to the purchased goods selection information on actual reality data output through the augmented reality device 300, And a settlement processing unit 150 for processing payment through the payment data inputted through the payment screen data. The payment screen providing means 145 and the payment processing means 150 may be omitted if the purchase price for the goods corresponding to the purchased product selection information is paid to the offline store provided with the offline store shelf.
In the case of processing payment for the purchased merchandise selection information through the augmented reality device 300, the payment screen providing means 145 receives payment screen data corresponding to the purchased merchandise selection information from the storage medium 165 And transmits the confirmed payment screen data to the augmented reality device 300 so as to output it on actual real data.
When the augmented reality device 300 constructs and transmits payment data based on the payment screen data, the payment processing unit 150 receives the payment data and transmits the card information (or the account information And transmits the settlement data to the settlement server corresponding to the settlement server to process settlement for the purchased commodity. The card information (or account information) may be keyed in the augmented reality device 300 or extracted from an IC chip (or memory) mounted or detached from the augmented reality device 300, If the card reader is provided in the device 300, it can be read through the card reader.
2 is a view illustrating an augmented reality in which a virtual merchandise is displayed on an offline store shelf according to an embodiment of the present invention.
The user has an augmented reality device 300 such as a mobile phone or a goggle and recognizes the in-store store shelf through the augmented reality device 300 and transmits it to the augmented reality operation server 100, The virtual reality product 300 displays virtual goods displayed on the offline store shelf as shown in FIG. 2, and displays the virtual goods on the shelves .
FIG. 3 is a diagram illustrating a configuration of an augmented reality device 300 according to an embodiment of the present invention.
More specifically, FIG. 3 illustrates an augmented reality device 300 (FIG. 1) that recognizes an offline store shelf and displays a virtual merchandise in a merchandise display space of the offline store shelf through the augmented reality operating server 100 shown in FIG. 3, it will be understood by those skilled in the art that various changes and modifications may be made to the embodiments of the augmenting reality device 300 It is to be understood that the present invention is not limited to the above-described embodiments, but may be embodied in various ways, all without departing from the spirit and scope of the present invention. No.
The augmented reality device 300 of the present invention includes a function of acquiring actual reality data, a function of acquiring virtual reality data, a function of determining an object to display virtual reality data from the actual reality data, A method for acquiring virtual reality data, a method for determining an object, and a method for displaying virtual reality data on the object, . For example, the actual reality data may be input in real time via a camera, stored in a memory in the device, or received via a communication network. The virtual reality data may be generated in real time by combining at least one polygon data and texture data stored in a memory in the apparatus, received via a communication network, or prepared in advance. The object to which the virtual reality data is to be displayed may be determined using any of a marker / markerless method. A method of displaying virtual reality data on the object includes a method of generating and displaying one output data in which actual data and virtual reality data are combined and displaying a real data layer and a virtual reality layer in output data, The data may be displayed in the actual reality layer, the virtual reality data may be displayed in the virtual reality layer, or only the virtual reality data may be displayed in the object position beyond the transparent display.
In addition, the augmented reality device 300 is not limited by the structure of the device. For example, the augmented reality device 300 may be installed in a case of an independent device in which each component is integrated in one case, in an interlocking device form in which each component is separately provided in two or more connected devices, And the like.
Referring to FIG. 3, the augmented reality device 300 includes a control unit 305, a memory unit 335, and an output unit 310. The augmented reality device 300 includes a camera unit 330 And further includes a communication unit 320 according to a method of acquiring virtual reality data and further includes a sensor unit 325 according to a method of determining an object on actual data, ).
The control unit 305 physically includes a processor, an execution memory, and a bus, and functions as a recording medium that processes a program included in the augmented reality device 300 functionally loaded into the execution memory and operated by the processor . FIG. 3 is a block diagram illustrating a program unit included in the augmented reality device 300 according to an embodiment of the present invention. Referring to FIG.
The memory unit 335 includes a nonvolatile memory and functions as a storage medium 165 for storing and maintaining program codes to be loaded into the control unit 305 and a data set used by the program codes. The program code includes system program code for operating / controlling the basic operation of the augmented reality device 300 and application program code for providing various application services included in the augmented reality device 300.
According to the embodiment of the present invention, the memory unit 335 can store the actual reality data, in which case the memory unit 335 can perform the function of the actual reality obtaining means for obtaining the actual reality data have.
According to the embodiment of the present invention, the memory unit 335 can store the virtual reality data, and in this case, the memory unit 335 can perform the function of the virtual reality obtaining means for obtaining the virtual reality data have.
The output unit 310 includes an output device for displaying virtual reality data on an object on real data, and may include a general output device such as an LCD and a transparent output device such as a glasses, a goggles, a window, .
The camera unit 330 includes a device for reading raster-based actual reality data from a camera composed of an optical unit and a CCD (Charge Coupled Device) in a bitmap manner. Here, the actual reality data may include image data or moving image data. According to the present invention, the camera unit 330 may further perform a function of a sensor unit 325 for selectively acquiring only specific data necessary for sensor input among the actual reality data obtained.
According to the embodiment of the present invention, the camera unit 330 can perform a function of real-reality acquisition means for real-time acquisition of the actual reality data.
The communication unit 320 includes a communication module for connecting to any one of a wired communication network and a wireless communication network according to any communication standard and protocol. The communication unit 320 connects the communication network with a server (or a device) And performs a function of connecting augmented reality device 300 with a communication channel.
According to an embodiment of the present invention, the communication unit 320 may perform a function of real-reality acquisition means for receiving actual reality data stored in a server (or a device) on a communication network.
According to the embodiment of the present invention, the communication unit 320 can perform a function of virtual reality acquisition means for receiving virtual reality data stored in a server (or device) on a communication network.
The sensor unit 325 includes an apparatus for acquiring an analog signal or a sensor signal in the form of a digital signal from any one of the sensors. Here, the sensor may include an electrical signal sensor for generating an electrical signal (e.g., resistance, current, voltage) in accordance with an environmental change, and a controller for acquiring actual data, such as the camera, And a camera sensor for selectively acquiring only the image data. According to the present invention, when the sensor includes a camera sensor, the sensor unit 325 can be integrated with the camera unit 330.
The operation unit 315 includes a device that receives the user operation when a user operation is required to the augmented reality device 300. [ The operation unit 315 includes a key input module having a key button for inputting key information necessary for a user operation and a touch screen module for receiving information necessary for a user operation through interlocking with the output unit 310, And a user recognition module that recognizes any one of a hand motion, a body motion, and an eye movement of the user in cooperation with the camera unit 330 or the sensor unit 325 and inputs information necessary for the user's operation.
Referring to FIG. 3, the augmented reality device 300 includes an actual reality input unit 340 for inputting realistic reality data through one or more actual reality acquisition means, an object for outputting virtual reality data from the actual reality data, A virtual reality determination unit 350 for determining virtual reality data to be displayed on the object, a virtual reality input unit 350 for inputting the determined virtual reality data through one or more virtual reality acquisition means, And an augmented reality output unit 360 for outputting the virtual reality data through the output unit 310 by displaying the virtual reality data on an object on the actual reality data.
The actual reality input unit 340 displays virtual reality data input through the camera unit 330 and inputs the virtual reality data as actual reality data to be output through the output unit 310, Or real-time data stored in the memory unit 335 as virtual reality data to be output through the output unit 310, or input through the communication unit 320, The virtual reality data is input to the output unit 310 as actual data to be output.
When the actual reality data is input, the object recognition unit 345 reads the real reality data and recognizes one or more objects to output virtual reality data.
According to an embodiment of the present invention, the object recognition unit 345 may detect the marker by reading the actual reality data, and may recognize the detected position of the marker as an object to output the virtual reality data. Here, the marker may include any one of predefined symbols, symbols, and patterns.
According to another embodiment of the present invention, the object recognition unit 345 extracts the color / saturation value by reading the actual reality data, reads the extracted color / saturation value, and determines the color / Detects one or more object regions having a predetermined geometry structure by connecting and combining the detected boundary lines, and recognizes the object to output the virtual reality data. Here, the color / saturation value may be extracted through a determinant for converting RGB (Red, Green, Blue) palette values into hue / saturation.
According to another embodiment of the present invention, when the actual reality data is input in real time through the camera unit 330, the object recognition unit 345 recognizes the presence or absence of the eyes of the sensor unit 325 and the camera unit 330, The coordinate system of the data input through the camera unit 330 and the coordinate system of the sensing signal sensed by the sensor unit 325 are matched with each other, It can be recognized as an object to be output. Or if the metadata for determining the object position is included or linked to the actual reality data, the virtual reality data may be recognized as an object to be output by referring to the metadata.
The virtual reality determination unit 350 determines virtual reality data to be displayed on the detected object from the actual reality data. If the vocal reality data to be displayed on the object on the actual reality data is fixed to any one of the virtual reality data, the virtual reality determination unit 350 determines whether the virtual reality data corresponding to the object recognized through the fixed object recognition unit 345 The virtual reality data to be displayed can be determined.
According to an embodiment of the present invention, when the object is recognized through a marker, the virtual reality determination unit 350 reads the marker shape / shape / color / structure to determine virtual reality data to be displayed on the object . If the information for determining the virtual reality data is encoded and included in the marker, the virtual reality determination unit 350 recognizes and reads the encoding information included in the recognized marker through the object recognition unit 345 And determine virtual reality data to be displayed on the object.
According to another embodiment of the present invention, the virtual reality determination unit 350 reads the shape / shape / color / structure of the recognized object through the object recognition unit 345, Can be determined. Or if the actual reality data includes a separate indication for determining the virtual reality data, the display may be read and the virtual reality data to be displayed on the recognized object through the object recognition unit 345 may be determined.
According to another embodiment of the present invention, the actual reality data is data stored in the memory unit 335 or received through the communication unit 320, and a meta data for determining the virtual reality data When the data is included or linked, the virtual reality determination unit 350 can determine the virtual reality data to be displayed on the recognized object through the object recognition unit 345 by referring to the metadata.
The virtual reality input unit 355 inputs virtual reality data determined through the virtual reality determination unit 350 among virtual reality data stored in a memory, received via a communication network, or generated in real time, As virtual reality data to be displayed.
The augmented reality output unit 360 displays virtual reality data input through the virtual reality input unit 355 to an object on actual reality data input through the actual reality input unit 340 and outputs the virtual reality data to the output unit 310 ).
According to an embodiment of the present invention, the augmented reality output unit 360 generates augmented reality data by superimposing virtual reality data including a transparent area on an object on the actual reality data, Can be output through the output unit 310.
According to another embodiment of the present invention, the augmented reality output unit 360 constructs an augmented reality data format including an actual reality layer and a virtual reality layer, And outputs the virtual reality data to the virtual reality layer corresponding to the object position of the actual reality data through the output unit 310. [
According to another embodiment of the present invention, when the output unit 310 includes a transparent display, the augmented reality output unit 360 outputs the augmented reality output unit 360 to an object position on the transparent display determined through the object recognition unit 345 It is possible to display and output only the virtual reality data.
FIG. 4 is a diagram illustrating a process of displaying a virtual merchandise on an offline store shelf according to an embodiment of the present invention.
Referring to FIG. 4, the augmented reality operation server 100 receives shelf recognition information for recognizing an offline store shelf for displaying a virtual merchandise from a store operator having an offline store shelf, If at least one virtual merchandise data to be displayed on the offline store shelf is provided from a seller for selling the merchandise through the offline store shelf after configuring the merchandise display space allocation information for allocating the space for displaying the virtual merchandise data, The identification information, virtual product data, and merchandise display space allocation information are concatenated and stored in the storage medium 165 (400).
After storing the shelf recognition information, virtual product data, and merchandise display space allocation information on the storage medium 165, the augmented reality operating server 100 checks whether virtual reality request information is received from the augmented reality device 300 (405).
If the virtual reality request information is received (415), the augmented reality operating server 100 confirms whether the virtual reality request information is requested to display a virtual merchandise on the offline store shelf through the storage medium 165 (420).
If the virtual reality request information does not request to display a virtual merchandise on the offline store shelf 425, the augmented reality operating server 100 confirms / extracts the virtual reality data corresponding to the virtual reality request information And transmits it to the augmented reality device 300 (430).
Meanwhile, the augmented reality device 300 located near the offline store shelf recognizes the offline store shelf and transmits the virtual reality request information to the augmented reality operation server 100 (410). The augmented reality operation server 100 If it is confirmed that the virtual reality request information requests to display a virtual merchandise on the offline store shelf 425, the augmented reality operating server 100 receives the merchandise corresponding to the virtual reality request information from the storage medium 165 The display space allocation information is read out to allocate a merchandise display space to display virtual reality data in a shelf space of an offline store shelf and to display virtual merchandise data in the allocated merchandise display space, (Step 435), the augmented reality data for virtual merchandise display is transmitted to the augmented reality device 300 (step 440) AR device 300 to the display space of the store shelf as illustrated in the figure 2 displays the virtual item data included in the virtual merchandise display data for augmented reality.
FIG. 5 is a diagram illustrating a process of purchasing a virtual merchandise displayed on an offline store shelf according to an embodiment of the present invention.
The augmented reality data for virtual merchandise display transmitted to the augmented reality device 300 through the process shown in Fig. 4 selects any one of the virtual goods data displayed in the merchandise display space of the offline store shelf as a purchase target merchandise And the augmented reality operation server 100 confirms whether the selected auction item selection information is received from the augmented reality device 300 through the auction item selection interface (500).
If the purchase product selection information is received from the augmented reality device 300 in operation 505, the augmented reality operation server 100 constructs purchase information corresponding to the purchased product selection information through the storage medium 165 And transmits it to the seller terminal (or the sales server 170) (510).
Meanwhile, when a payment for a selected commodity is processed through the augmented reality device 300, the augmented reality operating server 100 transmits the actual data to the augmented reality device 300 (Or configures) the payment screen data displayed in the augmented reality device 300 and transmits it to the augmented reality device 300 (515). The payment data inputted through the payment screen data from the augmented reality device 300 Information, account information, etc.) is received.
If the payment data corresponding to the purchased product selection information is received from the augmented reality device 300 in operation 520, the augmented reality operating server 100 transmits the payment data in association with the payment server corresponding to the payment data (525), and transmits the settlement processing result to the augmented reality device 300 and the seller terminal (or the sales server 170).

100 : 증강현실 운영 서버 105 : 가상현실 요청 정보 수신수단
110 : 가상현실 데이터 추출수단 115 : 가상현실 데이터 전송수단
120 : 정보 저장수단 125 : 정보 확인수단
130 : 증강현실 제공수단 140 : 구매상품 확인수단
145 : 결제화면 제공수단 150 : 결제 처리수단
155 : 정보 중계수단 160 : 가상현실 D/B
165 : 저장매체 300 : 증강현실 장치100: augmented reality operating server 105: means for receiving virtual reality request information
110: Virtual reality data extracting means 115: Virtual reality data transmitting means
120: Information storing means 125: Information checking means
130: Augmented reality providing means 140:
145: Payment screen providing means 150: Payment processing means
155: information relay means 160: virtual reality D / B
165: storage medium 300: augmented reality device

Claims (3)

카메라를 구비한 증강현실장치를 통해 실행되는 방법에 있어서,
증강현실장치의 카메라를 통해 입력되는 실제현실 데이터 상에서 특정한 실제현실 공간에 실제로 구비된 실제현실 공간의 특정 진열대를 인식하는 진열대 인식 정보, 상기 실제현실 공간의 진열대에 가상으로 진열할 하나 이상의 가상상품 데이터, 상기 실제현실 공간의 진열대의 실제 상품 진열 공간 중 가상상품을 표시할 가상의 공간을 가상 할당하기 위한 상품 진열 공간 할당 정보를 연결하여 저장하는 제1 단계;
상기 진열대 인식 정보를 근거로 상기 카메라를 통해 입력되는 실제현실 데이터를 판독하여 실제현실 공간에 구비된 진열대를 인식하는 제2 단계;
실제현실 공간의 진열대를 인식한 경우 상기 실제현실 데이터 상에서 인식된 진열대의 상품 진열 공간 할당 정보를 근거로 상기 인식된 실제현실 공간의 진열대의 실제 상품 진열 공간 중 실제 상품이 진열되지 않은 공간을 가상 분배하여 가상상품을 표시할 하나 이상의 가상의 상품 진열 공간을 가상 할당하는 제3 단계; 및
상기 실제현실 데이터 상의 진열대에 표시할 가상상품 데이터를 확인하여 상기 실제현실 데이터 상의 진열대의 실제 상품 진열 공간에 가상 할당된 하나 이상의 가상의 상품 진열 공간에 표시하는 제4 단계;를 포함하는 진열대를 이용한 증강현실 운영 방법.
A method executed via an augmented reality device having a camera,
Shelf recognition information for recognizing a specific shelf of an actual real space actually provided in a specific actual reality space on the actual reality data inputted through the camera of the augmented reality device, one or more virtual product data to be virtually displayed on the shelf of the actual reality space A first step of connecting and storing merchandise display space allocation information for virtually allocating a virtual space for displaying a virtual merchandise among actual merchandise display spaces of the shelves of the actual real space;
A second step of reading actual reality data input through the camera based on the shelf recognition information and recognizing a shelf provided in an actual reality space;
When a real-world space shelf is recognized, a space in which real goods are not displayed among the real-space display spaces of the recognized real-world space on the basis of the product shelf space allocation information of the shelves recognized on the actual reality data, A third step of virtually allocating at least one virtual merchandise display space for displaying a virtual merchandise; And
And displaying virtual product data to be displayed on the shelf on the actual reality data and displaying the virtual product data in at least one virtual product display space virtually allocated to the actual product shelf space on the shelf on the actual reality data How to operate Augmented Reality.
제 1항에 있어서,
상기 실제현실 데이터 상의 진열대에 가상 할당된 하나 이상의 상품 진열 공간에 표시된 가상상품 데이터 중 어느 하나를 구매 선택하는 구매상품 선택 정보를 확인하는 제5 단계; 및
상기 구매상품 선택 정보에 대응하는 구매정보에 대한 결제를 처리하는 절차를 수행하는 제6 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 진열대를 이용한 증강현실 운영 방법.
The method according to claim 1,
A fifth step of confirming purchased product selection information for purchasing one of virtual product data displayed in at least one merchandise display space virtually allocated to a shelf on the actual reality data; And
And performing a process of processing settlement for purchasing information corresponding to the purchased product selection information. [7] The method of claim 7, further comprising:
제 2항에 있어서, 상기 제6 단계는,
상기 카메라를 통해 입력되는 실제현실 데이터 상에 상기 구매정보에 대한 결제화면 데이터를 표시하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 진열대를 이용한 증강현실 운영 방법.
3. The method according to claim 2,
Further comprising the step of displaying payment screen data for the purchase information on actual reality data input through the camera.
KR1020100055786A 2010-06-14 2010-06-14 Method for Operating Augmented Reality by using Display Stand KR101746838B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100055786A KR101746838B1 (en) 2010-06-14 2010-06-14 Method for Operating Augmented Reality by using Display Stand

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100055786A KR101746838B1 (en) 2010-06-14 2010-06-14 Method for Operating Augmented Reality by using Display Stand

Publications (2)

Publication Number Publication Date
KR20110136029A KR20110136029A (en) 2011-12-21
KR101746838B1 true KR101746838B1 (en) 2017-06-27

Family

ID=45502727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055786A KR101746838B1 (en) 2010-06-14 2010-06-14 Method for Operating Augmented Reality by using Display Stand

Country Status (1)

Country Link
KR (1) KR101746838B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102055646B1 (en) * 2019-06-28 2019-12-13 주식회사 겜퍼 Method and server for selling and buying products using extended reality based on blockchain network
KR20220008410A (en) 2020-07-13 2022-01-21 주식회사 코아소프트 Clerkless store apparatus providing augmented reality
KR20220022954A (en) 2020-08-19 2022-03-02 주식회사 코아소프트 Clerkless store apparatus providing augmented reality

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336508B2 (en) 2012-11-02 2016-05-10 Patrick Soon-Shiong Virtual planogram management, systems, and methods
CN107977834B (en) * 2016-10-21 2022-03-18 阿里巴巴集团控股有限公司 Data object interaction method and device in virtual reality/augmented reality space environment
CN107038408A (en) * 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 Image-recognizing method and device based on augmented reality
KR102286146B1 (en) * 2017-12-28 2021-08-05 (주)월드트렌드 System for sales of try-on eyeglasses assembly and the assembled customized glasses
KR20200047241A (en) 2018-10-28 2020-05-07 주식회사 디바스 Marker ring for augmented reality
KR20200047240A (en) 2018-10-28 2020-05-07 주식회사 디바스 Jewelry sale system and method using augmented reality
KR102261518B1 (en) * 2019-07-30 2021-06-07 (주)트라이큐빅스코리아 Custumer recognition method for tracking the custumer in offline virtual product display store and system therefore
KR102181084B1 (en) * 2020-05-04 2020-11-20 주식회사 팝스라인 Apparatus for providing immersive contents and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102055646B1 (en) * 2019-06-28 2019-12-13 주식회사 겜퍼 Method and server for selling and buying products using extended reality based on blockchain network
KR20220008410A (en) 2020-07-13 2022-01-21 주식회사 코아소프트 Clerkless store apparatus providing augmented reality
KR20220022954A (en) 2020-08-19 2022-03-02 주식회사 코아소프트 Clerkless store apparatus providing augmented reality

Also Published As

Publication number Publication date
KR20110136029A (en) 2011-12-21

Similar Documents

Publication Publication Date Title
KR101746838B1 (en) Method for Operating Augmented Reality by using Display Stand
KR101613278B1 (en) System for providing shopping information based on augmented reality and control method thereof
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
US20140076965A1 (en) Augmented reality messaging system and method based on multi-factor recognition
KR101620938B1 (en) A cloth product information management apparatus and A cloth product information management sever communicating to the appartus, a server recommending a product related the cloth, a A cloth product information providing method
CN109416793A (en) Method of mobile payment and system
KR101619512B1 (en) Method for Interchanging between Augmented Reality Device
CN108701317A (en) Using image segmentation techniques to enhance communication related to online commerce experiences
KR20120132179A (en) Method and apparatus for transmitting intention using photographing image
US20240265370A1 (en) Cashless payment system and information terminal
KR101638630B1 (en) Method for Optimizing a Augmented Reality Data
KR20110136038A (en) System for tracking augmented reality device using several sensor
JP2021082356A (en) Ordering system utilizing personal information
KR20110136018A (en) Augmented reality device to include rfid reader
KR20110125866A (en) Method and apparatus for providing information through augmented reality
KR101692764B1 (en) Method for Providing Augmented Reality by using Virtual Point
KR101792250B1 (en) Method for Providing Adaptive Augmented Reality to Real World
KR20110136040A (en) Terminal with augmented reality based on customer's eye
KR101613282B1 (en) System for providing shopping information based on augmented reality and control method thereof
KR101680124B1 (en) Method for Transferring Augmented Reality between Different Platform
KR101679844B1 (en) Method for Providing Augmented Reality between Different Platform
KR102117510B1 (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality
KR20180130095A (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality
KR20170143476A (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order
KR20170052553A (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant