WO2013180320A1 - 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체 - Google Patents

증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
WO2013180320A1
WO2013180320A1 PCT/KR2012/004292 KR2012004292W WO2013180320A1 WO 2013180320 A1 WO2013180320 A1 WO 2013180320A1 KR 2012004292 W KR2012004292 W KR 2012004292W WO 2013180320 A1 WO2013180320 A1 WO 2013180320A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
image
content
server
terminal
Prior art date
Application number
PCT/KR2012/004292
Other languages
English (en)
French (fr)
Inventor
류중희
최길남
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Priority to JP2015508838A priority Critical patent/JP2015520889A/ja
Priority to CN201280072803.7A priority patent/CN104508697A/zh
Priority to PCT/KR2012/004292 priority patent/WO2013180320A1/ko
Priority to EP12878038.4A priority patent/EP2858027A4/en
Priority to US13/976,251 priority patent/US20130326018A1/en
Priority to TW104131633A priority patent/TWI564730B/zh
Priority to TW102118659A priority patent/TWI512487B/zh
Publication of WO2013180320A1 publication Critical patent/WO2013180320A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Definitions

  • the present invention relates to a method for providing an augmented reality service, a server, and a computer-readable recording medium.
  • an image matching technology can be used to provide an augmented reality service regardless of a limited memory space.
  • the present invention relates to a method for providing augmented reality service, a server, and a computer-readable recording medium for determining whether an area to be displayed in augmented reality or an area to be reproduced as a video and outputting content corresponding to the area.
  • Augmented Reality is a kind of virtual reality that combines the real world that the user sees with the virtual world with additional information in one image.
  • This augmented reality is somewhat similar to virtual reality, but virtual reality provides users with only virtual spaces and objects, while augmented reality synthesizes virtual information on the basis of the real world to provide additional information that is difficult to obtain in the real world alone.
  • augmented reality can provide a better sense of reality to users by combining virtual objects over real world environments.
  • Such augmented reality services began to be developed and researched in the United States and Japan in the late 1990s.
  • the object of the present invention is to solve all the above-mentioned problems.
  • Another object of the present invention is to provide a method for providing augmented reality services, a server, and a computer-readable recording medium that can be implemented in augmented reality.
  • a method for providing augmented reality service a server, and a computer for determining whether the content on the input image is an area to be displayed in augmented reality or a region to be reproduced as a general image and outputting content corresponding to the area. It is another object to provide a readable recording medium.
  • a result of performing an image matching operation on an image matching server for an image input through a camera of a terminal the input image is If it is determined that the image matching server is matched with a specific image, the API server receives the matching result and determines whether the content related to the input image is to be displayed in augmented reality with reference to the matching result. Determining whether or not; And when it is determined that the content related to the input image is to be displayed in augmented reality, the API server requests the provision of augmented reality content for implementing an augmented reality scenario directly to an AR content server or via the terminal.
  • a method is provided that includes requesting provision of augmented reality content for implementing an augmented reality scenario with an AR content server.
  • a method for providing an augmented reality service in an AR content providing server which performs an image matching operation on an image matching server for an image input through a camera of a terminal, and the input image Is determined to match a specific image among images previously stored in the image matching server
  • the API server receives the matching result and determines whether the content related to the input image is to be displayed in augmented reality with reference to the matching result. If it is determined whether the content related to the input image is determined to be displayed in augmented reality, the AR content server requests the provision of augmented reality content for implementing an augmented reality scenario directly from the API server.
  • Receiving site requesting a service of the AR content for implementing an augmented reality scenario via the terminal; And transmitting, by the AR content server, the augmented reality content to a terminal.
  • a method for providing an augmented reality service in a first augmented reality service providing server wherein the first augmented reality service providing server targets an image input through the camera of the terminal to match the image
  • the first augmented reality service providing server refers to the input based on the matching result. Determining whether content associated with the captured image is determined to be displayed in augmented reality; And when the first augmented reality service providing server determines that the content related to the input image is determined to be displayed in augmented reality, the first augmented reality service providing server directly executes an augmented reality scenario with an AR content server. Requesting provision of augmented reality content for implementation or requesting provision of augmented reality content for implementing an augmented reality scenario to the AR content server via the terminal.
  • a method for providing an augmented reality service in a second augmented reality service providing server a result of performing an image matching operation in an image matching server targeting an image input through a camera of a terminal If it is determined that the input image is matched with a specific image among images previously stored in the image matching server, the second augmented reality service providing server receives the matching result, and the input image and the input image are referred to. Determining whether related content is determined to be displayed in augmented reality; And when the second augmented reality service providing server determines that the content related to the input image is determined to be displayed in augmented reality, the second augmented reality service providing server is configured to implement an augmented reality scenario.
  • a method is provided that includes extracting content and transmitting the content to a terminal.
  • a method for providing an augmented reality service in a third augmented reality service providing server wherein the third augmented reality service providing server targets an image input through a camera of a terminal to match an image; If the operation is determined and the input image is determined to match a specific image among images previously stored in the third augmented reality service providing server, the matching result is received by an API server, and the input image is referred to with reference thereto. If it is determined that the content related to the display is to be displayed in augmented reality, the third augmented reality service providing server is requested to provide augmented reality content for implementing an augmented reality scenario directly from the API server or from the API server. Augmented Reality via the Terminal Receiving requests for the provision of augmented reality content to implement the scenario; And transmitting, by the third augmented reality service providing server, the augmented reality content to a terminal.
  • a method for providing an augmented reality service in a fourth augmented reality service providing server wherein the fourth augmented reality service providing server matches an image input through a camera of a terminal;
  • the fourth augmented reality service providing server refers to the input based on the matching result. Determining whether content associated with the captured image is determined to be displayed in augmented reality; If it is determined that the content related to the input image is to be displayed in augmented reality, the fourth augmented reality service providing server includes extracting and transmitting augmented reality content for implementing an augmented reality scenario to a terminal; This is provided.
  • an API server for providing an augmented reality service as a result of performing an image matching operation on an image matching server for an image input through the camera of the terminal, the input image is When it is determined that the image is matched with a specific image among pre-stored images, the AR is determined to receive the matching result and determine whether the content related to the input image is to be displayed in augmented reality.
  • a server including a content request unit for requesting provision of augmented reality content for implementing an augmented reality scenario is provided.
  • an AR content providing server for providing an augmented reality service
  • an image matching operation is performed by an image matching server on an image input through a camera of a terminal, and the input image is If it is determined that the image matching server is matched with a specific image among the pre-stored images, the API server receives the matching result and determines whether the content related to the input image is to be displayed in augmented reality with reference to the matching result.
  • the content related to the input image is determined to be displayed in augmented reality, it is requested to provide augmented reality content for implementing augmented reality scenario directly from the API server or from the API server Increase via terminal
  • a content request receiving unit requesting to provide augmented reality content for implementing a strong reality scenario;
  • a server including a content providing unit for transmitting the augmented reality content to the terminal is provided.
  • a first augmented reality service providing server for providing an augmented reality service, performing an image matching operation on the image input through the camera of the terminal, the input image is
  • An AR region determination unit determining whether a content related to the input image is to be displayed in augmented reality with reference to the matching result when it is determined to match a specific image among stored images; And when it is determined that the content related to the input image is to be displayed in augmented reality, requesting to provide augmented reality content for implementing an augmented reality scenario directly to an AR content server or via the terminal.
  • a server including a content request unit for requesting provision of augmented reality content for implementing an augmented reality scenario as a content server is provided.
  • a second augmented reality service providing server for providing an augmented reality service, as a result of performing an image matching operation in the image matching server for the image input through the camera of the terminal,
  • the matching result is received, and the content related to the input image is determined to be displayed in augmented reality with reference to the matching result.
  • An AR region determination unit determining whether there is;
  • a server including a content providing unit for extracting and transmitting augmented reality content for implementing an augmented reality scenario to a terminal is provided.
  • a third augmented reality service providing server for providing an augmented reality service, performing an image matching operation on the image input through the camera of the terminal, the input image is If it is determined that the matching image is matched with a specific image among the stored images, if the matching result is received by the API server and it is determined that the content related to the input image is determined to be displayed in augmented reality with reference thereto, the API server A content request receiving unit that is requested to provide augmented reality content for implementing augmented reality scenario directly from an API server or to provide augmented reality content for implementing augmented reality scenario via the terminal from the API server; And a server including a content providing unit for transmitting the augmented reality content to the terminal is provided.
  • a fourth augmented reality service providing server for providing an augmented reality service, performing an image matching operation on the image input through the camera of the terminal, the input image is
  • An AR region determination unit determining whether a content related to the input image is to be displayed in augmented reality with reference to the matching result when it is determined to match a specific image among stored images;
  • a server including a content provider for extracting and transmitting augmented reality content for implementing an augmented reality scenario to a terminal is provided.
  • the present invention by storing only the data required to implement augmented reality in a limited memory space on the terminal, by receiving an image matching technology before the implementation of augmented reality to receive only the data necessary to implement the image in augmented reality Various images input through the camera can be implemented in augmented reality.
  • the present invention it is possible to determine whether the content on the input image is an area to be displayed in augmented reality or an area to be reproduced as a general video and output the content corresponding to the corresponding area.
  • FIG. 1 is a diagram schematically showing the configuration of an augmented reality service providing system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • FIG. 1 is a diagram schematically illustrating a configuration of a system for providing augmented reality service according to an exemplary embodiment of the present invention.
  • an augmented reality service providing system may include a terminal 100, an image matching server 200, an application programming interface (API) server 300, and an AR (Augmented Reality) content server 400.
  • API application programming interface
  • AR Augmented Reality
  • the terminal 100 is a digital device, and has a memory means such as a personal computer (for example, a tablet computer, a laptop computer, etc.), a personal digital assistant (PDA), a web pad, a mobile phone, and the like, and is equipped with a microprocessor. As long as the portable digital device equipped with can be adopted as the terminal 100 according to the present invention.
  • a personal computer for example, a tablet computer, a laptop computer, etc.
  • PDA personal digital assistant
  • a web pad a mobile phone, and the like
  • the terminal 100 may include a camera and a natural feature tracking (NFT) engine therein.
  • the camera is composed of a conventional general image pickup device, and may be, for example, a digital camera using a charge coupled device (CCD) and generating a digital image signal.
  • the NFT engine performs a function of implementing augmented reality on an image input through a camera using the provided AR content.
  • the image matching server 200 compares the information on the image input through the camera with the information on each of the plurality of images stored in the database and outputs an image matching result. That is, if it is determined that the image input through the camera is the same (or similar) with at least one image among a plurality of stored images, it is a signal indicating that it is a match. The signal can be output as an image matching result. In this case, whether the same or similarity between the images may be determined by comparing feature information extracted from each image, and when it is determined that the threshold similarity is greater than or equal to the feature information, both images may be determined to be identical or similar. have.
  • each of the plurality of images stored in the database may have an identification symbol
  • the image matching server 200 may output an identification symbol of a matching image among the plurality of images as a signal indicating that there is a match.
  • the image matching server 200 may output an index number of a matching image, and the index number may be a number matched with a memory storage space on the API server 300.
  • Applicant of the present invention relates to a method and apparatus for matching and recognizing an input image with a pre-stored image, the application No. 10-2011-0105547, the name of the invention 'face recognition method, apparatus, and to execute the method Has already been filed through a computer-readable recording medium, and the present invention can be incorporated into the present invention.
  • the API server 300 determines whether the content related to the image matched with the identification symbol or the index number is determined to be displayed in augmented reality based on the identification symbol or the index number determined by the image matching server 200. Do this.
  • an identifier or index number of an image that is expected to be displayed in augmented reality in the memory on the API server 300 is pre-stored, and the identifier or index number determined by the image matching server 200 is stored in the API server ( It is determined whether the content related to the image input through the camera is to be displayed in augmented reality by comparing with the previously stored identification symbol or index number in 300.
  • the API server 300 when the content related to the image is to be displayed in augmented reality, the API server 300 performs a function of outputting a signal for calling the content required to implement the augmented reality scenario scheduled for each image. In addition, the API server 300 may determine whether the content on the input image is an area to be displayed in augmented reality or an area to be reproduced as a normal video, and output the content corresponding to the corresponding area.
  • the AR content server 400 When the AR content server 400 is requested to provide augmented reality content for implementing augmented reality scenarios directly from the API server 300 or to provide augmented reality content for implementing augmented reality scenarios via a terminal, Performs a function of providing prestored augmented reality content.
  • the augmented reality content may include AR scenario data, trackable image data, or feature value data and 3D object data generated through the data as data for executing an augmented reality scenario, and may be written in XML. Can be.
  • the trackable image data or the feature value data generated through the corresponding data may allow the terminal 100 to track an object determined to be matched by the image matching server 200 (that is, to perform an NFT).
  • the data may be provided to the image 100 or feature information thereof.
  • the trackable image data or feature value data generated through the data may be feature information used for image matching by the image matching server 200. And may be separate data.
  • 3D object data refers to data used for registering 3D images according to an augmented reality scenario on a surface of an object.
  • the terminal 100 may transmit and receive data to and from the image matching server 200, the API server 300, and the AR content server 400 through the communication network 500.
  • the communication network 500 may be configured as an aspect of wireless communication and may be configured as various communication networks such as a mobile communication network and a satellite communication network. More specifically, the communication network according to the present invention includes a concept including all known wireless LAN (WLAN), code division multiple access (CDMA), wideband code division multiple access (WCDMA), global system for mobile communications (GSM), and the like. It should be understood that
  • the API server 300 may include an AR region determination unit and a content request unit
  • the AR content server 400 may include a content request receiver and a content provider. To perform the operation.
  • the terminal 100 receives an image through a camera formed therein (S100).
  • the input image may be a single image photographed through a camera or may be an image input in a preview state. If the input image is in the preview state, if the relative position of the object moves on the image as the terminal moves, the 3D image implemented on the image may also move together.
  • the terminal 100 transmits the image to the image matching server 200 (S110), and the image matching server 200 performs an image matching operation on the input image (S120).
  • the image matching operation may be applied to various conventional methods.
  • the image matching server 200 When the image matching is completed in the image matching server 200 and it is determined that the feature information of the input image has a high similarity to the feature information of the specific image among the images previously stored in the image matching server 200, the image matching server 200. Transmits the matching result to the terminal 100 (S130).
  • the terminal 100 transmits the matching result transmitted from the image matching server 200 to the API server 300 (S140), and the API server 300 is input through the camera using the matching result from the AR region determination unit. It is determined whether the content related to the image is determined to be displayed in augmented reality (S150).
  • the information output as the matching result may be an identification symbol or an index number as described above.
  • the API server 300 compares the identification symbol or index number determined by the image matching server 200 with the identification symbol or index number previously stored in the API server 300, so that the content related to the image input through the camera is augmented reality. Determine whether it is determined to be displayed.
  • the API server 300 may determine whether the content on the input image is an area to be displayed in augmented reality or an area to be reproduced as a normal video, and output the content corresponding to the corresponding area. If it is determined that the content related to the image is to be displayed in augmented reality, the API server 300 calls the content required to implement a predetermined augmented reality scenario for the image from the content requesting unit to the terminal 100. The signal is transmitted to the terminal 100 (S160).
  • the terminal 100 receiving a signal for calling the content required to implement the augmented reality scenario from the API server 300 provides the AR content server 400 with the provision of the augmented reality content required to implement the augmented reality scenario.
  • Request (S170).
  • the present invention is not limited thereto, and the API server 300 directly requests the terminal 100 to provide content required for implementing augmented reality to the AR content server 400 directly without passing through the terminal 100. It may be.
  • the AR content server 400 receives the augmented reality content providing request signal from the terminal 100 in the content request receiving unit, the AR content server 400 transmits the prestored augmented reality content to the terminal 100 in operation S180.
  • the terminal 100 receiving the augmented reality content from the AR content server 400 implements augmented reality by driving the NFT engine using the augmented reality content (S190).
  • the image matching server 200, the API server 300, and the AR content server 400 may be configured as separate servers, but are not limited thereto. A part of each server may be provided in an integrated form. have. Hereinafter, when each server is separated or partially integrated, the data transmission and reception process between the terminal 100 and each server will be described in more detail.
  • the image matching server 200, the API server 300, and the AR content server 400 may be program modules in which at least some of them are in communication with the terminal 100.
  • Such program modules may be included in an integrated server in the form of operating systems, application modules, and other program modules, and may be physically stored on various known storage devices.
  • Such program modules may also be stored in a remote storage device capable of communicating with an integrated server.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • FIG. 3 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • the augmented reality service providing system may include a terminal 100, a first augmented reality service providing server 600, and an AR content server 400.
  • the terminal 100 and the AR content server 400 are as described with reference to FIG. 1, and the first augmented reality service providing server 600 is the image matching server 200 and the API server described with reference to FIG. 1. It means a server incorporating 300.
  • the first augmented reality service providing server 600 may include an AR matching unit and a content requesting unit as well as an image matching unit, and each unit may perform an operation for providing the augmented reality service below. .
  • the terminal 100 receives an image through a camera formed therein (S200).
  • the image may be a single image captured by the camera or may be an image input in a preview state.
  • the terminal 100 transmits an image to the first augmented reality service providing server 600 (S210), and the first augmented reality service providing server 600 performs an image matching operation on the input image (S220).
  • the image matching operation may be applied to various conventional methods.
  • the augmented reality service providing server 600 determines whether content related to an image input through the camera is to be displayed in augmented reality using the matching result in the AR region determination unit (S230).
  • the matching result may be an identification symbol or an index number as described above.
  • the first augmented reality service providing server 600 compares the determined identification symbol or index number with the identification symbol or index number previously stored in the first augmented reality service providing server 600 to display content related to the image input through the camera. Determine whether it is determined to be displayed in augmented reality.
  • the first augmented reality service providing server 600 determines whether the content on the input image is an area to be displayed in augmented reality or a region to be reproduced as a normal image so that the content corresponding to the area is output. Can be.
  • the first augmented reality service providing server 600 calls the content required by the content requesting unit to implement a predetermined augmented reality scenario for the image.
  • the terminal 100 that receives a signal for calling the content required to implement the augmented reality scenario from the first augmented reality service providing server 600 is the AR content server 400, the augmentation required to implement the augmented reality scenario A request for providing the actual content (S250).
  • the present invention is not limited thereto, and the first augmented reality service providing server 600 may transmit content required for implementing augmented reality to the AR content server 400 directly to the terminal 100 without passing through the terminal 100. You may request to be provided.
  • the AR content server 400 receives the augmented reality content providing request signal, the AR content server 400 transmits the prestored augmented reality content to the terminal 100 (S260).
  • the terminal 100 receiving the augmented reality content from the AR content server 400 implements augmented reality by driving the NFT engine using the augmented reality content (S270).
  • FIG. 4 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • the augmented reality service providing system may include a terminal 100, an image matching server 200, and a second augmented reality service providing server 700.
  • the terminal 100 and the image matching server 200 are the same as described with reference to FIG. 1, and the second augmented reality service providing server 700 is the API server 300 and the AR content server (described with reference to FIG. 1).
  • the second augmented reality service providing server 700 may include an AR region determination unit and a content providing unit, and each unit may perform an operation for providing the augmented reality service below.
  • the terminal 100 receives an image through a camera formed therein (S300).
  • the image may be a single image captured by the camera or may be an image input in a preview state.
  • the terminal 100 transmits an image to the image matching server 200 (S310), and the image matching server 200 performs an image matching operation on the input image (S320).
  • the image matching operation may be applied to various conventional methods.
  • the image matching server 200 When the image matching is completed in the image matching server 200 and it is determined that the feature information of the input image has a high similarity to the feature information of the specific image among the images previously stored in the image matching server 200, the image matching server 200. Transmits the matching result to the terminal 100 (S330).
  • the terminal 100 transmits the matching result transmitted from the image matching server 200 to the second augmented reality service providing server 700 (S340), and the second augmented reality service providing server 700 is determined by the AR region determination unit.
  • the identification symbol or the index number determined by the image matching server 200 is compared with the previously stored identification symbol or the index number to determine whether the content related to the image input through the camera is determined to be displayed in augmented reality (S350).
  • the second augmented reality service providing server may determine whether the content on the input image is an area to be displayed in augmented reality or a region to be reproduced as a general image, and may output content corresponding to the corresponding area.
  • the second augmented reality service providing server 700 extracts the content required to implement a predetermined augmented reality scenario for the image (S360). Thereafter, the second augmented reality service providing server 700 transmits previously stored augmented reality content necessary to implement an augmented reality scenario from the content provider to the terminal 100 (S370).
  • the terminal 100 receiving the augmented reality content from the second augmented reality service providing server 700 may implement augmented reality by driving the NFT engine using the augmented reality content (S380).
  • FIG. 5 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • the augmented reality service providing system may include a terminal 100, a third augmented reality service providing server 800, and an API server 300.
  • the terminal 100 and the API server 300 are as described with reference to FIG. 1, and the third augmented reality service providing server 800 is the image matching server 200 and the AR content server described with reference to FIG. 1.
  • the third augmented reality service providing server 800 may include a content request receiving unit and a content providing unit as well as an image matching unit, and each unit may perform an operation for providing the augmented reality service below.
  • the terminal 100 receives an image through a camera formed therein (S400).
  • the image may be a single image captured by the camera or may be an image input in a preview state.
  • the terminal 100 transmits the image to the third augmented reality service providing server 800 (S410), and the image matching unit of the third augmented reality service providing server 800 performs an image matching operation on the input image ( S420).
  • the image matching operation may be applied to various conventional methods. Image matching is completed in the third augmented reality service providing server 800, and the feature information of the input image has a high similarity to the feature information of a specific image among the images previously stored in the third augmented reality service providing server 800. If it is determined, the third augmented reality service providing server 800 transmits a matching result to the terminal 100 (S430).
  • the terminal 100 transmits the matching result transmitted from the third augmented reality service providing server 800 to the API server 300 (S440), and the API server 300 uses the matching result to input the image through the camera.
  • operation S450 it is determined whether the content associated with is determined to be displayed in augmented reality.
  • the matching result may be an identification symbol or an index number as described above.
  • the API server 300 compares the identification symbol or the index number determined by the third augmented reality service providing server 800 with the identification symbol or the index number previously stored in the API server 300, and contents related to the image input through the camera. Determines whether is determined to be displayed in augmented reality. If it is determined that the content related to the image is to be displayed in augmented reality, the API server 300 sends a signal to the terminal 100 to call the content required to implement a predetermined augmented reality scenario for the image. Transmit to 100 (S460).
  • the terminal 100 receiving the signal for calling the content required to implement the augmented reality scenario from the API server 300 to implement the augmented reality scenario as a content request receiver of the third augmented reality service providing server 800.
  • a request for providing the augmented reality content required (S470).
  • the API server 300 directly transmits content required to implement augmented reality to the content request receiver of the third augmented reality service providing server 800 without directly passing through the terminal 100.
  • 100 may be requested to provide.
  • the third augmented reality service providing server 800 receives the augmented reality content providing request signal from the terminal 100, the content providing unit transmits the prestored augmented reality content to the terminal 100 (S480).
  • the terminal 100 receiving the augmented reality content from the third augmented reality service providing server 800 implements augmented reality by driving the NFT engine using the augmented reality content (S490).
  • FIG. 6 is a diagram illustrating a data transmission and reception process for providing an augmented reality service in an augmented reality service providing system according to an exemplary embodiment of the present invention.
  • the augmented reality service providing system may include a terminal 100 and a fourth augmented reality service providing server 900.
  • the terminal 100 is as described with reference to FIG. 1, and the fourth augmented reality service providing server 900 is the image matching server 200, the API server 300, and the AR content server described with reference to FIG. 1. Refers to a server in which 400 is physically integrated.
  • the fourth augmented reality service providing server 900 may include an AR matching unit, a content requesting unit, a content request receiving unit, and a content providing unit as well as an image matching unit. An operation for providing a service may be performed. Referring to the data transmission and reception process for providing augmented reality service in the augmented reality service providing system shown in FIG.
  • the terminal 100 receives an image through a camera formed therein (S500).
  • the image may be a single image captured by the camera or may be an image input in a preview state.
  • the terminal 100 transmits the image to the fourth augmented reality service providing server 900 (S510), and the fourth augmented reality service providing server 900 performs an image matching operation on the input image (S520).
  • the image matching operation may be applied to various conventional methods.
  • it is determined that the feature information of the input image has a high similarity to the feature information of a specific image among the images previously stored in the fourth augmented reality service providing server 900.
  • the fourth augmented reality service providing server 900 may determine whether the content related to the image input through the camera is to be displayed in the augmented reality using the matching result in the AR region determination unit (S530). In addition, the fourth augmented reality service providing server may determine whether the content on the input image is an area to be displayed in augmented reality or an area to be reproduced as a normal image, and output the content corresponding to the corresponding area. If it is determined that the content related to the image is to be displayed in the augmented reality, the fourth augmented reality service providing server 900 extracts the content required to implement a predetermined augmented reality scenario for the image (S540). Thereafter, the fourth augmented reality service providing server 900 transmits previously stored augmented reality content necessary to implement an augmented reality scenario from the content provider to the terminal 100 (S550).
  • the terminal 100 receiving the augmented reality content from the fourth augmented reality service providing server 900 may implement augmented reality by driving the NFT engine using the augmented reality content (S560).
  • the image matching server may be configured to be included in the terminal 100. That is, an embodiment in which both matching and tracking are performed without a server in one terminal may be considered.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer readable recording medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 일 태양에 따르면, 증강 현실 서비스 제공 방법으로서, (a) 카메라를 통하여 이미지를 입력받는 단계, (b) 이미지 매칭 서버에서 입력된 상기 이미지에 대한 이미지 매칭 연산을 수행하는 단계, (c) 상기 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 경우, API 서버에서 상기 매칭 결과를 이용하여 상기 이미지가 증강 현실로 구현 가능한 것인지 여부를 판별하는 단계, (d) 상기 이미지가 증강 현실로 구현 가능한 이미지로 판별되는 경우, AR 컨텐츠 서버에서 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 제공하는 단계, 및 (e) 단말기에서 상기 증강 현실 컨텐츠를 이용하여 증강 현실을 구현하는 단계를 포함하는 방법이 제공된다. 본 발명에 의하면, 한정된 단말기 상의 메모리 공간에 증강 현실을 구현하는데 요구되는 데이터를 저장하지 않고, 증강 현실 구현 전에 이미지 매칭 기술을 적용하여 서버로부터 해당 이미지를 증강 현실로 구현하는데 필요한 데이터만을 수신받음으로써 카메라를 통하여 입력되는 다양한 이미지를 증강 현실로 구현할 수 있다.

Description

증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체
본 발명은 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로 보다 상세히, 이미지 매칭 기술을 이용하여 한정된 메모리 공간에 구애 받지 않고 증강 현실 서비스를 제공할 수 있고, 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 동영상 등으로 재생되어야할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠를 출력할 수 있도록 하는 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
증강 현실(Augmented Reality: AR)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 한 종류이다. 이 같은 증강 현실은 가상현실과 일부 유사하나, 가상현실은 사용자에게 가상의 공간과 사물만을 제공하는 반면, 증강 현실은 현실세계의 기반 위에 가상의 정보를 합성하여 현실세계만으로 얻기 어려운 부가적인 정보를 보강하여 제공하는 특징이 있다. 완전한 가상세계를 전제로 하는 가상현실과는 달리 증강 현실은 현실세계의 환경 위에 가상의 대상을 결합시킴으로써, 사용자에게 보다 나은 현실감을 제공할 수 있다. 이와 같은 증강 현실 서비스는 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되기 시작하였으며, 최근에는 휴대폰, PDA(Personal Digital Assistants), UMPC(Ultra Mobile Personal Computer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 다양한 증강 현실 서비스가 제공되고 있다. 일예로, 휴대폰의 카메라를 통해 촬영되는 실제환경의 객체와 그 객체와 관려된 속성 정보가 가상으로 생성되어 실제환경의 객체와 융합되어 화면으로 출력될 수 있다.
이와 같이 증강 현실 서비스를 제공하는 종래 기술로는 2012년 1월 10일 공개된 공개번호 제10-2012-0003323호, 발명의 명칭 '이동단말기 및 그의 증강현실을 이용한 정보 표시 방법'을 예로 들 수 있다. 이와 같은 종래 증강현실 서비스를 제공하기 위해서는 증강 현실상에서 제공되는 오브젝트 정보를 단말기 상의 한정된 메모리에 저장하였다가 이를 이용하여 증강 현실을 구현해야 함으로써 증강 현실로 구현될 수 있는 이미지의 양의 극히 한정된다는 문제점이 존재한다. 또한, 단순하게 증강 현실을 구현해야 할 영역인지 여부만을 판단하여 다양한 컨텐츠의 재생이 가능하지 않다는 문제점이 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 한정된 단말기 상의 메모리 공간에 증강 현실을 구현하는데 요구되는 데이터를 저장하지 않고, 이미지 매칭 기술을 이용하여 서버로부터 해당 이미지를 증강 현실로 구현하는데 필요한 데이터를 수신 받아 증강 현실을 구현함으로써 다양한 이미지를 증강 현실로 구현할 수 있는 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
또한, 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 일반 영상 등으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠를 출력할 수 있도록 하는 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, API 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 서버에서 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 상기 이미지 매칭 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 API 서버가 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 및 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, 상기 API 서버는 AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, AR 컨텐츠 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 서버에서 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 이미지 매칭 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, API 서버가 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하여, 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하였다면, 상기 AR 컨텐츠 서버가 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 단계; 및 상기 AR 컨텐츠 서버가 상기 증강 현실 컨텐츠를 단말기로 전송하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 제1 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서, 상기 제1 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 제1 증강 현실 서비스 제공 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 제1 증강 현실 서비스 제공 서버는 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 및 상기 제1 증강 현실 서비스 제공 서버가 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, 상기 제1 증강 현실 서비스 제공 서버는 AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 제2 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 서버에서 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 상기 이미지 매칭 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 제2 증강 현실 서비스 제공 서버가 상기 매칭 결과를 수신하고, 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 및 상기 제2 증강 현실 서비스 제공 서버가 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, 상기 제2 증강 현실 서비스 제공 서버는 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 단말기로 전송하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 제3 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서, 상기 제3 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 제3 증강 현실 서비스 제공 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, API 서버에 의해 상기 매칭 결과가 수신되고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단되었다면, 상기 제3 증강 현실 서비스 제공 서버가 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 단계; 및 상기 제3 증강 현실 서비스 제공 서버가 상기 증강 현실 컨텐츠를 단말기로 전송하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 제4 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서, 상기 제4 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 제4 증강 현실 서비스 제공 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 제4 증강 현실 서비스 제공 서버가 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, 상기 제4 증강 현실 서비스 제공 서버가 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 단말기로 전송하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 증강 현실 서비스를 제공하기 위한 API 서버로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 서버에서 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 상기 이미지 매칭 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 및 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 컨텐츠 요청부를 포함하는 서버가 제공된다.
본 발명의 또 다른 태양에 따르면, 증강 현실 서비스를 제공하기 위한 AR 컨텐츠 제공 서버로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 서버에서 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 이미지 매칭 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, API 서버가 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하여, 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하였다면, 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 컨텐츠 요청 수신부; 및 상기 증강 현실 컨텐츠를 단말기로 전송하는 컨텐츠 제공부를 포함하는 서버가 제공된다.
본 발명의 또 다른 태양에 따르면, 증강 현실 서비스를 제공하기 위한 제1 증강 현실 서비스 제공 서버로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 및 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 컨텐츠 요청부를 포함하는 서버가 제공된다.
본 발명의 또 다른 태양에 따르면, 증강 현실 서비스를 제공하기 위한 제2 증강 현실 서비스 제공 서버로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 서버에서 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 상기 이미지 매칭 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 매칭 결과를 수신하고, 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 및 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 단말기로 전송하는 컨텐츠 제공부를 포함하는 서버가 제공된다.
본 발명의 또 다른 태양에 따르면, 증강 현실 서비스를 제공하기 위한 제3 증강 현실 서비스 제공 서버로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, API 서버에 의해 상기 매칭 결과가 수신되고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단되었다면, 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 컨텐츠 요청 수신부; 및 상기 증강 현실 컨텐츠를 단말기로 전송하는 컨텐츠 제공부를 포함하는 서버가 제공된다.
본 발명의 또 다른 태양에 따르면, 증강 현실 서비스를 제공하기 위한 제4 증강 현실 서비스 제공 서버로서, 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 단말기로 전송하는 컨텐츠 제공부를 포함하는 서버가 제공된다.
본 발명에 의하면, 한정된 단말기 상의 메모리 공간에 증강 현실을 구현하는데 요구되는 데이터를 저장하지 않고, 증강 현실 구현 전에 이미지 매칭 기술을 적용하여 서버로부터 해당 이미지를 증강 현실로 구현하는데 필요한 데이터만을 수신 받음으로써 카메라를 통하여 입력되는 다양한 이미지를 증강 현실로 구현할 수 있게 된다.
또한, 본 발명에 의하면 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상 등으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 할 수 있다.
도 1은 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템의 구성을 개략적으로 나타내는 도면.
도 2는 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면.
도 3은 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면.
도 4는 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면.
도 5는 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면.
도 6은 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
제 1 실시예
도 1은 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 증강 현실 서비스 제공 시스템은 단말기(100), 이미지 매칭 서버(200), API(Application Programming Interface) 서버(300) 및 AR(Augmented Reality) 컨텐츠 서버(400)를 포함할 수 있다.
단말기(100)는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 타블렛 컴퓨터, 노트북 컴퓨터 등), PDA(Personal Digital Assistant), 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능역을 갖춘 휴대용 디지털 기기라면 얼마든지 본 발명에 따른 단말기(100)로서 채택될 수 있다.
단말기(100)는 내부에 카메라와 NFT(Natural Feature Tracking) 엔진을 포함할 수 있다. 카메라는 종래 일반적인 촬상 소자로 구성된 것으로서 예를 들어 CCD(Charge Coupled Device)를 이용하고 디지털 화상 신호를 생성하는 디지털 카메라일 수 있다. 또한, NFT 엔진은 제공된 AR 컨텐츠를 이용하여 카메라를 통하여 입력된 이미지 상에서 증강 현실을 구현하는 기능을 수행한다.
이미지 매칭 서버(200)는 카메라를 통하여 입력된 이미지에 대한 정보와 데이터베이스에 저장된 복수의 이미지들 각각에 대한 정보를 비교하여 이미지 매칭 결과를 출력하는 기능을 수행한다. 즉, 카메라를 통하여 입력된 이미지가 기 저장된 복수의 이미지들 중 적어도 하나의 이미지와의 동일(또는 유사) 여부를 검출하여 일치하는 것으로 판단되면 일치임을 나타내는 신호를, 불일치한 것으로 판단되면 불일치임을 나타내는 신호를 이미지 매칭 결과로서 출력할 수 있다. 이때, 이미지 사이의 동일 또는 유사 여부는 이미지 각각으로부터 추출된 특징 정보를 비교함으로써 판단될 수 있으며, 이와 같은 특징 정보의 비교에 따라 임계 유사도 이상인 것으로 판단되는 경우 양 이미지는 동일 또는 유사한 것으로 판단될 수 있다. 또한, 데이터베이스에 저장된 복수의 이미지들 각각은 식별 기호를 가질 수 있으며, 이미지 매칭 서버(200)는 일치임을 나타내는 신호로서 복수의 이미지들 중 일치하는 이미지의 식별 기호를 출력할 수 있다. 식별 기호의 예를 들면 입력된 이미지가 특정 인물에 대한 이미지일 경우 해당 인물에 대한 이름 등이 식별 기호로 사용될 수 있다. 또 다르게는 이미지 매칭 서버(200)는 일치하는 이미지의 인덱스 번호를 출력할 수 있으며, 인덱스 번호는 API 서버(300) 상의 메모리 저장 공간에 매칭된 번호일 수도 있다.
본 발명의 출원인은 입력된 이미지를 기 저장되어 있는 이미지와 매칭시켜 인식하는 방법 및 장치에 대하여 출원번호 제10-2011-0105547호, 발명의 명칭 '얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체'를 통하여 이미 출원한 바 있으며, 위 발명은 본 발명과 합체될 수 있다.
API 서버(300)는 이미지 매칭 서버(200)에서 판별된 식별 기호 또는 인덱스 번호를 기초로 식별 기호 또는 인덱스 번호와 매칭된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이 될 것으로 결정되어 있는지 여부를 판단하는 기능을 수행한다. 보다 상세히, API 서버(300)상의 메모리에 증강 현실로 디스플레이 될 것으로 예정되어 있는 이미지의 식별 기호 또는 인덱스 번호가 기 저장되고, 이미지 매칭 서버(200)에서 판별된 식별 기호 또는 인덱스 번호를 API 서버(300)내의 기 저장된 식별 기호 또는 인덱스 번호와 비교하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이 될 것으로 예정되어 있는지 여부를 판단한다. 또한, API 서버(300)는 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이 될 것으로 예정되어 있는 경우에는 각 이미지별로 예정된 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하는 신호를 출력하는 기능을 수행한다. 또한 API 서버(300)는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 할 수 있다.
AR 컨텐츠 서버(400)는 API 서버(300)로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 경우, 기 저장된 증강 현실 컨텐츠를 제공하는 기능을 수행한다. 보다 상세히, 증강 현실 컨텐츠는 증강 현실 시나리오를 실행시키기 위한 데이터로 AR 시나리오 데이터, 트래커블(trackable) 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터 및 3D 오브젝트 데이터를 포함할 수 있으며, XML로 작성될 수 있다. 트래커블 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터는 이미지 매칭 서버(200)에 의해 매칭된 것으로 판단된 대상을 단말기(100)에서 트래킹할 수 있도록(즉, NFT를 수행할 수 있도록) 단말기(100)에 제공되는 이미지 데이터 또는 이에 대한 특징 정보일 수 있으며, 이와 같은 트래커블 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터는 이미지 매칭 서버(200)에서 이미지 매칭을 하기 위해 사용하였던 특징 정보와는 별개의 데이터일 수 있다. 한편, 3D 오브젝트 데이터는 물건의 표면 상에 증강 현실 시나리오에 따라 3D 이미지를 정합하기 위하여 사용되는 데이터를 의미한다.
단말기(100)는 이미지 매칭 서버(200), API 서버(300), 및 AR 컨텐츠 서버(400)와 통신망(500)을 통하여 데이터를 송수신할 수 있다. 여기서 통신망(500)은 무선 통신의 양태로 구성될 수 있으며 이동 통신망, 인공 위성 통신망 등 다양한 통신망으로 구성될 수 있다. 보다 구체적으로, 본 발명에서 말하는 통신망은 공지의 WLAN(Wireless LAN), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access) 또는 GSM(Global System for Mobile communications) 통신망 등을 모두 포함하는 개념인 것으로 이해되어야 한다.
이하에서는 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하도록 한다. 도시되지는 않았으나 API 서버(300)는 AR 영역 판단부와 컨텐츠 요청부를 포함하고, AR 컨텐츠 서버(400)는 컨텐츠 요청 수신부와 컨텐츠 제공부를 포함할 수 있으며, 각 부에서 아래 증강 현실 서비스를 제공하기 위한 동작을 수행할 수 있다.
도 2는 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면이다. 도 2를 참조하면, 단말기(100)는 내부에 형성된 카메라를 통하여 이미지를 입력받는다(S100). 입력받는 이미지는 카메라를 통하여 촬영된 단일의 이미지일 수 있고, 프리뷰 상태로 입력되는 이미지일 수도 있다. 만약 입력되는 이미지가 프리뷰 상태인 경우, 단말기가 이동함에 따라 이미지 상에서 물체의 상대적 위치가 이동하게 되면 이미지 상에서 구현된 3D 이미지 역시 함께 이동할 수 있다. 이는, 언급한 바와 같이, 이미지 매칭 서버(200)에 의해 매칭된 것으로 판단된 대상을 단말기(100)에서 트래킹할 수 있도록(즉, NFT를 수행할 수 있도록) 단말기(100)에 해당 트래커블 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터가 제공(가령, 다운로드 형식으로 제공)되기 때문에 가능할 수 있다.
단말기(100)는 이미지를 이미지 매칭 서버(200)로 전송하고(S110), 이미지 매칭 서버(200)는 입력된 이미지에 대한 이미지 매칭 연산을 수행한다(S120). 이미지 매칭 연산은 앞서 기술한 바와 같이 종래 공지된 다양한 방법이 적용될 수 있다. 이미지 매칭 서버(200)에서 이미지 매칭이 완료되어, 입력된 이미지의 특징 정보가 이미지 매칭 서버(200)에 기 저장된 이미지 중 특정 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우 이미지 매칭 서버(200)는 매칭 결과를 단말기(100)로 전송한다(S130).
단말기(100)는 이미지 매칭 서버(200)로부터 전송된 매칭 결과를 API 서버(300)로 전송하고(S140), API 서버(300)는 AR 영역 판단부에서 매칭 결과를 이용하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다(S150). 매칭 결과로서 출력되는 정보는 앞서 기술한 바와 같이 식별 기호 또는 인덱스 번호일 수 있다. API 서버(300)는 이미지 매칭 서버(200)에서 판별된 식별 기호 또는 인덱스 번호를 API 서버(300) 내에 기 저장된 식별 기호 또는 인덱스 번호와 비교하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다. 또한, API 서버(300)는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 할 수 있다. 만약 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우에는 API 서버(300)는 컨텐츠 요청부에서 단말기(100)로 해당 이미지에 대해 예정된 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하는 신호를 단말기(100)로 전송한다(S160).
API 서버(300)로부터 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하는 신호를 수신한 단말기(100)는 AR 컨텐츠 서버(400)로 증강 현실 시나리오를 구현하기 위하여 요구되는 증강 현실 컨텐츠의 제공을 요청한다(S170). 물론, 이에 한정되는 것은 아니고, API 서버(300)는 단말기(100)를 경유하지 않고 직접 AR 컨텐츠 서버(400)로 증강 현실을 구현하기 위하여 요구되는 컨텐츠를 단말기(100)에 제공할 것을 직접 요청할 수도 있다. AR 컨텐츠 서버(400)는 컨텐츠 요청 수신부에서 단말기(100)로부터 증강 현실 컨텐츠 제공 요청 신호를 수신하면, 컨텐츠 제공부에서 단말기(100)로 기 저장된 증강 현실 컨텐츠를 전송한다(S180).
AR 컨텐츠 서버(400)로부터 증강 현실 컨텐츠를 수신한 단말기(100)는 증강 현실 컨텐츠를 이용하여 NFT 엔진을 구동시켜 증강 현실을 구현하게 된다(S190).
한편, 이미지 매칭 서버(200), API 서버(300), 및 AR 컨텐츠 서버(400)는 분리된 서버로 구성될 수 있으나, 이에 한정되는 것은 아니며, 각 서버의 일부가 통합된 형태로 제공될 수도 있다. 아래에서는 각 서버가 분리되거나 일부가 통합된 경우 단말기(100)와 각 서버 사이의 데이터 송수신 과정을 보다 상세히 설명하도록 한다.
또한, 각 서버가 통합된 형태로 제공되는 경우, 이미지 매칭 서버(200), API 서버(300), 및 AR 컨텐츠 서버(400)는 그 중 적어도 일부가 단말기(100)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 통합 서버에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 통합 서버와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
제2 실시예
도 3은 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면이다.
도 3을 참조하면, 증강 현실 서비스 제공 시스템은 단말기(100), 제1 증강 현실 서비스 제공 서버(600), 및 AR 컨텐츠 서버(400)를 포함할 수 있다. 단말기(100), 및 AR 컨텐츠 서버(400)는 도 1을 참조로 하여 설명한 바와 같고, 제1 증강 현실 서비스 제공 서버(600)는 도 1을 참조로 하여 설명한 이미지 매칭 서버(200)와 API 서버(300)를 통합한 서버를 의미한다.
도시되지는 않았으나 제1 증강 현실 서비스 제공 서버(600)는 이미지 매칭부뿐만 아니라 AR 영역 판단부와 컨텐츠 요청부를 포함할 수 있으며, 각 부에서 아래 증강 현실 서비스를 제공하기 위한 동작을 수행할 수 있다.
도 3에 도시된 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하면 아래와 같다.
먼저, 단말기(100)는 내부에 형성된 카메라를 통하여 이미지를 입력받는다(S200). 이미지는 카메라를 통하여 촬영된 단일의 이미지일 수 있고, 프리뷰 상태로 입력되는 이미지일 수도 있다. 단말기(100)는 이미지를 제1 증강 현실 서비스 제공 서버(600)로 전송하고(S210), 제1 증강 현실 서비스 제공 서버(600)는 입력된 이미지에 대한 이미지 매칭 연산을 수행한다(S220). 이미지 매칭 연산은 앞서 기술한 바와 같이 종래 공지된 다양한 방법이 적용될 수 있다. 제1 증강 현실 서비스 제공 서버(600)에서 이미지 매칭을 완료한 결과 입력된 이미지의 특징 정보가 제1 증강 현실 서비스 제공 서버(600)에 기 저장된 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우 제1 증강 현실 서비스 제공 서버(600)는 AR 영역 판단부에서 매칭 결과를 이용하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다(S230). 매칭 결과는 앞서 기술한 바와 같이 식별 기호 또는 인덱스 번호일 수 있다. 제1 증강 현실 서비스 제공 서버(600)는 판별된 식별 기호 또는 인덱스 번호를 제1 증강 현실 서비스 제공 서버(600) 내에 기 저장된 식별 기호 또는 인덱스 번호와 비교하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다. 또한, 제1 증강 현실 서비스 제공 서버(600)는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 할 수 있다. 만약 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우에는 제1 증강 현실 서비스 제공 서버(600)는 컨텐츠 요청부에서 해당 이미지에 대해 예정된 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하기 위한 신호를 단말기(100)로 전송한다 (S240).
제1 증강 현실 서비스 제공 서버(600)로부터 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하는 신호를 수신한 단말기(100)는 AR 컨텐츠 서버(400)로 증강 현실 시나리오를 구현하기 위하여 요구되는 증강 현실 컨텐츠의 제공을 요청한다(S250). 물론, 이에 한정되는 것은 아니고, 제1 증강 현실 서비스 제공 서버(600)는 단말기(100)를 경유하지 않고 직접 AR 컨텐츠 서버(400)로 증강 현실을 구현하기 위하여 요구되는 컨텐츠를 단말기(100)에 제공할 것을 요청할 수도 있다. AR 컨텐츠 서버(400)는 증강 현실 컨텐츠 제공 요청 신호를 수신하면, 단말기(100)로 기 저장된 증강 현실 컨텐츠를 전송한다(S260).
AR 컨텐츠 서버(400)로부터 증강 현실 컨텐츠를 수신한 단말기(100)는 증강 현실 컨텐츠를 이용하여 NFT 엔진을 구동시켜 증강 현실을 구현하게 된다(S270).
제3 실시예
도 4는 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면이다.
도 4를 참조하면, 증강 현실 서비스 제공 시스템은 단말기(100), 이미지 매칭 서버(200), 및 제2 증강 현실 서비스 제공 서버(700)를 포함할 수 있다. 단말기(100) 및 이미지 매칭 서버(200)는 도 1을 참조로 하여 설명한 바와 같고, 제2 증강 현실 서비스 제공 서버(700)는 도 1을 참조로 하여 설명한 API 서버(300)와 AR 컨텐츠 서버(400)를 통합한 서버를 의미한다.
도시되지는 않았으나 제2 증강 현실 서비스 제공 서버(700)는 AR 영역 판단부와 컨텐츠 제공부를 포함할 수 있으며, 각 부에서 아래 증강 현실 서비스를 제공하기 위한 동작을 수행할 수 있다.
도 4에 도시된 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하면 아래와 같다.
먼저, 단말기(100)는 내부에 형성된 카메라를 통하여 이미지를 입력받는다(S300). 이미지는 카메라를 통하여 촬영된 단일의 이미지일 수 있고, 프리뷰 상태로 입력되는 이미지일 수도 있다. 단말기(100)는 이미지를 이미지 매칭 서버(200)로 전송하고(S310), 상기 이미지 매칭 서버(200)는 입력된 이미지에 대한 이미지 매칭 연산을 수행한다(S320). 이미지 매칭 연산은 앞서 기술한 바와 같이 종래 공지된 다양한 방법이 적용될 수 있다. 이미지 매칭 서버(200)에서 이미지 매칭이 완료되어, 입력된 이미지의 특징 정보가 이미지 매칭 서버(200)에 기 저장된 이미지 중 특정 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우 이미지 매칭 서버(200)는 매칭 결과를 단말기(100)로 전송한다(S330).
단말기(100)는 이미지 매칭 서버(200)로부터 전송된 매칭 결과를 제2 증강 현실 서비스 제공 서버(700)로 전송하고(S340), 제2 증강 현실 서비스 제공 서버(700)는 AR 영역 판단부에서 이미지 매칭 서버(200)에서 판별된 식별 기호 또는 인덱스 번호를 기 저장된 식별 기호 또는 인덱스 번호와 비교하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다(S350). 또한, 제2 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 할 수 있다. 만약 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우에는 제2 증강 현실 서비스 제공 서버(700)는 해당 이미지에 대해 예정된 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 추출한다(S360). 그 후 제2 증강 현실 서비스 제공 서버(700)는 컨텐츠 제공부에서 단말기(100)로 증강 현실 시나리오를 구현하기 위하여 필요한 기 저장된 증강 현실 컨텐츠를 전송한다(S370).
제2 증강 현실 서비스 제공 서버(700)로부터 증강 현실 컨텐츠를 수신한 단말기(100)는 증강 현실 컨텐츠를 이용하여 NFT 엔진을 구동시켜 증강 현실을 구현하게 된다(S380).
제4 실시예
도 5는 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면이다.
도 5를 참조하면, 증강 현실 서비스 제공 시스템은 단말기(100), 제3 증강 현실 서비스 제공 서버(800), 및 API 서버(300)를 포함할 수 있다. 단말기(100), 및 API 서버(300)는 도 1을 참조로 하여 설명한 바와 같고, 제3 증강 현실 서비스 제공 서버(800)는 도 1을 참조로 하여 설명한 이미지 매칭 서버(200)와 AR 컨텐츠 서버(400)를 통합한 서버를 의미한다.
도시되지는 않았으나 제3 증강 현실 서비스 제공 서버(800)는 이미지 매칭부 뿐만 아니라 컨텐츠 요청 수신부와 컨텐츠 제공부를 포함할 수 있으며, 각 부에서 아래 증강 현실 서비스를 제공하기 위한 동작을 수행할 수 있다.
도 5에 도시된 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하면 아래와 같다.
먼저, 단말기(100)는 내부에 형성된 카메라를 통하여 이미지를 입력받는다(S400). 이미지는 카메라를 통하여 촬영된 단일의 이미지일 수 있고, 프리뷰 상태로 입력되는 이미지일 수도 있다. 단말기(100)는 이미지를 제3 증강 현실 서비스 제공 서버(800)로 전송하고(S410), 제3 증강 현실 서비스 제공 서버(800)의 이미지 매칭부는 입력된 이미지에 대한 이미지 매칭 연산을 수행한다(S420). 이미지 매칭 연산은 앞서 기술한 바와 같이 종래 공지된 다양한 방법이 적용될 수 있다. 제3 증강 현실 서비스 제공 서버(800)에서 이미지 매칭이 완료되어, 입력된 이미지의 특징 정보가 상기 제3 증강 현실 서비스 제공 서버(800)에 기 저장된 이미지 중 특정 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우 제3 증강 현실 서비스 제공 서버(800)는 매칭 결과를 단말기(100)로 전송한다(S430).
단말기(100)는 제3 증강 현실 서비스 제공 서버(800)로부터 전송된 매칭 결과를 API 서버(300)로 전송하고(S440), API 서버(300)는 매칭 결과를 이용하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다(S450). 매칭 결과는 앞서 기술한 바와 같이 식별 기호 또는 인덱스 번호일 수 있다. API 서버(300)는 제3 증강 현실 서비스 제공 서버(800)에서 판별된 식별 기호 또는 인덱스 번호를 API 서버(300) 내에 기 저장된 식별 기호 또는 인덱스 번호와 비교하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다. 만약 상기 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우에는 API 서버(300)는 단말기(100)로 해당 이미지에 대해 예정된 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하는 신호를 단말기(100)로 전송한다 (S460).
API 서버(300)로부터 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 호출하는 신호를 수신한 단말기(100)는 제3 증강 현실 서비스 제공 서버(800)의 컨텐츠 요청 수신부로 증강 현실 시나리오를 구현하기 위하여 요구되는 증강 현실 컨텐츠의 제공을 요청한다(S470). 물론, 이에 한정되는 것은 아니고, API 서버(300)는 단말기(100)를 경유하지 않고 직접 제3 증강 현실 서비스 제공 서버(800)의 컨텐츠 요청 수신부로 증강 현실을 구현하기 위하여 요구되는 컨텐츠를 단말기(100)에 제공할 것을 요청할 수도 있다. 제3 증강 현실 서비스 제공 서버(800)는 단말기(100)로부터 증강 현실 컨텐츠 제공 요청 신호를 수신하면, 컨텐츠 제공부에서 단말기(100)로 기 저장된 증강 현실 컨텐츠를 전송한다(S480).
제3 증강 현실 서비스 제공 서버(800)로부터 증강 현실 컨텐츠를 수신한 단말기(100)는 증강 현실 컨텐츠를 이용하여 NFT 엔진을 구동시켜 증강 현실을 구현하게 된다(S490).
제5 실시예
도 6은 본 발명의 실시예에 따라 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하는 도면이다.
도 6을 참조하면, 증강 현실 서비스 제공 시스템은 단말기(100), 제4 증강 현실 서비스 제공 서버(900)를 포함할 수 있다.
단말기(100)는 도 1을 참조로 하여 설명한 바와 같고, 제4 증강 현실 서비스 제공 서버(900)는 도 1을 참조로 하여 설명한 이미지 매칭 서버(200), API 서버(300), 및 AR 컨텐츠 서버(400)를 물리적으로 통합한 서버를 의미한다.
도시되지는 않았으나 제4 증강 현실 서비스 제공 서버(900)는 이미지 매칭부 뿐만 아니라 AR 영역 판단부, 컨텐츠 요청부, 컨텐츠 요청 수신부, 및 컨텐츠 제공부 등을 포함할 수 있으며, 각 부에서 아래 증강 현실 서비스를 제공하기 위한 동작을 수행할 수 있다. 도 6에 도시된 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하기 위한 데이터 송수신 과정을 설명하면 아래와 같다.
먼저, 단말기(100)는 내부에 형성된 카메라를 통하여 이미지를 입력받는다(S500). 이미지는 카메라를 통하여 촬영된 단일의 이미지일 수 있고, 프리뷰 상태로 입력되는 이미지일 수도 있다. 단말기(100)는 이미지를 제4 증강 현실 서비스 제공 서버(900)로 전송하고(S510), 제4 증강 현실 서비스 제공 서버(900)는 입력된 이미지에 대한 이미지 매칭 연산을 수행한다(S520). 이미지 매칭 연산은 앞서 기술한 바와 같이 종래 공지된 다양한 방법이 적용될 수 있다. 제4 증강 현실 서비스 제공 서버(900)에서 이미지 매칭을 완료한 결과 입력된 이미지의 특징 정보가 제4 증강 현실 서비스 제공 서버(900)에 기 저장된 이미지 중 특정 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우 제4 증강 현실 서비스 제공 서버(900)는 AR 영역 판단부에서 매칭 결과를 이용하여 카메라를 통하여 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단한다(S530). 또한, 제4 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 할 수 있다. 만약 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우에는 제4 증강 현실 서비스 제공 서버(900)는 해당 이미지에 대해 예정된 증강 현실 시나리오를 구현하기 위하여 요구되는 컨텐츠를 추출한다(S540). 그 후 제4 증강 현실 서비스 제공 서버(900)는 컨텐츠 제공부에서 단말기(100)로 증강 현실 시나리오를 구현하기 위하여 필요한 기 저장된 증강 현실 컨텐츠를 전송한다(S550).
제4 증강 현실 서비스 제공 서버(900)로부터 증강 현실 컨텐츠를 수신한 단말기(100)는 증강 현실 컨텐츠를 이용하여 NFT 엔진을 구동시켜 증강 현실을 구현하게 된다(S560).
한편, 본 발명의 도면에서는 언급되지 않았지만, 이미지 매칭 서버가 단말기(100)에 포함되도록 구성할 수도 있을 것이다. 즉, 매칭과 트래킹을 모두 하나의 단말에서 서버 없이 진행하는 실시예를 생각해 볼 수도 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (34)

  1. API 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 API 서버가 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 및
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, 상기 API 서버는 AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 상기 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 단계를 포함하는 방법.
  2. AR 컨텐츠 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, API 서버가 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하여, 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하였다면, 상기 AR 컨텐츠 서버가 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 단계; 및
    상기 AR 컨텐츠 서버가 상기 증강 현실 컨텐츠를 상기 단말기로 전송하는 단계
    를 포함하는 방법.
  3. 제1 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서,
    상기 제1 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 제1 증강 현실 서비스 제공 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 제1 증강 현실 서비스 제공 서버는 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 및
    상기 제1 증강 현실 서비스 제공 서버가 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, 상기 제1 증강 현실 서비스 제공 서버는 AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 단계
    를 포함하는 방법.
  4. 제2 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서,
    상기 제2 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 제2 증강 현실 서비스 제공 서버가 상기 매칭 결과를 수신하고, 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계; 및
    상기 제2 증강 현실 서비스 제공 서버가 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, 상기 제2 증강 현실 서비스 제공 서버는 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 단말기로 전송하는 단계
    를 포함하는 방법.
  5. 제3 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서,
    상기 제3 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 제3 증강 현실 서비스 제공 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, API 서버에 의해 상기 매칭 결과가 수신되고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단되었다면, 상기 제3 증강 현실 서비스 제공 서버가 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 단계; 및
    상기 제3 증강 현실 서비스 제공 서버가 상기 증강 현실 컨텐츠를 상기 단말기로 전송하는 단계
    를 포함하는 방법.
  6. 제4 증강 현실 서비스 제공 서버에서 증강 현실 서비스를 제공하기 위한 방법으로서,
    상기 제4 증강 현실 서비스 제공 서버가 단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 상기 제4 증강 현실 서비스 제공 서버에 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 제4 증강 현실 서비스 제공 서버가 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계;
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, 상기 제4 증강 현실 서비스 제공 서버가 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 단말기로 전송하는 단계
    를 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 이미지는 상기 카메라를 통하여 촬영된 단일의 이미지 또는 프리뷰 상태로 입력되는 이미지인 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 이미지가 프리뷰 상태로 입력되는 경우, 상기 단말기가 이동함에 따라 상기 이미지 상에서 물체의 상대적 위치가 이동하게 되면 상기 이미지 상에서 구현된 3D 이미지 역시 함께 이동하는 것을 특징으로 하는 방법.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 이미지 매칭 연산 결과 입력된 이미지의 특징 정보가 기 저장된 이미지 중 특정 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우, 상기 특정 이미지에 부여된 식별 기호를 이미지 매칭 결과로서 제공하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 식별 기호는 인덱스 번호인 것을 특징으로 하는 방법.
  11. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 단계는,
    증강 현실로 디스플레이될 수 있는 이미지의 식별 기호를 기 저장하고, 상기 이미지 매칭 연산 결과로서 제공된 식별 기호를 상기 기 저장된 식별 기호와 비교하여 상기 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판별하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 증강 현실 컨텐츠는 AR 시나리오 데이터, 트래커블(trackable) 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터, 및 3D 오브젝트 데이터를 포함하되,
    상기 트래커블 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터는 상기 이미지 매칭 연산에 의해 매칭된 것으로 판단된 대상을 상기 단말기에서 트래킹할 수 있도록 하기 위한 이미지 데이터 또는 이에 대한 특징 정보인 것을 특징으로 하는 방법.
  13. 제1항, 제2항 또는 제5항 중 어느 한 항에 있어서,
    상기 API 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지, 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 방법.
  14. 제3항에 있어서,
    상기 제1 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 방법.
  15. 제4항에 있어서,
    상기 제2 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠를 출력하는 것을 특징으로 하는 방법.
  16. 제6항에 있어서,
    상기 제4 증강 현실 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 방법.
  17. 증강 현실 서비스를 제공하기 위한 API 서버로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 및
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 컨텐츠 요청부
    를 포함하는 서버.
  18. 증강 현실 서비스를 제공하기 위한 AR 컨텐츠 제공 서버로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, API 서버가 상기 매칭 결과를 수신하고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하여, 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하였다면, 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 컨텐츠 요청 수신부; 및
    상기 증강 현실 컨텐츠를 상기 단말기로 전송하는 컨텐츠 제공부
    를 포함하는 서버.
  19. 증강 현실 서비스를 제공하기 위한 제1 증강 현실 서비스 제공 서버로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 및
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, AR 컨텐츠 서버로 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하거나 상기 단말기를 경유하여 상기 AR 컨텐츠 서버로 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청하는 컨텐츠 요청부
    를 포함하는 서버.
  20. 증강 현실 서비스를 제공하기 위한 제2 증강 현실 서비스 제공 서버로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행한 결과, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단된 경우, 상기 매칭 결과를 수신하고, 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부; 및
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단하는 경우, 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 상기 단말기로 전송하는 컨텐츠 제공부
    를 포함하는 서버.
  21. 증강 현실 서비스를 제공하기 위한 제3 증강 현실 서비스 제공 서버로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, API 서버에 의해 상기 매칭 결과가 수신되고 이를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 것으로 판단되었다면, 상기 API 서버로부터 직접 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받거나 상기 API 서버로부터 상기 단말기를 경유하여 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠의 제공을 요청받는 컨텐츠 요청 수신부; 및
    상기 증강 현실 컨텐츠를 상기 단말기로 전송하는 컨텐츠 제공부
    를 포함하는 서버.
  22. 증강 현실 서비스를 제공하기 위한 제4 증강 현실 서비스 제공 서버로서,
    단말기의 카메라를 통하여 입력된 이미지를 대상으로 하여 이미지 매칭 연산을 수행하고, 상기 입력된 이미지가 기 저장된 이미지 중 특정 이미지와 매칭되는 것으로 판단한 경우, 상기 매칭 결과를 참조로 하여 상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는지 여부를 판단하는 AR 영역 판단부;
    상기 입력된 이미지와 관련된 컨텐츠가 증강 현실로 디스플레이될 것으로 결정되어 있는 경우, 증강 현실 시나리오를 구현하기 위한 증강 현실 컨텐츠를 추출하여 상기 단말기로 전송하는 컨텐츠 제공부
    를 포함하는 서버.
  23. 제17항 내지 제22항 중 어느 한 항에 있어서,
    상기 이미지는 상기 카메라를 통하여 촬영된 단일의 이미지 또는 프리뷰 상태로 입력되는 이미지인 것을 특징으로 하는 서버.
  24. 제23항에 있어서,
    상기 이미지가 프리뷰 상태로 입력되는 경우, 상기 단말기가 이동함에 따라 상기 이미지 상에서 물체의 상대적 위치가 이동하게 되면 상기 이미지 상에서 구현된 3D 이미지 역시 함께 이동하는 것을 특징으로 하는 서버.
  25. 제17항 내지 제22항 중 어느 한 항에 있어서,
    상기 이미지 매칭 연산 결과 입력된 이미지의 특징 정보가 기 저장된 이미지 중 특정 이미지의 특징 정보와 유사도가 높은 것으로 판별되는 경우, 상기 특정 이미지에 부여된 식별 기호를 이미지 매칭 결과로서 제공하는 것을 특징으로 하는 서버.
  26. 제25항에 있어서,
    상기 식별 기호는 인덱스 번호인 것을 특징으로 하는 서버.
  27. 제17항 내지 제22항 중 어느 한 항에 있어서,
    상기 증강 현실 컨텐츠는 AR 시나리오 데이터, 트래커블 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터, 및 3D 오브젝트 데이터를 포함하되,
    상기 트래커블 이미지 데이터 또는 해당 데이터를 통해 생성한 특징값 데이터는 상기 이미지 매칭 연산에 의해 매칭된 것으로 판단된 대상을 상기 단말기에서 트래킹할 수 있도록 하기 위한 이미지 데이터 또는 이에 대한 특징 정보인 것을 특징으로 하는 서버.
  28. 제17항, 제18항 또는 제21항 중 어느 한 항에 있어서,
    상기 API 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 서버.
  29. 제19항에 있어서,
    상기 제1 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 서버.
  30. 제20항에 있어서,
    상기 제2 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 서버.
  31. 제22항에 있어서,
    상기 제4 증강 현실 서비스 제공 서버는 입력된 이미지 상의 컨텐츠가 증강 현실로 디스플레이 되어야 할 영역인지 아니면 일반 영상으로 재생되어야 할 영역인지 여부를 판별하여 해당 영역에 상응하는 컨텐츠가 출력되도록 하는 것을 특징으로 하는 서버.
  32. 제1항, 제2항 또는 제4항 중 어느 한 항에 있어서,
    상기 이미지 매칭 연산은 상기 단말기에서 수행되거나 별도의 이미지 매칭 서버에서 수행되는 것을 특징으로 하는 방법.
  33. 제17항, 제18항, 제20항 중 어느 한 항에 있어서,
    상기 이미지 매칭 연산은 상기 단말기에서 수행되거나 별도의 이미지 매칭 서버에서 수행되는 것을 특징으로 하는 서버.
  34. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2012/004292 2012-05-31 2012-05-31 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체 WO2013180320A1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015508838A JP2015520889A (ja) 2012-05-31 2012-05-31 拡張現実サービスを提供するための方法、サーバ及びコンピュータ読み取り可能な記録媒体
CN201280072803.7A CN104508697A (zh) 2012-05-31 2012-05-31 用于提供增强现实服务的方法、服务器和计算机可读记录介质
PCT/KR2012/004292 WO2013180320A1 (ko) 2012-05-31 2012-05-31 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체
EP12878038.4A EP2858027A4 (en) 2012-05-31 2012-05-31 METHOD, SERVER AND COMPUTER READABLE RECORDING MEDIUM FOR PROVIDING AN AUGMENTED REALITY SERVICE
US13/976,251 US20130326018A1 (en) 2012-05-31 2012-05-31 Method for Providing Augmented Reality Service, Server and Computer-Readable Recording Medium
TW104131633A TWI564730B (zh) 2012-05-31 2013-05-27 提供擴增實境服務之方法、伺服器和電腦可讀取記錄媒體
TW102118659A TWI512487B (zh) 2012-05-31 2013-05-27 提供擴增實境服務之方法、伺服器和電腦可讀取記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2012/004292 WO2013180320A1 (ko) 2012-05-31 2012-05-31 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체

Publications (1)

Publication Number Publication Date
WO2013180320A1 true WO2013180320A1 (ko) 2013-12-05

Family

ID=49671668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004292 WO2013180320A1 (ko) 2012-05-31 2012-05-31 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체

Country Status (6)

Country Link
US (1) US20130326018A1 (ko)
EP (1) EP2858027A4 (ko)
JP (1) JP2015520889A (ko)
CN (1) CN104508697A (ko)
TW (2) TWI564730B (ko)
WO (1) WO2013180320A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140021231A (ko) * 2012-08-09 2014-02-20 한국전자통신연구원 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법
JP6446329B2 (ja) * 2015-06-03 2018-12-26 株式会社日立製作所 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
CN105069754B (zh) * 2015-08-05 2018-06-26 意科赛特数码科技(江苏)有限公司 基于在图像上无标记增强现实的系统和方法
US11151655B1 (en) 2015-12-11 2021-10-19 State Farm Mutual Automobile Insurance Company Structural characteristic extraction and claims processing using 3D images
CN105488825B (zh) * 2015-12-11 2018-06-26 重庆环漫科技有限公司 一种ar系统配置方法
CN105701863B (zh) * 2016-01-11 2018-08-21 华为技术有限公司 图像处理的方法和装置
CN106095881A (zh) * 2016-06-07 2016-11-09 惠州Tcl移动通信有限公司 一种显示照片相应信息的方法、系统及移动终端
CN106127166A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实ar图像处理方法、装置及智能终端
TWI611307B (zh) * 2016-08-24 2018-01-11 李雨暹 適地性空間物件資料建立方法、顯示方法與應用系統
CN107979572A (zh) * 2016-10-25 2018-05-01 鄂尔多斯市赛博购商贸有限公司 提供增强现实服务的方法及使用端
CN108280523A (zh) * 2018-03-20 2018-07-13 中国电子科技集团公司电子科学研究院 基于增强现实的设备检修与维护方法、装置及存储介质
DE102018109756A1 (de) * 2018-04-24 2019-10-24 Innogy Innovation Gmbh Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild
CN111385627B (zh) * 2018-12-29 2022-12-02 中兴通讯股份有限公司 一种增强现实设备及其控制方法、计算机可读存储介质
US11380070B2 (en) * 2019-10-30 2022-07-05 The Paddock LLC Real-time augmentation of a virtual object onto a real-world object
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法
TWI825654B (zh) * 2022-04-07 2023-12-11 華碩電腦股份有限公司 擴增實境之實現方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100000189A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 단말 및 그의 블로깅 방법
KR20110004940A (ko) * 2009-07-09 2011-01-17 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR20110012510A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20110046703A (ko) * 2009-10-29 2011-05-06 삼성에스디에스 주식회사 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법
KR20110105547A (ko) 2010-03-19 2011-09-27 현대중공업 주식회사 몰리브덴 코팅된 선박엔진 피스톤 스커트
KR20120003323A (ko) 2010-07-02 2012-01-10 엘지전자 주식회사 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
CN100547594C (zh) * 2007-06-27 2009-10-07 中国科学院遥感应用研究所 一种数字地球原型系统
CN101360119A (zh) * 2007-08-01 2009-02-04 马利 一种虚拟世界接入系统
CN101359432B (zh) * 2008-09-02 2011-01-19 浙江理工大学 交互式三维虚拟物流仿真集成方法及系统
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
CN106101115B (zh) * 2009-07-30 2019-09-20 Sk普兰尼特有限公司 用于提供增强现实的方法、服务器和便携终端
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
TWM419179U (en) * 2011-08-29 2011-12-21 Tpv Display Technology Xiamen Television device providing clothes try-on function based on augmented reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100000189A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 단말 및 그의 블로깅 방법
KR20110004940A (ko) * 2009-07-09 2011-01-17 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR20110012510A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20110046703A (ko) * 2009-10-29 2011-05-06 삼성에스디에스 주식회사 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법
KR20110105547A (ko) 2010-03-19 2011-09-27 현대중공업 주식회사 몰리브덴 코팅된 선박엔진 피스톤 스커트
KR20120003323A (ko) 2010-07-02 2012-01-10 엘지전자 주식회사 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2858027A4

Also Published As

Publication number Publication date
US20130326018A1 (en) 2013-12-05
TWI564730B (zh) 2017-01-01
CN104508697A (zh) 2015-04-08
EP2858027A4 (en) 2016-10-12
JP2015520889A (ja) 2015-07-23
TW201411365A (zh) 2014-03-16
TWI512487B (zh) 2015-12-11
TW201616370A (zh) 2016-05-01
EP2858027A1 (en) 2015-04-08

Similar Documents

Publication Publication Date Title
WO2013180320A1 (ko) 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체
WO2019164379A1 (en) Method and system for facial recognition
WO2013058584A1 (en) Method and apparatus for sharing contents between devices
WO2011139115A2 (ko) 증강 현실을 이용하여 인물의 정보에 접근하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
WO2011105671A1 (ko) 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법
KR101106630B1 (ko) 모바일 영상 감시 방법 및 시스템
WO2018084536A1 (ko) 타임 슬라이스 영상 제공 서버, 방법 및 사용자 단말
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2011078596A2 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
CN117453332A (zh) 一种信息获取方法、终端及计算机存储介质
WO2018105867A1 (en) Server for providing cloud service and operating method thereof
WO2019045128A1 (ko) 영상통화의 영상 품질 향상
CN109462829B (zh) 一种通话转移方法、设备及计算机可读存储介质
KR20090014465A (ko) 영상 통화중 객체 숨김 서비스 제공 방법 및 시스템
WO2015108243A1 (ko) 물체 인식을 이용한 콘텐츠 제공 시스템, 방법 및 그 응용
WO2021251761A1 (ko) 아바타 로봇을 이용한 비대면 범용원격플랫폼 제공 시스템
CN114996186A (zh) 扩展坞视频输出方法、装置、终端及计算机可读存储介质
WO2021226961A1 (zh) 应用程序安全检测方法、装置、存储介质及电子设备
CN110070569B (zh) 终端图像的配准方法、装置、移动终端及存储介质
KR101964661B1 (ko) 트래픽 감소를 위한 ｖｒ 영상의 공유 시스템
WO2022131576A1 (ko) 음성 호를 통한 인공지능 비서 서비스 제공 방법 및 장치
WO2017105056A1 (ko) 콘텐츠 중심 네트워크의 라우터, 그리고 이를 이용한 콘텐츠 전송 방법
CN115529375B (zh) 界面显示方法、装置和电子设备
JP2009164773A (ja) 画像処理システム、サーバ装置、および画像処理方法
WO2024106925A1 (ko) 증강 현실 기반의 통신 시스템 및 방법과 이를 수행하기 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13976251

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12878038

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508838

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012878038

Country of ref document: EP