WO2022102804A1 - Augmented reality-based object control method and provision device - Google Patents

Augmented reality-based object control method and provision device Download PDF

Info

Publication number
WO2022102804A1
WO2022102804A1 PCT/KR2020/015796 KR2020015796W WO2022102804A1 WO 2022102804 A1 WO2022102804 A1 WO 2022102804A1 KR 2020015796 W KR2020015796 W KR 2020015796W WO 2022102804 A1 WO2022102804 A1 WO 2022102804A1
Authority
WO
WIPO (PCT)
Prior art keywords
user terminal
augmented reality
image
control command
user
Prior art date
Application number
PCT/KR2020/015796
Other languages
French (fr)
Korean (ko)
Inventor
이동균
Original Assignee
엔티콘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔티콘 주식회사 filed Critical 엔티콘 주식회사
Priority to PCT/KR2020/015796 priority Critical patent/WO2022102804A1/en
Publication of WO2022102804A1 publication Critical patent/WO2022102804A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]

Definitions

  • the present invention relates to an augmented reality-based content providing method and apparatus, and more particularly, photographing an object through a user terminal, and an image of the photographed object corresponding to an AR (Augmented Reality) marker pre-stored in a server.
  • the server commands the user terminal to display the control command identifier in augmented reality, and the user terminal inputs the control command to the object through the control command identifier and transmits it to the server, the server sends a control command corresponding to the input of the user terminal It is related to the technology of instructing the thing to operate by sending it to the thing.
  • the present invention is to solve the problems of the prior art, and when a user shoots an object through a user terminal, and the image of the photographed object corresponds to an AR (Augmented Reality) marker pre-stored in the server, the server
  • the terminal commands the control command identifier to be displayed in augmented reality
  • the user terminal inputs the control command to the object through the control command identifier and transmits it to the server
  • the server transmits the control command corresponding to the input of the user terminal to the object.
  • the augmented reality-based content providing method performed by a server includes the steps of: (a) executing a camera shooting mode of a user terminal in which a specific program or application is installed to shoot an object located in front of the user; (b) receiving an image captured by the user terminal from the user terminal, and determining whether an image of an object in the received image corresponds to a pre-stored AR (Augmented Reality) marker image; (c) when the image of the object corresponds to the pre-stored AR (Augmented Reality) marker image, a command to display a preset control command identifier on the image received from the user terminal in augmented reality, the user terminal sending to; (d) when the user's input for the control command identifier is received from the user terminal, the user terminal transmits information about the user's input to the server, and the server sends the user's input to the thing and sending a control command corresponding to , so that the thing operates according to the control command.
  • the thing may be an electronic product capable of communicating with the server.
  • the server providing information about the mission to the user terminal may include
  • the information on the mission is to control the specific electronic product through the AR function of the user terminal, and may include identification information or location information of the specific electronic product and operation information of the electronic product.
  • control command identifier may be displayed overlapped with the AR in an area corresponding to the electronic product in the image on the screen of the user terminal.
  • control command identifier may be formed in the form of a content play button and displayed on the user terminal.
  • control command identifier may include being set to move together with an image corresponding to the electronic product in the image.
  • step (d) when the electronic product operates according to the control command, the server receives the operation information and determines that the mission is completed; may include.
  • the method may further include providing compensation information corresponding to the completion of the mission to the user terminal.
  • an apparatus for providing an augmented reality-based object control method comprising: a memory in which a program related to an augmented reality-based object control method is stored; and a processor executing the program; Including, wherein the processor executes a camera shooting mode of a user terminal in which a specific program or application is installed by executing the program to photograph an object located in front of the user, and displays an image captured through the user terminal to the user Received from the terminal, determine whether an image of an object in the received image corresponds to a pre-stored AR (Augmented Reality) marker image, and if the image for the object corresponds to the pre-stored AR (Augmented Reality) marker image, When a command for displaying a preset control command identifier in augmented reality on the image received from the user terminal is transmitted to the user terminal, and the user's input for the control command identifier is received from the user terminal, the user The terminal may transmit information about the user's input to the server, and the server may transmit a control
  • the present invention captures an object through the camera shooting mode of the user terminal and transmits it to the server, and the server provides a control command identifier that can control the augmented reality content with the user terminal when the received image and the pre-stored AR marker correspond can do. Through this, the user can control the operation of the object through the provided control command identifier.
  • FIG. 1 is a diagram illustrating a system configuration for an augmented reality-based object control method according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of a server according to an embodiment of the present invention.
  • FIG. 3 is a flowchart for controlling an electronic product in an augmented reality-based object control method according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram illustrating an operation of an electronic product corresponding to a control command identifier according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram of providing augmented reality by recognizing an object in an augmented reality-based object control method according to an embodiment of the present invention.
  • a "part” includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • ' ⁇ unit' is not limited to software or hardware, and ' ⁇ unit' may be configured to be in an addressable storage medium or to reproduce one or more processors. Accordingly, as an example, ' ⁇ ' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • components and ' ⁇ units' may be combined into a smaller number of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
  • the "user terminal” referred to below may be implemented as a computer or portable terminal that can access a server or other terminal through a network.
  • the computer is, for example, a laptop, desktop, laptop, VR HMD (eg, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.) equipped with a web browser (WEB Browser), etc.
  • VR HMD is for PC (eg, HTC VIVE, Oculus Rift, FOVE, Deepon, etc.), for mobile (eg, GearVR, DayDream, Storm Horse, Google Cardboard, etc.) Independently implemented Stand Alone models (eg Deepon, PICO, etc.) are included.
  • a portable terminal is, for example, a wireless communication device that guarantees portability and mobility, and includes not only a smart phone, a tablet PC, a wearable device, but also Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and ultrasound (Ultrasonic). , infrared, Wi-Fi, Li-Fi, etc. may include various devices equipped with a communication module.
  • the term "network” refers to a connection structure capable of exchanging information between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data networks, telephone networks, wired and wireless television networks, and the like.
  • wireless data communication networks examples include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, etc. include, but are not limited to.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • WIMAX World Interoperability for Microwave Access
  • Wi-Fi Bluetooth communication
  • infrared communication ultrasound Communication
  • VLC Visible Light Communication
  • LiFi etc.
  • electronic product refers to various products including electronic components that can communicate with the server.
  • the system 10 may include a server 100 , a user terminal 200 and an electronic product 300 , and the server 100 includes the user terminal 200 and the server ( 100 ) may be communicatively connected to the electronic product 300 through a wired/wireless network.
  • the server 100 receives an image captured through the camera shooting mode of the user terminal 200, and AR (Augmented AR) in which an image of the electronic product 300 in the received image is pre-stored. Reality) it is possible to determine whether it corresponds to the marker image 400 .
  • the server 100 is a preset control command identifier 500 on the image received from the user terminal 200 . transmits a command to be displayed in augmented reality to the user terminal 200, and the user terminal 200 can input a control command including the operation of the target electronic product 300 through the received control command identifier 500. there is.
  • the user terminal 200 When the user's input for the control command identifier 500 is received from the user terminal 200, the user terminal 200 transmits information about the user's input to the server 100, and the server 100 is an electronic product. By transmitting a control command corresponding to the user's input to 300 , the electronic product 300 may operate according to the control command.
  • FIG. 2 is a diagram showing the configuration of the server 100 according to an embodiment of the present invention.
  • the server 100 includes a communication module 110 , a memory 120 , and a processor 130 .
  • the communication module 110 provides a communication interface necessary to provide a transmission/reception signal between the server 100 and the user terminal 200 and the server 100 and the electronic product 300 in the form of packet data by interworking with the communication network. . Furthermore, the communication module 110 may serve to receive a data request from the terminals and transmit data in response thereto.
  • the communication module 110 may be a device including hardware and software necessary for transmitting and receiving signals such as control signals or data signals through wired/wireless connection with other network devices.
  • the memory 120 records a program for providing an augmented reality-based object control method.
  • the processor 130 performs a function of temporarily or permanently storing the processed data.
  • the memory 120 may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.
  • the processor 130 controls the entire process of providing an augmented reality-based object control method as a kind of central processing unit. Each step performed by the processor 130 will be described later with reference to FIG. 3 .
  • the processor 130 may include all kinds of devices capable of processing data, such as a processor.
  • the 'processor' may refer to, for example, a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as a code or command included in a program.
  • a microprocessor a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit
  • ASIC application-specific integrated
  • FPGA field programmable gate array
  • the server 100 may provide information about a mission to the user terminal 200 in advance.
  • the information about the mission is to control the specific electronic product 300 through the AR function of the user terminal 200 , and information on the identification information or location of the specific electronic product 300 and information on the electronic product 300 .
  • Operational information may be included.
  • the server 100 may receive an image of an object located in front of the user captured through the camera shooting mode of the user terminal 200 in which a specific program or a specific application is installed. (S710)
  • the object located in front of the user may be an electronic product 300 including a TV, DVD, console, AV device, and household appliances that can communicate with the server 100 , and a specific indoor and outdoor space or booklet image may include
  • the server 100 may determine whether the image of the object in the image received from the user terminal 200 corresponds to the pre-stored AR marker image 400 . (S720)
  • the server 100 determines a preset control command identifier on the image received from the user terminal 200. You can send commands to be displayed in augmented reality. (S730)
  • control command identifier may be displayed overlapped with AR in an area corresponding to the electronic product 300 in the image on the screen of the user terminal 200, and the control command identifier will be described later with reference to FIG. 4 . .
  • the server 100 receives the user's input through the user terminal 200 for the control command identifier.
  • the user terminal 200 receives the user's input information, it is possible to transmit a control command to the electronic product 300 in response to the received user's input information.
  • the electronic product 300 may operate according to the control command transmitted from the server 100 . (S750)
  • the server 100 may receive operation information from the electronic product 300 and determine that the mission has been completed.
  • compensation information corresponding to the completion of mission achievement may be provided to the user terminal 200 .
  • control command identifier 500 displayed on the screen of the user terminal 200 may be described.
  • the server 100 is the user terminal 200 and the control command identifier 500 shown in the drawing. ) may be transmitted to overlap the control command identifier 500 in the form of augmented reality on the image received from the user terminal 200 .
  • the control command identifier 500 may be formed in the shape of a content play button and displayed on the user terminal 200 .
  • control command identifier 500 may be expressed in various forms such as a circle or a triangle, and may also be expressed in a character form such as ON, OFF, and the like.
  • control command transmitted from the server 100 may indicate an on/off operation or may include volume control, channel change, external input, and additional function control commands.
  • a control command identifier may be provided to the user terminal.
  • the control command identifier may be in the form of a number plate for inputting a number, such as a door lock, or may come out in the form of drawing a pattern.
  • the server may transmit a control command such as opening or closing to the door lock, and the door lock may receive the control command from the server and operate it. In this way, home appliances including smart phones, TVs, and AV devices can be controlled.
  • the server 100 receives an image of an object located in front of the user photographed through the camera shooting mode of the user terminal 200 in which a specific program or a specific application is installed, and receives an image of an object in the image received from the user terminal 200 It is determined whether the image corresponds to the pre-stored AR marker image 400, but if it does, preset content may be displayed on the screen of the user terminal in augmented reality.
  • an AR marker image for a statue is stored in the server in advance, and the user shoots a statue located in front of the user and sends the image of the statue taken to the server, the server will It is determined whether it corresponds to the AR marker image for the stored statue, and if it is, AR content introducing the statue can be displayed on the screen of the user terminal.
  • An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module to be executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An augmented reality-based object control provision method according to the present invention may comprise the steps of: (a) executing a camera image-capturing mode of a user terminal having a specific program or application installed thereon, so as to capture an image of an object positioned in front of a user; (b) receiving, from the user terminal, an image captured through the user terminal, and determining whether an image of an object in the received image corresponds to a pre-stored augmented reality (AR) marker image; (c) when the image of the object corresponds to the pre-stored augmented reality marker image, transmitting, to the user terminal, a command to display, in augmented reality, a pre-configured control command identifier on the image received from the user terminal; and (d) when an input of the user of the control command identifier is received from the user terminal, transmitting information on the input of the user to the server by the user terminal, and transmitting a control command corresponding to the input of the user to the object by the server so that the object operates according to the control command.

Description

증강현실 기반의 사물제어 방법 및 제공장치Augmented reality-based object control method and providing device
본 발명은 증강현실 기반의 콘텐츠 제공 방법 및 제공 장치에 관한 것으로서, 보다 상세하게는, 사용자 단말을 통하여 사물을 촬영하고, 촬영된 사물의 이미지가 서버에 기 저장된 AR(Augmented Reality) 마커와 대응하는 경우, 서버는 사용자 단말로 제어명령 식별자를 증강현실로 표시 되도록 명령하고, 사용자 단말은 제어명령 식별자를 통하여 사물에 제어명령을 입력하여 서버로 전송하면, 서버는 사용자 단말의 입력에 대응하는 제어명령을 사물로 전송하여 사물이 동작하도록 명령하는 기술에 관한 것이다.The present invention relates to an augmented reality-based content providing method and apparatus, and more particularly, photographing an object through a user terminal, and an image of the photographed object corresponding to an AR (Augmented Reality) marker pre-stored in a server. In this case, the server commands the user terminal to display the control command identifier in augmented reality, and the user terminal inputs the control command to the object through the control command identifier and transmits it to the server, the server sends a control command corresponding to the input of the user terminal It is related to the technology of instructing the thing to operate by sending it to the thing.
삼성과 구글, 마이크로소프트, HP 등의 글로벌 ICT 기업들 또한 VR/AR 기술이 스마트폰의 뒤를 이을 미래 신산업으로 성장할 것으로 예상하고 기술 개발과 투자를 확대하며 시장 규모를 키워 가고 있다. 이와 같은 밝은전망 속에 조사기관별 차이는 있지만 2022년 글로벌 AR 분야의 시장 규모는 약 1,000억 달러에 도달할 것으로 예상되어 향후 산업·경제적 파급효과가 엄청날 것으로 전망된다.Global ICT companies such as Samsung, Google, Microsoft, and HP are also increasing the market size by expanding technology development and investment, expecting VR/AR technology to grow as a future new industry that will follow the smartphone. Although there are differences by research institute in such a bright outlook, the global AR market size is expected to reach about 100 billion dollars in 2022, and the industrial and economic ripple effect is expected to be huge in the future.
AR 시장은 꾸준하게 성장하고 있지만, 한편으로 고급 엔터테인먼트 가치에 편중되어 비즈니스 가치가 떨어지는 애플리케이션을 양산하는 한계와 초기의 높은 기대만큼의 성과는 거두지 못해 기술에 대한 거품론과 위기감 또한 등장하고 있다.The AR market is growing steadily, but on the other hand, there is a limit to mass-producing applications with low business value because it is concentrated on high-end entertainment value, and bubble theory and a sense of crisis about the technology are also emerging because it cannot achieve the results as high as initially expected.
최근 해외 글로벌 기업을 중심으로 사물인터넷 (Internet of Things: IoT)과 인공지능(Artificial Intelligence: AI) 등의 ICT 기술 융합을 통해 생산성 향상 및 비즈니스 가치를 높이기 위한 사례가 보고되고 있지만, 국내 상황은 아직 시작 단계에 불과해 이에 대한 대응이 요구되고 있으며, 시대의 요구를 반영하여 최근에는AR을 이용한 사물제어 기술에 대한 연구가 활발히 이루어 지고 있다.Recently, cases have been reported to improve productivity and increase business value through the convergence of ICT technologies such as the Internet of Things (IoT) and Artificial Intelligence (AI), centering on overseas global companies, but the domestic situation is still Since it is only the beginning stage, a response is required, and research on object control technology using AR is being actively conducted in recent years by reflecting the needs of the times.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자가 사용자 단말을 통하여 사물을 촬영하고, 촬영된 사물의 이미지가 서버에 기 저장된 AR(Augmented Reality)마커와 대응하는 경우, 서버는 사용자 단말로 제어명령 식별자를 증강현실로 표시 되도록 명령하고, 사용자 단말은 제어명령 식별자를 통하여 사물에 제어명령을 입력하여 서버로 전송하면, 서버는 사용자 단말의 입력에 대응하는 제어명령을 사물로 전송하여 사물이 동작하도록 명령하도록 하고자 한다.The present invention is to solve the problems of the prior art, and when a user shoots an object through a user terminal, and the image of the photographed object corresponds to an AR (Augmented Reality) marker pre-stored in the server, the server When the terminal commands the control command identifier to be displayed in augmented reality, the user terminal inputs the control command to the object through the control command identifier and transmits it to the server, the server transmits the control command corresponding to the input of the user terminal to the object. We want to command things to work.
서버에 의해 수행되는, 증강현실 기반의 콘텐츠 제공 방법은, (a) 특정 프로그램 또는 어플리케이션이 설치된 사용자 단말의 카메라 촬영모드를 실행하여 사용자의 전방에 위치한 사물을 촬영하는 단계; (b) 상기 사용자 단말을 통하여 촬상한 이미지를 상기 사용자 단말로부터 수신하고, 상기 수신한 이미지 내의 사물에 대한 이미지가 기 저장된 AR(Augmented Reality) 마커 이미지와 대응되는지 판단하는 단계; (c) 상기 사물에 대한 이미지가 상기 기 저장된 AR(Augmented Reality )마커 이미지와 대응되는 경우, 상기 사용자 단말로부터 수신한 이미지 상에 기 설정된 제어명령 식별자를 증강현실로 표시하도록 하는 명령을 상기 사용자 단말로 전송하는 단계; (d) 상기 사용자 단말로부터 상기 제어명령 식별자에 대한 상기 사용자의 입력이 수신되는 경우, 상기 사용자 단말은 상기 서버로 상기 사용자의 입력에 관한 정보를 전송하고, 상기 서버는 상기 사물로 상기 사용자의 입력에 대응하는 제어명령을 전송하여 상기 사물이 상기 제어명령에 따라 동작하도록 하는 단계;를 포함할 수 있다.The augmented reality-based content providing method performed by a server includes the steps of: (a) executing a camera shooting mode of a user terminal in which a specific program or application is installed to shoot an object located in front of the user; (b) receiving an image captured by the user terminal from the user terminal, and determining whether an image of an object in the received image corresponds to a pre-stored AR (Augmented Reality) marker image; (c) when the image of the object corresponds to the pre-stored AR (Augmented Reality) marker image, a command to display a preset control command identifier on the image received from the user terminal in augmented reality, the user terminal sending to; (d) when the user's input for the control command identifier is received from the user terminal, the user terminal transmits information about the user's input to the server, and the server sends the user's input to the thing and sending a control command corresponding to , so that the thing operates according to the control command.
또한, 상기 사물은 상기 서버와 통신을 수행할 수 있는 전자제품일 수 있다.Also, the thing may be an electronic product capable of communicating with the server.
또한, (a) 단계 이전에, 상기 서버는 상기 미션에 대한 정보를 상기 사용자 단말로 제공하는 단계; 를 포함할 수 있다.In addition, before step (a), the server providing information about the mission to the user terminal; may include
또한, 상기 미션에 대한 정보는 특정 상기 전자제품을 상기 사용자 단말의 AR기능을 통하여 제어하는 것으로, 특정 상기 전자제품의 식별정보나 위치에 관한 정보 및 상기 전자제품의 조작정보를 포함할 수 있다.In addition, the information on the mission is to control the specific electronic product through the AR function of the user terminal, and may include identification information or location information of the specific electronic product and operation information of the electronic product.
또한, 상기 (c) 단계에서, 상기 제어명령 식별자는 상기 사용자 단말의 화면 상에서 상기 이미지 내의 상기 전자제품과 대응하는 영역에 상기 AR로 오버랩 되어 표시될 수 있다.In addition, in step (c), the control command identifier may be displayed overlapped with the AR in an area corresponding to the electronic product in the image on the screen of the user terminal.
또한, 상기 제어명령이 상기 전자제품의 온/오프 동작을 나타내는 경우, 상기 제어명령 식별자는 콘텐츠 재생버튼 형태의 모양으로 형성되어 상기 사용자 단말에 표시될 수 있다.In addition, when the control command indicates an on/off operation of the electronic product, the control command identifier may be formed in the form of a content play button and displayed on the user terminal.
또한, 상기 제어명령 식별자는 상기 이미지 내의 전자제품과 대응하는 이미지와 함께 이동하도록 설정되는 것을 포함할 수 있다.In addition, the control command identifier may include being set to move together with an image corresponding to the electronic product in the image.
또한, 상기 (d) 단계 이후에, 상기 전자제품이 상기 제어명령에 따라 동작하는 경우, 상기 서버는 동작정보를 전송 받고, 미션이 완료된 것으로 판단하는 단계;를 포함할 수 있다.In addition, after step (d), when the electronic product operates according to the control command, the server receives the operation information and determines that the mission is completed; may include.
또한, 복수의 기 설정된 상기 미션이 완료된 것으로 판단되는 경우, 상기 미션 달성완료에 대응하는 보상정보를 상기 사용자 단말로 제공하는 단계;를 더 포함할 수 있다.In addition, when it is determined that the plurality of preset missions have been completed, the method may further include providing compensation information corresponding to the completion of the mission to the user terminal.
또한, 증강현실 기반의 사물제어 방법을 제공하는 제공장치에 있어서, 증강현실 기반의 사물제어 방법에 관한 프로그램이 저장 된 메모리; 및 상기 프로그램을 실행하는 프로세서; 를 포함하되, 상기 프로세서는, 상기 프로그램의 실행에 의해 특정 프로그램 또는 어플리케이션이 설치된 사용자 단말의 카메라 촬영모드를 실행하여 사용자의 전방에 위치한 사물을 촬영하고, 상기 사용자 단말을 통하여 촬상한 이미지를 상기 사용자 단말로부터 수신하여, 상기 수신 한 이미지 내의 사물에 대한 이미지가 기 저장된 AR(Augmented Reality) 마커 이미지와 대응되는지 판단하고 상기 사물에 대한 이미지가 상기 기 저장된 AR(Augmented Reality)마커 이미지와 대응되는 경우, 상기 사용자 단말로부터 수신한 이미지 상에 기 설정된 제어명령 식별자를 증강현실로 표시하도록 하는 명령을 상기 사용자 단말로 전송하되 상기 사용자 단말로부터 상기 제어명령 식별자에 대한 상기 사용자의 입력이 수신되는 경우, 상기 사용자 단말은 상기 서버로 상기 사용자의 입력에 관한 정보를 전송하고, 상기 서버는 전자제품으로 상기 사용자의 입력에 대응하는 제어명령을 전송하여 상기 전자제품이 상기 제어명령에 따라 동작하도록 명령을 제공할 수 있다.In addition, there is provided an apparatus for providing an augmented reality-based object control method, comprising: a memory in which a program related to an augmented reality-based object control method is stored; and a processor executing the program; Including, wherein the processor executes a camera shooting mode of a user terminal in which a specific program or application is installed by executing the program to photograph an object located in front of the user, and displays an image captured through the user terminal to the user Received from the terminal, determine whether an image of an object in the received image corresponds to a pre-stored AR (Augmented Reality) marker image, and if the image for the object corresponds to the pre-stored AR (Augmented Reality) marker image, When a command for displaying a preset control command identifier in augmented reality on the image received from the user terminal is transmitted to the user terminal, and the user's input for the control command identifier is received from the user terminal, the user The terminal may transmit information about the user's input to the server, and the server may transmit a control command corresponding to the user's input to the electronic product to provide a command so that the electronic product operates according to the control command there is.
본 발명은 사용자 단말의 카메라 촬영모드 통하여 사물을 촬영하여 서버에 전송하고, 서버는 전송 받은 이미지와 기 저장된 AR마커가 대응하는 경우, 사용자 단말로 증강현실 컨텐츠를 제어 할 수 있는 제어명령 식별자를 제공할 수 있다. 이를 통하여 사용자는 제공받은 제어명령 식별자를 통하여 사물의 동작을 제어할 수 있다.The present invention captures an object through the camera shooting mode of the user terminal and transmits it to the server, and the server provides a control command identifier that can control the augmented reality content with the user terminal when the received image and the pre-stored AR marker correspond can do. Through this, the user can control the operation of the object through the provided control command identifier.
도 1은 본 발명의 일 실시예에 따른, 본 발명의 일 실시예에 따른, 증강현실 기반의 사물제어 방법에 대한 시스템 구성을 나타낸 도면이다.1 is a diagram illustrating a system configuration for an augmented reality-based object control method according to an embodiment of the present invention.
도2는 본 발명의 일 실시예에 따른, 서버의 구성을 나타낸 도면이다.2 is a diagram showing the configuration of a server according to an embodiment of the present invention.
도3은 본 발명의 일 실시예에 따른, 증강현실 기반의 사물제어 방법에서 전자제품 제어에 대한 순서도이다.3 is a flowchart for controlling an electronic product in an augmented reality-based object control method according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른, 제어명령 식별자에 대응하는 전자제품의 동작을 나타내는 예시도이다.4 is an exemplary diagram illustrating an operation of an electronic product corresponding to a control command identifier according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른, 증강현실 기반의 사물제어 방법에서 사물을 인식하여 증강현실을 제공하는 예시도이다.5 is an exemplary diagram of providing augmented reality by recognizing an object in an augmented reality-based object control method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware. Meanwhile, '~ unit' is not limited to software or hardware, and '~ unit' may be configured to be in an addressable storage medium or to reproduce one or more processors. Accordingly, as an example, '~' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
이하에서 언급되는 "사용자 단말" 은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.The "user terminal" referred to below may be implemented as a computer or portable terminal that can access a server or other terminal through a network. Here, the computer is, for example, a laptop, desktop, laptop, VR HMD (eg, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.) equipped with a web browser (WEB Browser), etc. may include Here, VR HMD is for PC (eg, HTC VIVE, Oculus Rift, FOVE, Deepon, etc.), for mobile (eg, GearVR, DayDream, Storm Horse, Google Cardboard, etc.) Independently implemented Stand Alone models (eg Deepon, PICO, etc.) are included. A portable terminal is, for example, a wireless communication device that guarantees portability and mobility, and includes not only a smart phone, a tablet PC, a wearable device, but also Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and ultrasound (Ultrasonic). , infrared, Wi-Fi, Li-Fi, etc. may include various devices equipped with a communication module. In addition, the term "network" refers to a connection structure capable of exchanging information between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data networks, telephone networks, wired and wireless television networks, and the like. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, etc. include, but are not limited to.
이하에서 “전자제품”이란 서버와 통신을 수행할 수 있는 전자부품을 포함하는 다양한 물건을 의미한다.Hereinafter, the term “electronic product” refers to various products including electronic components that can communicate with the server.
이하 도 1을 참조하여, 본 발명의 일 실시예에 따른, 증강현실 기반의 콘텐츠 제공방법의 시스템 구성에 대하여 개괄적으로 설명하면 아래와 같다.Hereinafter, with reference to FIG. 1, the system configuration of the augmented reality-based content providing method according to an embodiment of the present invention will be described in general as follows.
본 발명의 일 실시예에 따르는, 시스템(10)은, 서버(100), 사용자 단말(200) 및 전자제품(300)을 포함할 수 있으며, 서버(100)는 사용자 단말(200) 및 서버(100)는 전자제품(300)과 유/무선 네트워크를 통해 통신 연결될 수 있다.According to an embodiment of the present invention, the system 10 may include a server 100 , a user terminal 200 and an electronic product 300 , and the server 100 includes the user terminal 200 and the server ( 100 ) may be communicatively connected to the electronic product 300 through a wired/wireless network.
본 발명의 일 실시예에 따르는, 서버(100)는 사용자 단말(200)의 카메라 촬영모드를 통하여 촬상된 이미지를 수신하고, 수신된 이미지 내의 전자제품(300)에 대한 이미지가 기 저장된 AR(Augmented Reality) 마커 이미지(400) 와 대응하는지 판단할 수 있다.According to an embodiment of the present invention, the server 100 receives an image captured through the camera shooting mode of the user terminal 200, and AR (Augmented AR) in which an image of the electronic product 300 in the received image is pre-stored. Reality) it is possible to determine whether it corresponds to the marker image 400 .
전자제품(300)에 대한 이미지가 기 저장된 AR(Augmented Reality) 마커 이미지(400) 와 대응하는 경우, 서버(100)는 사용자 단말(200)로부터 수신한 이미지 상에 기 설정된 제어명령 식별자(500)를 증강현실로 표시되도록 하는 명령을 사용자 단말(200)로 전송하고, 사용자 단말(200)은 전송 받은 제어명령 식별자(500)를 통하여 대상 전자제품(300)의 동작을 포함한 제어 명령을 입력 할 수 있다.When the image of the electronic product 300 corresponds to the pre-stored Augmented Reality (AR) marker image 400 , the server 100 is a preset control command identifier 500 on the image received from the user terminal 200 . transmits a command to be displayed in augmented reality to the user terminal 200, and the user terminal 200 can input a control command including the operation of the target electronic product 300 through the received control command identifier 500. there is.
사용자 단말(200)로부터 제어명령 식별자(500)에 대한 사용자의 입력이 수신되는 경우, 사용자 단말(200)은 서버(100)로 사용자의 입력에 대한 정보를 전송하고, 서버(100)는 전자제품(300)으로 사용자의 입력에 대응하는 제어명령을 전송하여 전자제품(300)이 제어명령에 따라 동작하도록 할 수 있다. When the user's input for the control command identifier 500 is received from the user terminal 200, the user terminal 200 transmits information about the user's input to the server 100, and the server 100 is an electronic product. By transmitting a control command corresponding to the user's input to 300 , the electronic product 300 may operate according to the control command.
도 2는 본 발명의 일 실시예에 따른, 서버(100)의 구성을 나타낸 도면이다.2 is a diagram showing the configuration of the server 100 according to an embodiment of the present invention.
도 2를 참조하면, 서버(100)는 통신 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.Referring to FIG. 2 , the server 100 includes a communication module 110 , a memory 120 , and a processor 130 .
상세히, 통신 모듈(110)은 통신망과 연동하여 서버(100)와 사용자 단말(200) 및 서버(100)와 전자제품(300)간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 단말들로부터 데이터 요청을 수신하고, 이에 대한 응답으로 서 데이터를 송신하는 역할을 수행할 수 있다.In detail, the communication module 110 provides a communication interface necessary to provide a transmission/reception signal between the server 100 and the user terminal 200 and the server 100 and the electronic product 300 in the form of packet data by interworking with the communication network. . Furthermore, the communication module 110 may serve to receive a data request from the terminals and transmit data in response thereto.
여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.Here, the communication module 110 may be a device including hardware and software necessary for transmitting and receiving signals such as control signals or data signals through wired/wireless connection with other network devices.
메모리(120)는 증강현실 기반의 사물제어 방법 제공을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 120 records a program for providing an augmented reality-based object control method. In addition, the processor 130 performs a function of temporarily or permanently storing the processed data. Here, the memory 120 may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.
프로세서(130)는 일종의 중앙처리장치로서 증강현실 기반의 사물제어 방법을 제공하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 3을 참조하여 후술하기로 한다.The processor 130 controls the entire process of providing an augmented reality-based object control method as a kind of central processing unit. Each step performed by the processor 130 will be described later with reference to FIG. 3 .
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the processor 130 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to, for example, a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as a code or command included in a program. As an example of the data processing apparatus embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit) and a processing device such as a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.
이하, 도 3을 참조하여, 본 발명의 일 실시예에 따르는, 증강현실 기반의 콘텐츠 제공 방법에 대해 구체적으로 설명한다.Hereinafter, an augmented reality-based content providing method according to an embodiment of the present invention will be described in detail with reference to FIG. 3 .
도3을 참조하여 본 발명의 일 실시예에 따른, 증강현실 기반의 컨텐츠 제공 방법에서 전자제품 제어에 대한 순서를 설명할 수 있다. With reference to FIG. 3 , a procedure for controlling electronic products in the augmented reality-based content providing method according to an embodiment of the present invention may be described.
본 발명의 일 실시예에 따르는, 서버(100)에 의해 수행되는 증강현실 기반의 콘텐츠 제공 방법은, 우선, 서버(100)는 미션에 대한 정보를 미리 사용자 단말(200)로 제공할 수 있다. 이 때, 미션에 대한 정보는 특정 전자제품(300)을 사용자 단말(200)의 AR 기능을 통하여 제어하는 것으로, 특정 전자제품(300)의 식별정보나 위치에 대한 정보 및 전자제품(300)의 조작 정보를 포함 할 수 있다. In the augmented reality-based content providing method performed by the server 100 according to an embodiment of the present invention, first, the server 100 may provide information about a mission to the user terminal 200 in advance. At this time, the information about the mission is to control the specific electronic product 300 through the AR function of the user terminal 200 , and information on the identification information or location of the specific electronic product 300 and information on the electronic product 300 . Operational information may be included.
서버(100) 는 특정 프로그램 또는 특정 어플리케이션이 설치 된 사용자 단말(200)의 카메라 촬영 모드를 통하여 촬영한 사용자 전방에 위치한 사물의 이미지를 수신 할 수 있다. (S710)The server 100 may receive an image of an object located in front of the user captured through the camera shooting mode of the user terminal 200 in which a specific program or a specific application is installed. (S710)
이 때, 사용자 전방에 위치한 사물은 서버(100)와 통신을 수행할 수 있는 TV, DVD, 콘솔, AV기기 및 생활 가전을 포함한 전자제품(300)일 수도 있고, 특정 실내 및 야외 공간 또는 책자 이미지를 포함 할 수 있다.In this case, the object located in front of the user may be an electronic product 300 including a TV, DVD, console, AV device, and household appliances that can communicate with the server 100 , and a specific indoor and outdoor space or booklet image may include
서버(100)는 사용자 단말(200)로부터 수신된 이미지 내의 사물에 대한 이미지가 기 저장된 AR마커 이미지 (400) 에 대응하는지 판단할 수 있다. (S720)The server 100 may determine whether the image of the object in the image received from the user terminal 200 corresponds to the pre-stored AR marker image 400 . (S720)
서버(100)는 사용자 단말(200)로부터 수신된 이미지 내의 사물에 대한 이미지가 기 저장된 AR마커 이미지 (400) 에 대응되는 경우, 사용자 단말(200)에서 수신된 이미지 상에 기 설정된 제어명령 식별자를 증강현실로 표시되도록 명령을 전송 할 수 있다. (S730)When the image of the object in the image received from the user terminal 200 corresponds to the AR marker image 400 stored in advance, the server 100 determines a preset control command identifier on the image received from the user terminal 200. You can send commands to be displayed in augmented reality. (S730)
이 때, 제어명령 식별자는 사용자 단말(200)의 화면 상에서 이미지 내의 전자제품(300)과 대응하는 영역에 AR로 오버랩 되어 표시될 수 있으며, 제어명령 식별자에 대해서는 도 4을 참조하여 후술하기로 한다.At this time, the control command identifier may be displayed overlapped with AR in an area corresponding to the electronic product 300 in the image on the screen of the user terminal 200, and the control command identifier will be described later with reference to FIG. 4 . .
사용자 단말(200)로부터 수신된 이미지 내의 사물이 서버(100)와 통신이 가능한 전자제품(300)인 경우, 서버(100)는 제어명령 식별자에 대한 사용자 단말(200)을 통한 사용자의 입력이 수신되면, 사용자 단말(200)로부터 사용자의 입력정보를 전송 받고, 전송 받은 사용자의 입력정보에 대응하여 전자제품(300)에 제어명령을 전송 할 수 있다. (S740)When the object in the image received from the user terminal 200 is an electronic product 300 capable of communicating with the server 100, the server 100 receives the user's input through the user terminal 200 for the control command identifier. When the user terminal 200 receives the user's input information, it is possible to transmit a control command to the electronic product 300 in response to the received user's input information. (S740)
서버(100)로부터 전송된 제어명령에 따라 전자제품(300)이 동작할 수 있다. (S750)The electronic product 300 may operate according to the control command transmitted from the server 100 . (S750)
이 때, 전자제품(300)이 서버(100)로부터 전송된 제어명령에 따라 동작하는 경우, 서버(100)는 전자제품(300)으로부터 동작 정보를 전송 받고, 미션이 완료된 것으로 판단 할 수 있다. 또한, 복수의 기 설정된 미션이 완료된 것으로 판단되는 경우, 미션 달성완료에 대응하는 보상정보를 사용자 단말(200)로 제공할 수 있다. At this time, when the electronic product 300 operates according to the control command transmitted from the server 100 , the server 100 may receive operation information from the electronic product 300 and determine that the mission has been completed. In addition, when it is determined that a plurality of preset missions have been completed, compensation information corresponding to the completion of mission achievement may be provided to the user terminal 200 .
이하 도 4를 참조하여, 사용자 단말(200)의 화면 상에서 표시되는 제어명령 식별자(500)에 대하여 설명할 수 있다.Hereinafter, with reference to FIG. 4 , the control command identifier 500 displayed on the screen of the user terminal 200 may be described.
사용자 단말(200)의 카메라 촬영모드를 통하여 전방의 전자제품(300)을 촬영하고, 서버(100)로 전송하면, 서버(100)는 사용자 단말(200)로 도면에 도시된 제어명령 식별자(500)를 사용자 단말(200)로부터 수신된 이미지 위에 증강현실 형태의 제어명령 식별자(500)를 오버랩 되도록 명령을 전송 할 수 있다. When the electronic product 300 in front is photographed through the camera shooting mode of the user terminal 200 and transmitted to the server 100 , the server 100 is the user terminal 200 and the control command identifier 500 shown in the drawing. ) may be transmitted to overlap the control command identifier 500 in the form of augmented reality on the image received from the user terminal 200 .
이 때, 오버랩 된 제어명령이 전자제품(300)의 온/오프 동작을 나타내는 경우, 제어명령 식별자(500)는 콘텐츠 재생 버튼 형태의 모양으로 형성되어 사용자 단말(200)에 표시 될 수 있다.At this time, when the overlapped control command indicates the on/off operation of the electronic product 300 , the control command identifier 500 may be formed in the shape of a content play button and displayed on the user terminal 200 .
추가 실시예로. 제어명령 식별자(500)의 형태는 원형 또는 삼각형 등의 여러 형태로도 나타낼 수 있으며, ON, OFF, 등과 같은 문자 형태로도 표시 될 수 있다.as a further example. The shape of the control command identifier 500 may be expressed in various forms such as a circle or a triangle, and may also be expressed in a character form such as ON, OFF, and the like.
또한, 서버(100)로부터 전송된 제어명령은 온/오프 동작을 나타낼 수도 있고 또는 음량조절, 채널변경, 외부입력 및 부가적인 기능 제어명령을 포함 할 수 있다.In addition, the control command transmitted from the server 100 may indicate an on/off operation or may include volume control, channel change, external input, and additional function control commands.
예를 들어, 본 발명을 통하여 도어락을 제어하는 경우를 설명할 수 있다. 사용자 단말의 카메라 촬영모드를 이용하여 도어락을 촬영하고, 촬영된 이미지와 도어락의 AR 이미지와 대응하는 경우, 제어명령 식별자가 사용자 단말로 제공 될 수 있다. 이 때 제어명령 식별자는 도어락과 같이 번호를 입력하는 번호판 형태가 될 수 있고, 패턴을 그리는 형식으로 나올 수도 있다. 제공된 제어명령 식별자를 통하여 사용자의 입력이 수신되면, 서버는 도어락으로 열림, 닫힘등의 제어명령을 전송 할 수 있고, 도어락은 서버의 제어명령을 전송받아 이를 동작할 수 있다. 이와 같은 방법을 통하여, 스마트폰, TV, AV 기기를 포함한 가전 전자제품들을 제어할 수 있다.For example, the case of controlling a door lock through the present invention can be described. When the door lock is photographed using the camera photographing mode of the user terminal, and the captured image and the AR image of the door lock correspond, a control command identifier may be provided to the user terminal. In this case, the control command identifier may be in the form of a number plate for inputting a number, such as a door lock, or may come out in the form of drawing a pattern. When a user input is received through the provided control command identifier, the server may transmit a control command such as opening or closing to the door lock, and the door lock may receive the control command from the server and operate it. In this way, home appliances including smart phones, TVs, and AV devices can be controlled.
이하, 도 5를 참조하여, 본 발명의 일 실시예로서 사용자 전방에 위치한 사물이 통신을 수행하는 전자제품이 아닌 특정 실내 및 야외의 공간인 경우에 대하여 자세히 설명할 수 있다.Hereinafter, with reference to FIG. 5 , as an embodiment of the present invention, a case in which an object located in front of the user is not an electronic product performing communication but a specific indoor and outdoor space may be described in detail.
서버(100) 는 특정 프로그램 또는 특정 어플리케이션이 설치 된 사용자 단말(200)의 카메라 촬영 모드를 통하여 촬영한 사용자 전방에 위치한 사물의 이미지를 수신하고, 사용자 단말(200)로부터 수신된 이미지 내의 사물에 대한 이미지가 기 저장된 AR마커 이미지 (400) 에 대응하는지 판단하되, 대응하는 경우 사용자 단말의 화면상에 기 설정된 콘텐츠가 증강현실로 표시 될 수 있다. The server 100 receives an image of an object located in front of the user photographed through the camera shooting mode of the user terminal 200 in which a specific program or a specific application is installed, and receives an image of an object in the image received from the user terminal 200 It is determined whether the image corresponds to the pre-stored AR marker image 400, but if it does, preset content may be displayed on the screen of the user terminal in augmented reality.
예를 들어, 우선 서버에 동상에 대한 AR 마커 이미지가 미리 저장되어 있고 사용자가 사용자의 전방에 위치한 동상을 촬영하여 서버로 촬영된 동상의 이미지를 전송하는 경우, 서버는 수신된 동상의 이미지가 기 저장된 동상에 대한 AR 마커 이미지와 대응하는지 판단하고, 대응하는 경우 사용자 단말의 화면상에 동상에 대한 소개를 하는 AR 콘텐츠를 표시할 수 있다.For example, if an AR marker image for a statue is stored in the server in advance, and the user shoots a statue located in front of the user and sends the image of the statue taken to the server, the server will It is determined whether it corresponds to the AR marker image for the stored statue, and if it is, AR content introducing the statue can be displayed on the screen of the user terminal.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module to be executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described with reference to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

Claims (10)

  1. 서버에 의해 수행되는, 증강현실 기반의 사물제어 제공 방법은,A method of providing object control based on augmented reality, performed by a server,
    (a) 특정 프로그램 또는 어플리케이션이 설치된 사용자 단말의 카메라 촬영모드를 실행하여 사용자의 전방에 위치한 사물을 촬영하는 단계;(a) executing a camera shooting mode of a user terminal in which a specific program or application is installed to photograph an object located in front of the user;
    (b) 상기 사용자 단말을 통하여 촬상한 이미지를 상기 사용자 단말로부터 수신하고, 상기 수신한 이미지 내의 사물에 대한 이미지가 기 저장된 AR(Augmented Reality) 마커 이미지와 대응되는지 판단하는 단계;(b) receiving an image captured by the user terminal from the user terminal, and determining whether an image of an object in the received image corresponds to a pre-stored AR (Augmented Reality) marker image;
    (c) 상기 사물에 대한 이미지가 상기 기 저장된 AR(Augmented Reality )마커 이미지와 대응되는 경우, 상기 사용자 단말로부터 수신한 이미지 상에 기 설정된 제어명령 식별자를 증강현실로 표시하도록 하는 명령을 상기 사용자 단말로 전송하는 단계;(c) when the image of the object corresponds to the pre-stored AR (Augmented Reality) marker image, a command to display a preset control command identifier on the image received from the user terminal in augmented reality, the user terminal sending to;
    (d) 상기 사용자 단말로부터 상기 제어명령 식별자에 대한 상기 사용자의 입력이 수신되는 경우, 상기 사용자 단말은 상기 서버로 상기 사용자의 입력에 관한 정보를 전송하고, 상기 서버는 상기 사물로 상기 사용자의 입력에 대응하는 제어명령을 전송하여 상기 사물이 상기 제어명령에 따라 동작하도록 하는 단계; 를 포함하는,(d) when the user's input for the control command identifier is received from the user terminal, the user terminal transmits information about the user's input to the server, and the server sends the user's input to the thing transmitting a control command corresponding to , so that the thing operates according to the control command; containing,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  2. 제 1항에 있어서, The method of claim 1,
    상기 사물은 상기 서버와 통신을 수행할 수 있는 전자제품인 것인, The thing is an electronic product that can communicate with the server,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  3. 제 1항에 있어서,The method of claim 1,
    (a) 단계 이전에,(a) prior to step,
    상기 서버는 상기 미션에 대한 정보를 상기 사용자 단말로 제공하는 단계; 를 포함하는 것인,providing, by the server, information about the mission to the user terminal; which includes,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  4. 제 3항에 있어서,4. The method of claim 3,
    상기 미션에 대한 정보는 특정 상기 전자제품을 상기 사용자 단말의 AR기능을 통하여 제어하는 것으로, 특정 상기 전자제품의 식별정보나 위치에 관한 정보 및 상기 전자제품의 조작정보를 포함하는 것인,The information on the mission is to control the specific electronic product through the AR function of the user terminal, and includes identification information or location information of the specific electronic product and operation information of the electronic product,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  5. 제 1항에 있어서,The method of claim 1,
    상기 (c) 단계에서,In step (c),
    상기 제어명령 식별자는 상기 사용자 단말의 화면 상에서 상기 이미지 내의 상기 전자제품과 대응하는 영역에 상기 AR로 오버랩 되어 표시되는 것인,The control command identifier is displayed on the screen of the user terminal overlapped with the AR in an area corresponding to the electronic product in the image,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  6. 제 5항에 있어서,6. The method of claim 5,
    상기 제어명령이 상기 전자제품의 온/오프 동작을 나타내는 경우, 상기 제어명령 식별자는 콘텐츠 재생버튼 형태의 모양으로 형성되어 상기 사용자 단말에 표시되는 것인,When the control command indicates an on/off operation of the electronic product, the control command identifier is formed in the shape of a content play button and displayed on the user terminal,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  7. 제 5항에 있어서,6. The method of claim 5,
    상기 제어명령 식별자는 상기 이미지 내의 전자제품과 대응하는 이미지와 함께 이동하도록 설정되는 것을 포함하는 것인,wherein the control command identifier is set to move with an image corresponding to an electronic product in the image,
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  8. 제 1항에 있어서,The method of claim 1,
    상기 (d) 단계 이후에,After step (d),
    상기 전자제품이 상기 제어명령에 따라 동작하는 경우, 상기 서버는 동작정보를 전송 받고, 미션이 완료된 것으로 판단하는 단계;를 포함하는 것인When the electronic product operates according to the control command, the server receives the operation information and determines that the mission is completed;
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  9. 제 8항에 있어서,9. The method of claim 8,
    복수의 기 설정된 상기 미션이 완료된 것으로 판단되는 경우, 상기 미션 달성완료에 대응하는 보상정보를 상기 사용자 단말로 제공하는 단계;를 더 포함하는 것인,When it is determined that the plurality of preset missions have been completed, providing compensation information corresponding to the completion of the mission achievement to the user terminal; further comprising:
    증강현실 기반의 사물제어 제공 방법.A method of providing object control based on augmented reality.
  10. 증강현실 기반의 사물제어를 제공하는 장치에 있어서,In an apparatus for providing an augmented reality-based object control,
    증강현실 기반의 사물제어 방법에 관한 프로그램이 저장 된 메모리; 및a memory in which a program related to an augmented reality-based object control method is stored; and
    상기 프로그램을 실행하는 프로세서; 를 포함하되,a processor executing the program; including,
    상기 프로세서는, 상기 프로그램의 실행에 의해The processor by the execution of the program
    특정 프로그램 또는 어플리케이션이 설치된 사용자 단말의 카메라 촬영모드를 실행하여 사용자의 전방에 위치한 사물을 촬영하고, 상기 사용자 단말을 통하여 촬상한 이미지를 상기 사용자 단말로부터 수신하여, 상기 수신 한 이미지 내의 사물에 대한 이미지가 기 저장된 AR(Augmented Reality) 마커 이미지와 대응되는지 판단하고 상기 사물에 대한 이미지가 상기 기 저장된 AR(Augmented Reality)마커 이미지와 대응되는 경우, 상기 사용자 단말로부터 수신한 이미지 상에 기 설정된 제어명령 식별자를 증강현실로 표시하도록 하는 명령을 상기 사용자 단말로 전송하되 상기 사용자 단말로부터 상기 제어명령 식별자에 대한 상기 사용자의 입력이 수신되는 경우, 상기 사용자 단말은 상기 서버로 상기 사용자의 입력에 관한 정보를 전송하고, 상기 서버는 전자제품으로 상기 사용자의 입력에 대응하는 제어명령을 전송하여 상기 전자제품이 상기 제어명령에 따라 동작하도록 명령을 제공하는, 증강현실 기반의 사물제어를 제공하는 장치.Execute the camera shooting mode of the user terminal in which a specific program or application is installed to photograph an object located in front of the user, receive an image captured through the user terminal from the user terminal, and receive an image of an object in the received image Determines whether or not corresponds to a pre-stored AR (Augmented Reality) marker image, and when the image of the object corresponds to the pre-stored AR (Augmented Reality) marker image, a preset control command identifier on the image received from the user terminal transmits a command to display in augmented reality to the user terminal, but when the user's input for the control command identifier is received from the user terminal, the user terminal transmits information about the user's input to the server and, the server transmits a control command corresponding to the user's input to the electronic product, and provides a command so that the electronic product operates according to the control command.
PCT/KR2020/015796 2020-11-11 2020-11-11 Augmented reality-based object control method and provision device WO2022102804A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/015796 WO2022102804A1 (en) 2020-11-11 2020-11-11 Augmented reality-based object control method and provision device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/015796 WO2022102804A1 (en) 2020-11-11 2020-11-11 Augmented reality-based object control method and provision device

Publications (1)

Publication Number Publication Date
WO2022102804A1 true WO2022102804A1 (en) 2022-05-19

Family

ID=81601367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015796 WO2022102804A1 (en) 2020-11-11 2020-11-11 Augmented reality-based object control method and provision device

Country Status (1)

Country Link
WO (1) WO2022102804A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110117492A (en) * 2010-04-21 2011-10-27 엘지전자 주식회사 Augmented remote controller and method of operating the same
KR20130134273A (en) * 2012-05-30 2013-12-10 주식회사 라임페이퍼 System for supplying virtual menu conneted with object and method thereof
KR20160022856A (en) * 2016-02-17 2016-03-02 엘지전자 주식회사 remote controller for a robot cleaner and a control method of the same
KR20170074555A (en) * 2015-12-22 2017-06-30 이형종 Integrated input and control system using argument reality
KR20200124792A (en) * 2019-04-24 2020-11-04 서정호 System for experiential learning of cultural assets and the method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110117492A (en) * 2010-04-21 2011-10-27 엘지전자 주식회사 Augmented remote controller and method of operating the same
KR20130134273A (en) * 2012-05-30 2013-12-10 주식회사 라임페이퍼 System for supplying virtual menu conneted with object and method thereof
KR20170074555A (en) * 2015-12-22 2017-06-30 이형종 Integrated input and control system using argument reality
KR20160022856A (en) * 2016-02-17 2016-03-02 엘지전자 주식회사 remote controller for a robot cleaner and a control method of the same
KR20200124792A (en) * 2019-04-24 2020-11-04 서정호 System for experiential learning of cultural assets and the method thereof

Similar Documents

Publication Publication Date Title
WO2019221451A1 (en) Method and an electronic device connecting plurality of electronic devices to server through hub
WO2017086599A1 (en) Wireless communication method using near field communication, and electronic device
WO2015126224A1 (en) Method of providing preview image regarding display setting for device
US20180063361A1 (en) Electronic device and method of providing image acquired by image sensor to application
TWI766319B (en) Dual-network dual-system mobile device
WO2015122616A1 (en) Photographing method of an electronic device and the electronic device thereof
WO2015034253A1 (en) Method of controlling short-range wireless communication and apparatus supporting the same
WO2013042815A1 (en) Method of controlling an android platform-based application execution terminal using a smart terminal and computer-readable medium having a computer program for controlling the android platform-based application execution terminal using the smart terminal recorded thereon
CN105578398A (en) Terminal, and Bluetooth connection method
CN113438747A (en) Processing method, processing apparatus, and storage medium
EP3042528A1 (en) Method of controlling short-range wireless communication and apparatus supporting the same
CN117093165A (en) Equipment control method and terminal equipment
CN114116571B (en) Bridging platform for mobile device
WO2022102804A1 (en) Augmented reality-based object control method and provision device
CN112351507A (en) Interaction control method, interaction control device, electronic equipment and readable storage medium
CN115617293A (en) Data processing method, source end screen projection equipment and storage medium
CN105786169A (en) Method and electronic apparatus for enabling two or more electronic devices to perform cooperative operations
WO2018066902A1 (en) Consistent spherical photo and video orientation correction
KR20220064141A (en) Method and device for object control to based on augmented reality
KR102167646B1 (en) Electronic device and method for providing frame information
WO2023096010A1 (en) System and method for selecting 5g n3iwf server based on context-aware selection criteria
WO2023054991A1 (en) Electronic device for controlling at least one input device and control method thereof
WO2022035010A1 (en) Real-time lightweight nat keep-alive interval optimization for multi-sim mobile devices
KR20150131519A (en) Method and Apparatus for Communicating Between Local Networks
WO2023163407A1 (en) Wireless communication method in wireless network and electronic device for performing same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20961674

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20961674

Country of ref document: EP

Kind code of ref document: A1