WO2011105671A1 - System and method for providing a user manual using augmented reality - Google Patents

System and method for providing a user manual using augmented reality Download PDF

Info

Publication number
WO2011105671A1
WO2011105671A1 PCT/KR2010/006084 KR2010006084W WO2011105671A1 WO 2011105671 A1 WO2011105671 A1 WO 2011105671A1 KR 2010006084 W KR2010006084 W KR 2010006084W WO 2011105671 A1 WO2011105671 A1 WO 2011105671A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
product
manual
user
terminal
Prior art date
Application number
PCT/KR2010/006084
Other languages
French (fr)
Korean (ko)
Inventor
김신덕
홍충표
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2011105671A1 publication Critical patent/WO2011105671A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00236—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server using an image reading or reproducing device, e.g. a facsimile reader or printer, as a local input to or local output from a computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Definitions

  • the present invention relates to a system and method for providing a user's manual, and more specifically, to a system and method for providing a user's manual using an augmented reality.
  • Augmented reality refers to a technique of superimposing a virtual object on an object existing in the real world. That is, the augmented reality combines the real world that the user sees with the virtual world with the additional information and displays it as one image.
  • Augmented reality is implemented using computer graphics.
  • Computer graphics serve to provide additional information for the real world. Additional information may be provided by overlapping a three-dimensional virtual image with a real image viewed by a user using a computer graphic.
  • Virtual reality technology has the disadvantage that it can not see the real environment by engaging the user in the virtual environment.
  • augmented reality technology provides better realism because users can see the actual environment.
  • the present invention provides a user guide providing system including a camera built-in terminal for acquiring product identification information using a camera and providing instructions to a user through an augmented reality technique; And a guide providing server for transmitting the instruction of the product corresponding to the product identification information to the camera built-in terminal through a wireless communication network.
  • the camera-embedded terminal may include an image input module for acquiring a product image; A product contour detection module for generating a three-dimensional contour by referring to the product image; A product identification information generation module for receiving the RFID tag information or the product code; And a product identification information transmission module for transmitting the output of the product outline detection module or the product identification information generation module to the manual providing server.
  • the camera built-in terminal may include a context-specific request module for requesting a context-specific manual to the manual providing server according to a user's selection; A situation-specific instruction receiving module for receiving the situation-specific instruction from the instruction providing server; And a documentation database for storing the received context-specific instructions.
  • the camera built-in terminal includes a context-based interpretation module for interpreting situation-specific instructions received from the document providing server; An augmented reality synthesis module for providing an augmented reality video signal to a user in response to an output of the situation-specific interpretation module; And a voice information providing module for providing a voice signal to the user in response to the output of the context-specific interpretation module.
  • the augmented reality synthesis module may further include an azimuth angle generation module for detecting the position information of the photographer, and the augmented reality synthesis module refers to the output of the situation interpretation module and the position information of the photographer, Lt; / RTI >
  • the audio information providing module provides a voice signal to the user by referring to the output of the situation-specific interpretation module and the location information of the photographer.
  • the manual providing server includes a product identification information receiving module for receiving the product identification information from the camera built-in terminal through the wireless communication network; A product detection module for searching a product contour database or an RFID / product code database to find a product corresponding to the product identification information; And a product information transmission module for transmitting product information corresponding to the product identification information to the camera built-in terminal.
  • the manual providing server includes a situation-specific request receiving module for receiving a situation-specific instruction request from the camera-embedded terminal; A situation-specific manual selection module for referring to the manual database in response to the situation-specific manual request to select the manual according to the situation; And a situation-specific guide transmission module for transmitting the selected situation-specific instruction to the camera built-in terminal.
  • a method for providing a user's manual includes: transmitting a product identification information to a manual providing server, Identifying the product by the manual providing server with reference to the product identification information; A step in which the camera built-in terminal requests a situation-specific instruction to the manual providing server; Transmitting the context-specific instructions to the camera-embedded terminal; A step in which the camera built-in terminal interprets the situation-specific instruction; A step in which the camera built-in terminal identifies a user's location; And the step of providing the instruction of the augmented reality technique to the user by referring to the situation-specific instruction and the position of the user by the camera built-in terminal.
  • the user can obtain the instruction manual information accurately and quickly. Also, according to the present invention, the user can conveniently utilize the instruction manual information. Therefore, the business efficiency can be improved.
  • FIG. 1 is a block diagram briefly showing a system for providing a user's manual using an augmented reality according to the present invention.
  • FIG. 2 is a block diagram showing a detailed structure of the camera built-in terminal shown in FIG.
  • FIG. 3 is a block diagram showing a detailed structure of the manual providing server shown in FIG.
  • FIG. 4 is a flowchart for explaining an operation method of the user manual providing system according to the present invention.
  • the system for providing a user's manual according to the present invention includes a camera built-in terminal 100, a wireless communication network 200, and a manual providing server 300.
  • the camera built-in terminal 100 may be provided as a portable type or a fixed type.
  • the camera-embedded terminal 100 may be provided in the form of a fixed kiosk or a cellular phone.
  • the camera built-in terminal 100 may embed various product identification technologies.
  • the camera built-in terminal 100 can identify a product by photographing the product to be used.
  • the camera built-in terminal 100 can identify the product using an RFID tag or a product code of the product to be used.
  • the manual providing server 300 may be provided by a product manufacturer.
  • the manual providing server 300 stores the manuals corresponding to the respective products.
  • the camera built-in terminal 100 and the manual providing server 300 exchange data through the wireless communication network 200.
  • the camera built-in terminal 100 transmits the product identification information to the manual providing server 300 through the wireless communication network 200.
  • the camera built-in terminal 100 requests a user's instruction from the manual providing server 300.
  • the manual providing server 300 receives the product identification information and the user's manual request through the wireless communication network 200.
  • the manual providing server 300 transmits the user's manual of the product corresponding to the product identification information to the camera built-in terminal 100 through the wireless communication network 200.
  • the camera built-in terminal 100 receives the user's manual through the wireless communication network 200 and provides the user with a manual using the augmented reality technique.
  • the user can quickly and accurately obtain a user's manual as needed.
  • the augmented reality enables the user to easily utilize the user's manual.
  • a camera built-in terminal 100 includes an image input module 105, a product outline detection module 110, a product identification information generation module 150, a situation-based guide request module 120, A situation information receiving module 125, a description database 130, a product information receiving module 135, a product profile database 140, a terminal controller 145, a product identification information transmitting module 115, a user interaction module 155
  • the context-awareness analysis module 160 includes a context-
  • FIG. 3 is a block diagram showing a detailed structure of the manual providing server shown in FIG. 1.
  • the guide providing server 300 includes a product identification information receiving module 305, a product information transmitting module 310, a contextual guide request receiving module 315, 320, a server controller 325, a product detection module 330, an RFID / product code database 335, a product contour database 340, a contextual document selection module 345, .
  • the terminal controller 145 controls the overall operation of the camera built-in terminal 100.
  • the server controller 325 controls the overall operation of the manual providing server 300.
  • the image input module 105 of the camera built-in terminal 100 acquires an image of a product to be used according to a user's request.
  • the image input module 105 can acquire an image by photographing a product to be used by using a device such as a camera.
  • the product contour detection module 110 generates three-dimensional information through contour detection with reference to the acquired image. Described in detail, the product contour detection module 110 generates a three-dimensional contour through product contour detection based on the initial guide reference object alignment. The product contour detection module 110 transmits the generated three-dimensional contour to the azimuth generation module 175.
  • the azimuth angle generation module 175 detects the position of the photographer from three-dimensional coordinates from the lowest point of the normal direction (front direction in the normal direction) of the product by referring to the received three-dimensional contour and the product contour information of the product contour database 140.
  • the azimuth generation module 175 periodically generates data including the product name and the azimuth angle (x, y, z) with reference to the detection result. The periodically generated data is used to grasp the position of the photographer in real time.
  • the product identification information generation module 150 in the camera built-in terminal 100 acquires the RFID tag information or the product code of the user.
  • the product identification information transmitting module 115 in the camera built-in terminal 100 transmits the output of the product contour detection module 110 and the product identification information generation module 150 to the product identification information receiving module 305 of the manual providing server 300, Lt; / RTI >
  • the camera built-in terminal 100 may omit transferring the output of the product identification information generation module 150 to the manual providing server 300.
  • the camera built-in terminal 100 can transmit only the output of the product outline detection module 110 to the manual providing server 300 when the product outline detection module 110 can identify the product with sufficient accuracy. Therefore, the operation of the product identification information generation module 150 can be omitted.
  • the product identification information receiving module 305 in the manual providing server 300 transmits the received product identification information to the product detecting module 330.
  • the product detection module 330 refers to the RFID / product code database 335 by referring to the product identification information, and performs a primary search based on the RFID tag or the product code. Or the product detection module 330 performs the secondary search with reference to the product contour database 340.
  • the product detection module 330 retrieves from the product contour database 340 the overall contour information of the identified product.
  • the product detection module 330 transmits the product information to the product information reception module 135 in the camera built-in terminal 100 through the product information transmission module 310.
  • the product information receiving module 135 of the camera built-in terminal 100 stores the received outline information of the entire product in the product outline database 140.
  • the user interaction module 155 presents candidate products to the user. The user can select an accurate product by selecting one of the candidate products.
  • the camera built-in terminal 100 After receiving the product information, the camera built-in terminal 100 requests the instruction manual according to the situation through the context-based instruction request module 120. [ This is because, depending on the situation, the user's manual may be different. Therefore, in the present invention, the request of the user can be satisfied by requesting the manual providing server 300 with the user's manual suitable for the situation.
  • the situation-specific document request receiving module 315 in the document providing server 300 transmits the received status document request to the document selection module 345 for each situation.
  • the context-based manual selection module 345 searches the manual database 350 to obtain manual information corresponding to the product.
  • the context-based document selection module 345 transmits the document information to the situation-specific document reception module 125 in the camera built-in terminal 100 through the context-based document transmission module 320.
  • the situation-specific manual selection module 345 may transmit a table of contents of the manual to the built-in terminal 100 in response to the user's initial request.
  • the user can refer to the table of contents and select the manuals he needs.
  • the context-specific instruction receiving module 125 in the camera built-in terminal 100 stores the received context-specific instructions in the instruction database 130.
  • the situation-specific instruction receiving module 125 transmits the situation-specific instruction to the situation-specific instruction interpretation module 160.
  • the context-based instruction interpretation module 160 analyzes the instruction and transmits it to the augmented reality synthesis module 165 and the voice information provision module 170.
  • the augmented reality synthesis module 165 outputs context-specific instructions in the form of video signals.
  • the voice information providing module 170 outputs the context-specific instructions in the form of voice signals.
  • the azimuth angle generation module 175 transmits the current photogar azimuth angle to the augmented reality composition module 165 in real time.
  • the augmented reality synthesis module 165 synthesizes an augmented reality screen suitable for a viewing angle of the current user in real time and provides the augmented reality screen in the form of a video signal.
  • the voice information providing module 170 provides the use voice information through the camera built-in terminal 100.
  • the interface control module 180 requests the situation-specific interpretation module 160 to proceed with the interpretation step according to the user's control.
  • the situation-based guide interpretation module 160 analyzes the received guide information step by step and transmits it to the augmented reality synthesis module 165 and the voice information provision module 170.
  • the system for providing the manual according to the present invention repeatedly performs the above operations until the user requests termination of the use through the interface control module 180.
  • FIG. 4 is a flowchart for explaining an operation method of the user manual providing system according to the present invention.
  • the user guide providing system according to the present invention operates through steps S110 to S180.
  • the camera built-in terminal 100 transmits the product identification information to the manual providing server 300.
  • the camera built-in terminal 100 transmits outline information obtained by the camera to the manual providing server 300.
  • the camera built-in terminal 100 may transmit the RFID tag information or the product code to the manual providing server 300.
  • the camera built-in terminal 100 can transmit only the outline information to the manual providing server 300, and can transmit the tag information or the product code to the manual providing server 300 together with the outline information.
  • step S120 the manual providing server 300 identifies the product by referring to the received product identification information. Described in detail, the product detection module 330 of the manual providing server 300 searches the product outline database 340 by referring to the outline information. Also, the product detection module 330 of the manual providing server 300 searches the RFID / product code database 335 by referring to the RFID tag information or the product code.
  • the manual providing server 300 refers to the databases 335 and 340 to identify the product.
  • the manual providing server 300 transmits the product information to the camera built-in terminal 100 and the camera built-in terminal 100 stores the received product information in the product outline database 140 in the camera built-
  • step S130 the camera built-in terminal 100 requests the document providing server 300 for a situation-specific instruction.
  • the user selects the necessary documentation at the current stage.
  • the situation-specific instruction request module 120 in the camera built-in terminal 100 requests the condition-based instruction from the instruction providing server 300.
  • the document providing server 300 receives the request through the situation-specific document request receiving module 315.
  • the manual providing server 300 accesses the manual database 350 through the situation-specific manual selection module 345.
  • the manual providing server 300 transmits the situation-specific instructions to the camera built-in terminal 100 using the situation-specific instruction transmitting module 320.
  • step S140 the camera built-in terminal 100 receives the situation-specific instructions from the manual providing server 300.
  • the situation-specific instruction receiving module 125 in the camera built-in terminal 100 receives the situation-specific instructions from the instruction providing server 300.
  • the situation-specific guide reception module 125 stores context-specific instructions in the instruction database 130.
  • the situation-specific instruction receiving module 125 transmits the situation-specific instruction to the situation-specific instruction interpretation module 160.
  • step S150 the camera built-in terminal 100 interprets the received context-specific instructions.
  • the context-based interpretation module 160 in the embedded terminal 100 analyzes context-specific descriptions and transmits them to the augmented reality composing module 165 or the voice information providing module 170.
  • step S160 the camera built-in terminal 100 calculates the user's photographed azimuth angle.
  • the product outline detection module 110 in the camera built-in terminal 100 generates a three-dimensional outline using a product outline obtained by the camera.
  • the product contour detection module 110 transmits the generated three-dimensional contour to the azimuth generation module 175.
  • the azimuth angle generation module 175 calculates the position of the user by referring to the received three-dimensional contour and the product contour information stored in the product contour database 140.
  • the calculated location information of the user is transmitted to the situation-specific interpretation module 160.
  • the camera built-in terminal 100 provides the augmented reality instruction manual to the user by referring to the situation-specific instruction and the user's position information.
  • the contextual interpretation module 160 in the camera built-in terminal 100 reflects the location information of the user and controls the augmented reality synthesis module 165 to output the context-specific instructions as a video signal according to the viewing angle of the user do.
  • the contextual interpretation module 160 in the camera built-in terminal 100 reflects the location information of the user and controls the voice information providing module 170 to output the context-specific instructions as a voice signal according to the user's location. Therefore, the user can be provided with the stereoscopic video and audio instructions.
  • step S180 if there is a request to stop the user, the operation of the user manual providing system ends. If there is no request to suspend the user's operation, steps S130 to S170 are performed again.
  • the user can obtain the instruction of the product quickly and accurately by simply photographing the product using the camera.
  • the user can easily utilize the product manual by receiving the manual using the augmented reality.
  • the structure of the present invention can be variously modified or changed without departing from the scope or spirit of the present invention.
  • the camera built-in terminal according to the embodiment of the present invention can be provided not only in the form of a cell phone, but also in various portable electronic devices such as a tablet PC and a portable media player (PMP).
  • PMP portable media player

Abstract

The present invention relates to a system and method for providing a user manual, and more particularly, to a system and method for providing a user manual using augmented reality. The system for providing a user manual according to the present invention includes: a terminal having a built-in camera, which obtains product identification information using the camera and provides a manual to a user using an augmented reality technique; and a manual-providing server that transmits a manual of a product corresponding to the product identification information to the terminal having the built-in camera via a wireless communication network. According to the present invention, a user may accurately and instantly obtain user manual information. Additionally, according to the present invention, a user may conveniently utilize user manual information. Accordingly, task efficiency may be improved.

Description

증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법System and method for providing user manual using augmented reality
본 발명은 사용자 설명서 제공 시스템 및 방법에 관한 것으로, 구체적으로는, 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and method for providing a user's manual, and more specifically, to a system and method for providing a user's manual using an augmented reality.
최근에 컴퓨터 비젼(vision) 및 그래픽스(graphics) 기술의 결합을 통해 증강 현실(Augmented reality) 기술이 등장하였다. 증강 현실이라 함은 현실 세계에 존재하는 물체에 가상 물체를 겹쳐 보여주는 기술을 말한다. 즉, 증강 현실은 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여준다. Recently, augmented reality technology has appeared through the combination of computer vision and graphics technology. Augmented reality refers to a technique of superimposing a virtual object on an object existing in the real world. That is, the augmented reality combines the real world that the user sees with the virtual world with the additional information and displays it as one image.
증강 현실은 컴퓨터 그래픽을 이용하여 구현된다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가로 제공하는 역할을 한다. 컴퓨터 그래픽을 이용하여 사용자가 보고 있는 실사 영상에 3차원 가상 영상을 겹침(overlap)으로써 추가 정보가 제공될 수 있다. Augmented reality is implemented using computer graphics. Computer graphics serve to provide additional information for the real world. Additional information may be provided by overlapping a three-dimensional virtual image with a real image viewed by a user using a computer graphic.
가상 현실 기술은 가상 환경에 사용자를 몰입하게 하여 실제 환경을 볼 수 없다는 단점이 있다. 반면에, 증강 현실 기술은 사용자가 실제 환경을 볼 수 있기 때문에 보다 나은 현실감을 제공한다. Virtual reality technology has the disadvantage that it can not see the real environment by engaging the user in the virtual environment. On the other hand, augmented reality technology provides better realism because users can see the actual environment.
본 발명의 목적은 증강 현실을 이용하여 사용자에게 정확하고 신속하게 설명서를 제공할 수 있는 사용자 설명서 제공 시스템 및 방법을 제공하는 데 있다. 본 발명의 다른 목적은 증강 현실을 이용하여 사용자가 용이하게 설명서를 활용할 수 있는 사용자 설명서 제공 시스템 및 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and method for providing a user's manual that can accurately and promptly provide a user with augmented reality. It is another object of the present invention to provide a system and method for providing a user's manual in which a user can easily use a manual using an augmented reality.
본 발명에 따른 사용자 설명서 제공 시스템은 카메라를 이용하여 제품 식별 정보를 얻고, 증강 현실 기법으로 사용자에게 설명서를 제공하는 카메라 내장 단말기; 및 상기 제품 식별 정보에 대응하는 제품의 설명서를 무선 통신망을 통해 상기 카메라 내장 단말기로 전송하는 설명서 제공 서버를 포함한다.The present invention provides a user guide providing system including a camera built-in terminal for acquiring product identification information using a camera and providing instructions to a user through an augmented reality technique; And a guide providing server for transmitting the instruction of the product corresponding to the product identification information to the camera built-in terminal through a wireless communication network.
실시 예로서, 상기 카메라 내장 단말기는 제품 영상을 획득하기 위한 영상 입력 모듈; 상기 제품 영상을 참조하여 3차원 윤곽을 생성하는 제품 윤곽 검출 모듈; 및 RFID 태그 정보 또는 제품 코드를 입력받기 위한 제품 식별 정보 생성 모듈; 상기 제품 윤곽 검출 모듈 또는 상기 제품 식별 정보 생성 모듈의 출력을 상기 설명서 제공 서버로 전송하기 위한 제품 식별 정보 송신 모듈을 포함한다.In an embodiment, the camera-embedded terminal may include an image input module for acquiring a product image; A product contour detection module for generating a three-dimensional contour by referring to the product image; A product identification information generation module for receiving the RFID tag information or the product code; And a product identification information transmission module for transmitting the output of the product outline detection module or the product identification information generation module to the manual providing server.
다른 실시 예로서, 상기 카메라 내장 단말기는 사용자의 선택에 따라 상황별 설명서를 상기 설명서 제공 서버에 요청하기 위한 상황별 설명서 요청 모듈; 상기 설명서 제공 서버로부터 상기 상황별 설명서를 수신하기 위한 상황별 설명서 수신 모듈; 상기 수신된 상황별 설명서를 저장하기 위한 설명서 데이터베이스를 포함한다.In another embodiment, the camera built-in terminal may include a context-specific request module for requesting a context-specific manual to the manual providing server according to a user's selection; A situation-specific instruction receiving module for receiving the situation-specific instruction from the instruction providing server; And a documentation database for storing the received context-specific instructions.
다른 실시 예로서, 상기 카메라 내장 단말기는 상기 설명서 제공 서버로부터 수신된 상황별 설명서를 해석하기 위한 상황별 설명서 해석 모듈; 상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 증강 현실 영상 신호를 제공하기 위한 증강 현실 합성 모듈; 상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 음성 신호를 제공하기 위한 음성 정보 제공 모듈을 포함한다. 상기 카메라 내장 단말기는 촬영자의 위치 정보를 검출하기 위한 방위각 생성 모듈을 더 포함하고, 상기 증강 현실 합성 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 증강 현실 영상 신호를 제공한다. 상기 음성 정보 제공 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 음성 신호를 제공한다.In another embodiment, the camera built-in terminal includes a context-based interpretation module for interpreting situation-specific instructions received from the document providing server; An augmented reality synthesis module for providing an augmented reality video signal to a user in response to an output of the situation-specific interpretation module; And a voice information providing module for providing a voice signal to the user in response to the output of the context-specific interpretation module. The augmented reality synthesis module may further include an azimuth angle generation module for detecting the position information of the photographer, and the augmented reality synthesis module refers to the output of the situation interpretation module and the position information of the photographer, Lt; / RTI > The audio information providing module provides a voice signal to the user by referring to the output of the situation-specific interpretation module and the location information of the photographer.
다른 실시 예로서, 상기 설명서 제공 서버는 상기 카메라 내장 단말기로부터 상기 무선 통신망을 통해 상기 제품 식별 정보를 수신하기 위한 제품 식별 정보 수신 모듈; 제품 윤곽 데이터베이스 또는 RFID/제품코드 데이터베이스를 검색하여 상기 제품 식별 정보에 대응하는 제품을 찾기 위한 제품 검출 모듈; 및 상기 제품 식별 정보에 대응하는 제품 정보를 상기 카메라 내장 단말기로 송신하기 위한 제품 정보 송신 모듈을 포함한다.In another embodiment, the manual providing server includes a product identification information receiving module for receiving the product identification information from the camera built-in terminal through the wireless communication network; A product detection module for searching a product contour database or an RFID / product code database to find a product corresponding to the product identification information; And a product information transmission module for transmitting product information corresponding to the product identification information to the camera built-in terminal.
다른 실시 예로서, 상기 설명서 제공 서버는 상기 카메라 내장 단말기로부터의 상황별 설명서 요청을 수신하기 위한 상황별 설명서 요청 수신 모듈; 상기 상황별 설명서 요청에 응답하여 설명서 데이터베이스를 참조하여 상황별 설명서를 선택하기 위한 상황별 설명서 선별 모듈; 및 상기 선택된 상황별 설명서를 상기 카메라 내장 단말기에 송신하기 위한 상황별 설명서 송신 모듈을 포함한다.In another embodiment, the manual providing server includes a situation-specific request receiving module for receiving a situation-specific instruction request from the camera-embedded terminal; A situation-specific manual selection module for referring to the manual database in response to the situation-specific manual request to select the manual according to the situation; And a situation-specific guide transmission module for transmitting the selected situation-specific instruction to the camera built-in terminal.
본 발명에 따른 사용자 설명서 제공 방법은 카메라 내장 단말기가 설명서 제공 서버로 제품 식별 정보를 전송하는 단계; 상기 설명서 제공 서버가 상기 제품 식별 정보를 참조하여 제품을 식별하는 단계; 상기 카메라 내장 단말기가 상기 설명서 제공 서버로 상황별 설명서를 요청하는 단계; 상기 설명서 제공 서버가 상기 카메라 내장 단말기로 상기 상황별 설명서를 전송하는 단계; 상기 카메라 내장 단말기가 상기 상황별 설명서를 해석하는 단계; 상기 카메라 내장 단말기가 사용자의 위치를 파악하는 단계; 상기 카메라 내장 단말기가 상기 상황별 설명서와 상기 사용자의 위치를 참조하여 상기 사용자에게 증강 현실 기법의 설명서를 제공하는 단계를 포함한다.A method for providing a user's manual according to the present invention includes: transmitting a product identification information to a manual providing server, Identifying the product by the manual providing server with reference to the product identification information; A step in which the camera built-in terminal requests a situation-specific instruction to the manual providing server; Transmitting the context-specific instructions to the camera-embedded terminal; A step in which the camera built-in terminal interprets the situation-specific instruction; A step in which the camera built-in terminal identifies a user's location; And the step of providing the instruction of the augmented reality technique to the user by referring to the situation-specific instruction and the position of the user by the camera built-in terminal.
본 발명에 따르면 사용자는 정확하고 신속하게 사용 설명서 정보를 얻을 수 있다. 또한, 본 발명에 따르면 사용자는 편리하게 사용 설명서 정보를 활용할 수 있다. 따라서, 업무 능률이 향상될 수 있다.According to the present invention, the user can obtain the instruction manual information accurately and quickly. Also, according to the present invention, the user can conveniently utilize the instruction manual information. Therefore, the business efficiency can be improved.
도 1은 본 발명에 따른 증강 현실을 이용한 사용자 설명서 제공 시스템을 간략하게 보여주는 블록도이다.1 is a block diagram briefly showing a system for providing a user's manual using an augmented reality according to the present invention.
도 2는 도 1에 도시된 카메라 내장 단말기의 자세한 구조를 보여주는 블록도이다. 2 is a block diagram showing a detailed structure of the camera built-in terminal shown in FIG.
도 3은 도 1에 도시된 설명서 제공 서버의 자세한 구조를 보여주는 블록도이다. 3 is a block diagram showing a detailed structure of the manual providing server shown in FIG.
도 4는 본 발명에 따른 사용자 설명서 제공 시스템의 동작 방법을 설명하기 위한 순서도이다.4 is a flowchart for explaining an operation method of the user manual providing system according to the present invention.
앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 설명이 제공되는 것으로 여겨져야 한다. 참조 부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and should provide a further description of the claimed invention. Reference numerals are shown in detail in the preferred embodiments of the present invention, examples of which are shown in the drawings. Wherever possible, the same reference numbers are used in the description and drawings to refer to the same or like parts.
아래에서 사용자 설명서 제공 시스템이 본 발명의 특징 및 기능을 설명하기 위한 한 예로서 사용된다. 하지만, 이 기술 분야에 정통한 사람은 여기에 기재된 내용에 따라 본 발명의 다른 이점들 및 성능을 쉽게 이해할 수 있을 것이다. 본 발명은 다른 실시 예들을 통해 또한, 구현되거나 적용될 수 있을 것이다. 게다가, 상세한 설명은 본 발명의 범위, 기술적 사상 그리고 다른 목적으로부터 상당히 벗어나지 않고 관점 및 응용에 따라 수정되거나 변경될 수 있다.Below, a user manual providing system is used as an example for explaining the features and functions of the present invention. However, those skilled in the art will readily appreciate other advantages and capabilities of the present invention in accordance with the teachings herein. The invention may also be embodied or applied in other embodiments. In addition, the detailed description may be modified or modified in accordance with the aspects and applications without departing substantially from the scope, spirit and other objects of the invention.
도 1은 본 발명에 따른 증강 현실을 이용한 사용자 설명서 제공 시스템을 간략하게 보여주는 블록도이다. 도 1을 참조하면, 본 발명에 따른 사용자 설명서 제공 시스템은 카메라 내장 단말기(100), 무선 통신망(200), 그리고 설명서 제공 서버(300)를 포함한다.1 is a block diagram briefly showing a system for providing a user's manual using an augmented reality according to the present invention. Referring to FIG. 1, the system for providing a user's manual according to the present invention includes a camera built-in terminal 100, a wireless communication network 200, and a manual providing server 300.
카메라 내장 단말기(100)는 휴대형 또는 고정형으로 제공될 수 있다. 예를 들어, 카메라 내장 단말기(100)는 고정된 키오스크(kiosk) 형태 또는 셀룰러 폰의 형태로 제공될 수 있다. 카메라 내장 단말기(100)는 다양한 제품 식별 기술을 내장할 수 있다. 예를 들어, 카메라 내장 단말기(100)는 사용하고자 하는 제품을 촬영함으로써 제품을 식별할 수 있다. 또는 카메라 내장 단말기(100)는 사용하고자 하는 제품의 RFID 태그(tag) 또는 제품 코드(product code)를 이용하여 제품을 식별할 수 있다. The camera built-in terminal 100 may be provided as a portable type or a fixed type. For example, the camera-embedded terminal 100 may be provided in the form of a fixed kiosk or a cellular phone. The camera built-in terminal 100 may embed various product identification technologies. For example, the camera built-in terminal 100 can identify a product by photographing the product to be used. Or the camera built-in terminal 100 can identify the product using an RFID tag or a product code of the product to be used.
설명서 제공 서버(300)는 제품 생산자(manufacturer)에 의해 제공될 수 있다. 설명서 제공 서버(300)는 각각의 제품들에 대응하는 설명서들을 저장한다. 카메라 내장 단말기(100)와 설명서 제공 서버(300)는 무선 통신망(200)을 통해 데이터를 교환한다.The manual providing server 300 may be provided by a product manufacturer. The manual providing server 300 stores the manuals corresponding to the respective products. The camera built-in terminal 100 and the manual providing server 300 exchange data through the wireless communication network 200. [
먼저, 카메라 내장 단말기(100)는 무선 통신망(200)을 통해 설명서 제공 서버(300)에 제품 식별 정보를 전송한다. 또한, 카메라 내장 단말기(100)는 설명서 제공 서버(300)에 사용자 설명서를 요청한다. 설명서 제공 서버(300)는 무선 통신망(200)을 통해 제품 식별 정보와 사용자 설명서 요청을 수신한다. First, the camera built-in terminal 100 transmits the product identification information to the manual providing server 300 through the wireless communication network 200. In addition, the camera built-in terminal 100 requests a user's instruction from the manual providing server 300. The manual providing server 300 receives the product identification information and the user's manual request through the wireless communication network 200.
설명서 제공 서버(300)는 제품 식별 정보에 대응하는 제품의 사용자 설명서를 무선 통신망(200)을 통해 카메라 내장 단말기(100)로 전송한다. 카메라 내장 단말기(100)는 무선 통신망(200)을 통해 사용자 설명서를 수신하고, 증강 현실 기법을 이용해 사용자에게 설명서를 제공한다.The manual providing server 300 transmits the user's manual of the product corresponding to the product identification information to the camera built-in terminal 100 through the wireless communication network 200. [ The camera built-in terminal 100 receives the user's manual through the wireless communication network 200 and provides the user with a manual using the augmented reality technique.
상술한 바와 같이, 본 발명에 따르면 사용자는 필요로 하는 사용자 설명서를 빠르고 정확하게 얻을 수 있다. 또한, 증강 현실을 통해 사용자는 사용자 설명서를 손쉽게 활용할 수 있다.As described above, according to the present invention, the user can quickly and accurately obtain a user's manual as needed. In addition, the augmented reality enables the user to easily utilize the user's manual.
도 2는 도 1에 도시된 카메라 내장 단말기의 자세한 구조를 보여주는 블록도이다. 도 2를 참조하면, 본 발명에 따른 카메라 내장 단말기(100)는 영상 입력 모듈(105), 제품 윤곽 검출 모듈(110), 제품 식별 정보 생성 모듈(150), 상황별 설명서 요청 모듈(120), 상황별 설명서 수신 모듈(125), 설명서 데이터베이스(130), 제품 정보 수신 모듈(135), 제품 윤곽 데이터베이스(140), 단말기 컨트롤러(145), 제품 식별 정보 송신 모듈(115), 사용자 인터액션 모듈(155), 상황별 설명서 해석 모듈(160), 증강 현실 합성 모듈(165), 음성 정보 제공 모듈(170), 방위각 생성 모듈(175), 그리고 인터페이스 제어 모듈(180)을 포함한다.2 is a block diagram showing a detailed structure of the camera built-in terminal shown in FIG. 2, a camera built-in terminal 100 according to the present invention includes an image input module 105, a product outline detection module 110, a product identification information generation module 150, a situation-based guide request module 120, A situation information receiving module 125, a description database 130, a product information receiving module 135, a product profile database 140, a terminal controller 145, a product identification information transmitting module 115, a user interaction module 155 An augmented reality synthesis module 165, an audio information provision module 170, an azimuth generation module 175, and an interface control module 180. The context-awareness analysis module 160 includes a context-
또한, 도 3은 도 1에 도시된 설명서 제공 서버의 자세한 구조를 보여주는 블록도이다. 도 3을 참조하면, 본 발명에 따른 설명서 제공 서버(300)는 제품 식별 정보 수신 모듈(305), 제품 정보 송신 모듈(310), 상황별 설명서 요청 수신 모듈(315), 상황별 설명서 송신 모듈(320), 서버 컨트롤러(325), 제품 검출 모듈(330), RFID/제품코드 데이터베이스(335), 제품 윤곽 데이터베이스(340), 상황별 설명서 선별 모듈(345), 그리고 설명서 데이터베이스(350)를 포함한다.FIG. 3 is a block diagram showing a detailed structure of the manual providing server shown in FIG. 1. FIG. Referring to FIG. 3, the guide providing server 300 according to the present invention includes a product identification information receiving module 305, a product information transmitting module 310, a contextual guide request receiving module 315, 320, a server controller 325, a product detection module 330, an RFID / product code database 335, a product contour database 340, a contextual document selection module 345, .
이하, 도 2 및 도 3을 참조하여 본 발명에 따른 설명서 제공 시스템의 동작이 자세하게 설명될 것이다. 단말기 컨트롤러(145)는 카메라 내장 단말기(100)의 전체적인 동작을 제어한다. 또한, 서버 컨트롤러(325)는 설명서 제공 서버(300)의 전체적인 동작을 제어한다. Hereinafter, the operation of the manual providing system according to the present invention will be described in detail with reference to FIG. 2 and FIG. The terminal controller 145 controls the overall operation of the camera built-in terminal 100. In addition, the server controller 325 controls the overall operation of the manual providing server 300.
먼저, 사용자의 요청에 따라 카메라 내장 단말기(100)의 영상 입력 모듈(105)은 사용하고자 하는 제품의 영상을 획득한다. 자세하게 설명하면, 영상 입력 모듈(105)은 카메라와 같은 장치를 이용하여 사용하고자 하는 제품을 촬영하여 영상을 획득할 수 있다. First, the image input module 105 of the camera built-in terminal 100 acquires an image of a product to be used according to a user's request. In detail, the image input module 105 can acquire an image by photographing a product to be used by using a device such as a camera.
제품 윤곽 검출 모듈(110)은 획득된 영상을 참조하여 윤곽 검출을 통한 3차원 정보를 생성한다. 자세하게 설명하면, 제품 윤곽 검출 모듈(110)은 최초 가이드 기준 피사체 정렬 기반의 제품 윤곽 검출을 통하여 3차원 윤곽을 생성한다. 제품 윤곽 검출 모듈(110)은 생성된 3차원 윤곽을 방위각 생성 모듈(175)로 전송한다. The product contour detection module 110 generates three-dimensional information through contour detection with reference to the acquired image. Described in detail, the product contour detection module 110 generates a three-dimensional contour through product contour detection based on the initial guide reference object alignment. The product contour detection module 110 transmits the generated three-dimensional contour to the azimuth generation module 175.
방위각 생성 모듈(175)은 수신된 3차원 윤곽과 제품 윤곽 데이터베이스(140)의 제품 윤곽 정보를 참조하여 제품의 정방향(정상 방향의 정면) 기준 최저점으로부터 촬영자의 위치를 3차원 좌표로 검출한다. 방위각 생성 모듈(175)은 검출 결과를 참조하여 제품명과 방위각(x,y,z)을 포함하는 데이터를 주기적으로 생성한다. 주기적으로 생성된 데이터는 촬영자의 위치를 실시간으로 파악하기 위해 사용된다.The azimuth angle generation module 175 detects the position of the photographer from three-dimensional coordinates from the lowest point of the normal direction (front direction in the normal direction) of the product by referring to the received three-dimensional contour and the product contour information of the product contour database 140. The azimuth generation module 175 periodically generates data including the product name and the azimuth angle (x, y, z) with reference to the detection result. The periodically generated data is used to grasp the position of the photographer in real time.
카메라 내장 단말기(100) 내의 제품 식별 정보 생성 모듈(150)은 RFID 태그 정보 또는 사용자의 제품 코드를 획득한다. 카메라 내장 단말기(100) 내의 제품 식별 정보 송신 모듈(115)은 제품 윤곽 검출 모듈(110) 및 제품 식별 정보 생성 모듈(150)의 출력을 설명서 제공 서버(300)의 제품 식별 정보 수신 모듈(305)로 전송한다. The product identification information generation module 150 in the camera built-in terminal 100 acquires the RFID tag information or the product code of the user. The product identification information transmitting module 115 in the camera built-in terminal 100 transmits the output of the product contour detection module 110 and the product identification information generation module 150 to the product identification information receiving module 305 of the manual providing server 300, Lt; / RTI >
그런데, 본 발명에 따른 카메라 내장 단말기(100)는 제품 식별 정보 생성 모듈(150)의 출력을 설명서 제공 서버(300)로 전송하는 것을 생략할 수 있다. 예를 들어, 카메라 내장 단말기(100)는 제품 윤곽 검출 모듈(110)만으로도 충분히 정확하게 제품을 식별할 수 있는 경우, 제품 윤곽 검출 모듈(110)의 출력만을 설명서 제공 서버(300)로 전송할 수 있다. 따라서, 제품 식별 정보 생성 모듈(150)의 동작이 생략될 수 있다.However, the camera built-in terminal 100 according to the present invention may omit transferring the output of the product identification information generation module 150 to the manual providing server 300. [ For example, the camera built-in terminal 100 can transmit only the output of the product outline detection module 110 to the manual providing server 300 when the product outline detection module 110 can identify the product with sufficient accuracy. Therefore, the operation of the product identification information generation module 150 can be omitted.
설명서 제공 서버(300) 내의 제품 식별 정보 수신 모듈(305)은 수신된 제품 식별 정보를 제품 검출 모듈(330)로 전송한다. 제품 검출 모듈(330)은 제품 식별 정보를 참조하여 RFID/제품코드 데이터베이스(335)를 참조하여 RFID 태그 혹은 제품코드 기반의 1차 검색을 수행한다. 또는 제품 검출 모듈(330)은 제품 윤곽 데이터베이스(340)를 참조하여 2차 검색을 수행한다. The product identification information receiving module 305 in the manual providing server 300 transmits the received product identification information to the product detecting module 330. The product detection module 330 refers to the RFID / product code database 335 by referring to the product identification information, and performs a primary search based on the RFID tag or the product code. Or the product detection module 330 performs the secondary search with reference to the product contour database 340. [
제품 검출 모듈(330)은 식별된 제품의 전체 윤곽 정보를 제품 윤곽 데이터베이스(340)로부터 검색한다. 제품 검출 모듈(330)은 제품 정보 송신 모듈(310)을 통해 카메라 내장 단말기(100) 내의 제품 정보 수신 모듈(135)로 전송한다. 카메라 내장 단말기(100)의 제품 정보 수신 모듈(135)은 수신된 제품 전체 윤곽 정보를 제품 윤곽 데이터베이스(140)에 저장한다. The product detection module 330 retrieves from the product contour database 340 the overall contour information of the identified product. The product detection module 330 transmits the product information to the product information reception module 135 in the camera built-in terminal 100 through the product information transmission module 310. The product information receiving module 135 of the camera built-in terminal 100 stores the received outline information of the entire product in the product outline database 140.
만약, 1차 검색 및 2차 검색에 의하여도 정확한 제품이 결정되지 않는 경우, 사용자 인터액션 모듈(155)은 사용자에게 후보 제품들을 제시한다. 사용자는 후보 제품들 중 어느 하나의 제품을 선택함으로써 정확한 제품을 선택할 수 있다. If the correct product is not determined by the primary search and the secondary search, the user interaction module 155 presents candidate products to the user. The user can select an accurate product by selecting one of the candidate products.
카메라 내장 단말기(100)는 제품 정보 수신 후, 상황별 설명서 요청 모듈(120)을 통해 상황에 따른 사용 설명서를 요청한다. 상황에 따라 사용자가 원하는 설명서는 달라질 수 있기 때문이다. 따라서, 본 발명에서는 상황에 따라 적합한 사용 설명서를 설명서 제공 서버(300)에 요청함으로써 사용자의 요구가 만족될 수 있다. After receiving the product information, the camera built-in terminal 100 requests the instruction manual according to the situation through the context-based instruction request module 120. [ This is because, depending on the situation, the user's manual may be different. Therefore, in the present invention, the request of the user can be satisfied by requesting the manual providing server 300 with the user's manual suitable for the situation.
설명서 제공 서버(300) 내의 상황별 설명서 요청 수신 모듈(315)은 수신된 상황별 설명서 요청을 상황별 설명서 선별 모듈(345)로 전송한다. 상황별 설명서 선별 모듈(345)은 설명서 데이터베이스(350)를 검색하여 제품에 대응하는 설명서 정보를 획득한다. 상황별 설명서 선별 모듈(345)은 상황별 설명서 송신 모듈(320)을 통해 설명서 정보를 카메라 내장 단말기(100) 내의 상황별 설명서 수신 모듈(125)로 전송한다. The situation-specific document request receiving module 315 in the document providing server 300 transmits the received status document request to the document selection module 345 for each situation. The context-based manual selection module 345 searches the manual database 350 to obtain manual information corresponding to the product. The context-based document selection module 345 transmits the document information to the situation-specific document reception module 125 in the camera built-in terminal 100 through the context-based document transmission module 320. [
예를 들어, 상황별 설명서 선별 모듈(345)은 사용자의 최초 요청에 응답하여 설명서의 목차(table of contents)를 카메라 내장 단말기(100)로 전송할 수 있다. 사용자는 목차를 참조하여 자신이 필요로 하는 설명서를 선택할 수 있다.For example, the situation-specific manual selection module 345 may transmit a table of contents of the manual to the built-in terminal 100 in response to the user's initial request. The user can refer to the table of contents and select the manuals he needs.
카메라 내장 단말기(100) 내의 상황별 설명서 수신 모듈(125)은 수신된 상황별 설명서를 설명서 데이터베이스(130)에 저장한다. 또한, 상황별 설명서 수신 모듈(125)은 상황별 설명서를 상황별 설명서 해석 모듈(160)로 전달한다. The context-specific instruction receiving module 125 in the camera built-in terminal 100 stores the received context-specific instructions in the instruction database 130. In addition, the situation-specific instruction receiving module 125 transmits the situation-specific instruction to the situation-specific instruction interpretation module 160. [
상황별 설명서 해석 모듈(160)은 설명서를 해석하여 증강 현실 합성 모듈(165) 및 음성 정보 제공 모듈(170)로 전달한다. 증강 현실 합성 모듈(165)은 상황별 설명서를 영상 신호의 형태로 출력한다. 음성 정보 제공 모듈(170)은 상황별 설명서를 음성 신호의 형태로 출력한다.The context-based instruction interpretation module 160 analyzes the instruction and transmits it to the augmented reality synthesis module 165 and the voice information provision module 170. The augmented reality synthesis module 165 outputs context-specific instructions in the form of video signals. The voice information providing module 170 outputs the context-specific instructions in the form of voice signals.
자세히 설명하면, 방위각 생성 모듈(175)은 현재의 촬영 방위각을 실시간으로 증강 현실 합성 모듈(165)로 전달한다. 증강 현실 합성 모듈(165)은 현재 사용자의 시야각에 알맞은 증강 현실 화면을 실시간으로 합성하여 영상 신호의 형태로 제공한다. 음성 정보 제공 모듈(170)은 사용설명 음성 정보를 카메라 내장 단말기(100)를 통해 제공한다.More specifically, the azimuth angle generation module 175 transmits the current photogar azimuth angle to the augmented reality composition module 165 in real time. The augmented reality synthesis module 165 synthesizes an augmented reality screen suitable for a viewing angle of the current user in real time and provides the augmented reality screen in the form of a video signal. The voice information providing module 170 provides the use voice information through the camera built-in terminal 100.
인터페이스 제어 모듈(180)은 사용자의 통제에 따라 상황별 설명서 해석 모듈(160)에 설명서 해석 단계 진행을 요청한다. 상황별 설명서 해석 모듈(160)은 수신된 설명서 정보를 단계별로 해석하여 증강 현실 합성 모듈(165) 및 음성 정보 제공 모듈(170)로 전달한다.The interface control module 180 requests the situation-specific interpretation module 160 to proceed with the interpretation step according to the user's control. The situation-based guide interpretation module 160 analyzes the received guide information step by step and transmits it to the augmented reality synthesis module 165 and the voice information provision module 170. [
본 발명에 따른 설명서 제공 시스템은 인터페이스 제어 모듈(180)을 통한 사용자의 사용 종료 요청 이전까지 위의 동작들을 반복하여 수행한다.The system for providing the manual according to the present invention repeatedly performs the above operations until the user requests termination of the use through the interface control module 180. [
도 4는 본 발명에 따른 사용자 설명서 제공 시스템의 동작 방법을 설명하기 위한 순서도이다. 도 4를 참조하면 본 발명에 따른 사용자 설명서 제공 시스템은 S110 내지 S180 단계들을 통해 동작한다.4 is a flowchart for explaining an operation method of the user manual providing system according to the present invention. Referring to FIG. 4, the user guide providing system according to the present invention operates through steps S110 to S180.
S110 단계에서, 카메라 내장 단말기(100)는 제품 식별 정보를 설명서 제공 서버(300)로 전송한다. 자세하게 설명하면, 카메라 내장 단말기(100)는 카메라에 의해 얻어진 윤곽 정보를 설명서 제공 서버(300)로 전송한다. 또는 카메라 내장 단말기(100)는 RFID 태그 정보 또는 제품 코드를 설명서 제공 서버(300)로 전송할 수 있다. 상술한 바와 같이, 카메라 내장 단말기(100)는 윤곽 정보만을 설명서 제공 서버(300)로 전송할 수도 있고, 윤곽 정보와 함께 태그 정보 또는 제품 코드를 설명서 제공 서버(300)로 전송할 수 있다.In step S110, the camera built-in terminal 100 transmits the product identification information to the manual providing server 300. [ In detail, the camera built-in terminal 100 transmits outline information obtained by the camera to the manual providing server 300. Or the camera built-in terminal 100 may transmit the RFID tag information or the product code to the manual providing server 300. As described above, the camera built-in terminal 100 can transmit only the outline information to the manual providing server 300, and can transmit the tag information or the product code to the manual providing server 300 together with the outline information.
S120 단계에서, 설명서 제공 서버(300)는 수신된 제품 식별 정보를 참조하여 제품을 식별한다. 자세하게 설명하면, 설명서 제공 서버(300)의 제품 검출 모듈(330)은 윤곽 정보를 참조하여 제품 윤곽 데이터베이스(340)를 검색한다. 또한, 설명서 제공 서버(300)의 제품 검출 모듈(330)은 RFID 태그 정보 또는 제품 코드를 참조하여 RFID/제품코드 데이터베이스(335)를 검색한다. In step S120, the manual providing server 300 identifies the product by referring to the received product identification information. Described in detail, the product detection module 330 of the manual providing server 300 searches the product outline database 340 by referring to the outline information. Also, the product detection module 330 of the manual providing server 300 searches the RFID / product code database 335 by referring to the RFID tag information or the product code.
이와 같이, 설명서 제공 서버(300)는 데이터베이스들(335, 340)을 참조하여 제품을 식별한다. 설명서 제공 서버(300)는 제품 정보를 카메라 내장 단말기(100)로 전송하며, 카메라 내장 단말기(100)는 수신된 제품 정보를 카메라 내장 단말기(100) 내의 제품 윤곽 데이터베이스(140)에 저장한다.In this manner, the manual providing server 300 refers to the databases 335 and 340 to identify the product. The manual providing server 300 transmits the product information to the camera built-in terminal 100 and the camera built-in terminal 100 stores the received product information in the product outline database 140 in the camera built-
S130 단계에서, 카메라 내장 단말기(100)는 설명서 제공 서버(300)에 상황별 설명서를 요청한다. 자세하게 설명하면, 사용자는 현재 단계에서 필요한 설명서를 선택한다. 이에 응답하여 카메라 내장 단말기(100) 내의 상황별 설명서 요청 모듈(120)은 상황별 설명서를 설명서 제공 서버(300)에 요청한다. 설명서 제공 서버(300)는 상황별 설명서 요청 수신 모듈(315)을 통해 요청을 수신한다. 설명서 제공 서버(300)는 상황별 설명서 선별 모듈(345)을 통해 설명서 데이터베이스(350)에 접근한다. 설명서 제공 서버(300)는 상황별 설명서 송신 모듈(320)을 이용하여 상황별 설명서를 카메라 내장 단말기(100)에 전송한다.In step S130, the camera built-in terminal 100 requests the document providing server 300 for a situation-specific instruction. In more detail, the user selects the necessary documentation at the current stage. In response to the request, the situation-specific instruction request module 120 in the camera built-in terminal 100 requests the condition-based instruction from the instruction providing server 300. The document providing server 300 receives the request through the situation-specific document request receiving module 315. The manual providing server 300 accesses the manual database 350 through the situation-specific manual selection module 345. The manual providing server 300 transmits the situation-specific instructions to the camera built-in terminal 100 using the situation-specific instruction transmitting module 320. [
S140 단계에서, 카메라 내장 단말기(100)는 설명서 제공 서버(300)로부터 상황별 설명서를 수신한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 상황별 설명서 수신 모듈(125)은 설명서 제공 서버(300)로부터 상황별 설명서를 수신한다. 상황별 설명서 수신 모듈(125)은 설명서 데이터베이스(130)에 상황별 설명서를 저장한다. 상황별 설명서 수신 모듈(125)은 상황별 설명서를 상황별 설명서 해석 모듈(160)로 전송한다.In step S140, the camera built-in terminal 100 receives the situation-specific instructions from the manual providing server 300. [ In detail, the situation-specific instruction receiving module 125 in the camera built-in terminal 100 receives the situation-specific instructions from the instruction providing server 300. [ The situation-specific guide reception module 125 stores context-specific instructions in the instruction database 130. The situation-specific instruction receiving module 125 transmits the situation-specific instruction to the situation-specific instruction interpretation module 160.
S150 단계에서, 카메라 내장 단말기(100)는 수신된 상황별 설명서를 해석한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 상황별 설명서 해석 모듈(160)은 상황별 설명서를 해석하여 증강 현실 합성 모듈(165) 또는 음성 정보 제공 모듈(170)로 전송한다. In step S150, the camera built-in terminal 100 interprets the received context-specific instructions. In detail, the context-based interpretation module 160 in the embedded terminal 100 analyzes context-specific descriptions and transmits them to the augmented reality composing module 165 or the voice information providing module 170.
S160 단계에서, 카메라 내장 단말기(100)는 사용자 촬영 방위각을 계산한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 제품 윤곽 검출 모듈(110)은 카메라에 의해 얻어진 제품 윤곽을 이용하여 3차원 윤곽을 생성한다. 제품 윤곽 검출 모듈(110)은 생성된 3차원 윤곽을 방위각 생성 모듈(175)로 전송한다. In step S160, the camera built-in terminal 100 calculates the user's photographed azimuth angle. In detail, the product outline detection module 110 in the camera built-in terminal 100 generates a three-dimensional outline using a product outline obtained by the camera. The product contour detection module 110 transmits the generated three-dimensional contour to the azimuth generation module 175.
방위각 생성 모듈(175)은 수신된 3차원 윤곽과 제품 윤곽 데이터베이스(140)에 저장된 제품 윤곽 정보를 참조하여 사용자의 위치를 계산한다. 계산된 사용자의 위치 정보는 상황별 설명서 해석 모듈(160)로 전달된다.The azimuth angle generation module 175 calculates the position of the user by referring to the received three-dimensional contour and the product contour information stored in the product contour database 140. The calculated location information of the user is transmitted to the situation-specific interpretation module 160.
S170 단계에서, 카메라 내장 단말기(100)는 상황별 설명서와 사용자의 위치 정보를 참조하여 사용자에게 증강 현실 설명서를 제공한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 상황별 설명서 해석 모듈(160)은 사용자의 위치 정보를 반영하여 증강 현실 합성 모듈(165)이 상황별 설명서를 사용자의 시야각에 맞게 영상 신호로 출력하도록 제어한다. 또한, 카메라 내장 단말기(100) 내의 상황별 설명서 해석 모듈(160)은 사용자의 위치 정보를 반영하여 음성 정보 제공 모듈(170)이 상황별 설명서를 사용자의 위치에 맞게 음성 신호로 출력하도록 제어한다. 따라서, 사용자는 입체적인 영상 및 음성으로 설명서를 제공받을 수 있다.In step S170, the camera built-in terminal 100 provides the augmented reality instruction manual to the user by referring to the situation-specific instruction and the user's position information. The contextual interpretation module 160 in the camera built-in terminal 100 reflects the location information of the user and controls the augmented reality synthesis module 165 to output the context-specific instructions as a video signal according to the viewing angle of the user do. In addition, the contextual interpretation module 160 in the camera built-in terminal 100 reflects the location information of the user and controls the voice information providing module 170 to output the context-specific instructions as a voice signal according to the user's location. Therefore, the user can be provided with the stereoscopic video and audio instructions.
S180 단계에서, 사용자의 사용 정지 요청이 있는 경우, 사용자 설명서 제공 시스템의 동작이 종료된다. 만약, 사용자의 사용 정지 요청이 없는 경우, S130 내지 S170 단계가 다시 수행된다.In step S180, if there is a request to stop the user, the operation of the user manual providing system ends. If there is no request to suspend the user's operation, steps S130 to S170 are performed again.
상술한 바와 같이, 사용자는 단순히 카메라를 이용하여 제품을 촬영함으로써 제품의 설명서를 빠르고 정확하게 얻을 수 있다. 또한, 사용자는 증강 현실을 이용한 설명서를 제공받음으로써 제품의 설명서를 쉽게 활용할 수 있다. As described above, the user can obtain the instruction of the product quickly and accurately by simply photographing the product using the camera. In addition, the user can easily utilize the product manual by receiving the manual using the augmented reality.
본 발명의 범위 또는 기술적 사상을 벗어나지 않고 본 발명의 구조가 다양하게 수정되거나 변경될 수 있음은 이 분야에 숙련된 자들에게 자명하다. 예를 들어, 본 발명의 실시 예에 따른 카메라 내장 단말기는 셀로러 폰의 형태뿐만이 아니라, 태블릿 피씨(tablet PC), 포터블 미디어 플레이어(PMP) 등 휴대 가능한 각종 전자기기들의 형태로 제공될 수 있다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.It will be apparent to those skilled in the art that the structure of the present invention can be variously modified or changed without departing from the scope or spirit of the present invention. For example, the camera built-in terminal according to the embodiment of the present invention can be provided not only in the form of a cell phone, but also in various portable electronic devices such as a tablet PC and a portable media player (PMP). In view of the foregoing, it is intended that the present invention cover the modifications and variations of this invention provided they fall within the scope of the following claims and equivalents.

Claims (9)

  1. 증강 현실을 이용한 사용자 설명서 제공 시스템에 있어서:A system for providing user guidance using an augmented reality, comprising:
    카메라를 이용하여 제품 식별 정보를 얻고, 증강 현실 기법으로 사용자에게 설명서를 제공하는 카메라 내장 단말기를 포함하고,A camera built-in terminal for acquiring product identification information using a camera and providing a manual to a user through an augmented reality technique,
    상기 카메라 내장 단말기는 상기 제품 식별 정보에 대응하는 제품의 설명서를 설명서 제공 서버로부터 전달받는 사용자 설명서 제공 시스템.And the camera built-in terminal receives the manual of the product corresponding to the product identification information from the manual providing server.
  2. 제 1 항에 있어서,The method according to claim 1,
    상기 카메라 내장 단말기는The camera built-
    제품 영상을 획득하기 위한 영상 입력 모듈;An image input module for acquiring a product image;
    상기 제품 영상을 참조하여 3차원 윤곽을 생성하는 제품 윤곽 검출 모듈;A product contour detection module for generating a three-dimensional contour by referring to the product image;
    RFID 태그 정보 또는 제품 코드를 입력받기 위한 제품 식별 정보 생성 모듈; 및A product identification information generation module for receiving RFID tag information or a product code; And
    상기 제품 윤곽 검출 모듈 또는 상기 제품 식별 정보 생성 모듈의 출력을 상기 설명서 제공 서버로 전송하기 위한 제품 식별 정보 송신 모듈을 포함하는 사용자 설명서 제공 시스템.And a product identification information transmission module for transmitting the output of the product outline detection module or the product identification information generation module to the manual providing server.
  3. 제 1 항에 있어서,The method according to claim 1,
    상기 카메라 내장 단말기는 The camera built-
    사용자의 선택에 따라 상황별 설명서를 상기 설명서 제공 서버에 요청하기 위한 상황별 설명서 요청 모듈;A situation-specific document request module for requesting a situation-specific document to the document providing server according to a user's selection;
    상기 설명서 제공 서버로부터 상기 상황별 설명서를 수신하기 위한 상황별 설명서 수신 모듈; 및A situation-specific instruction receiving module for receiving the situation-specific instruction from the instruction providing server; And
    상기 수신된 상황별 설명서를 저장하기 위한 설명서 데이터베이스를 포함하는 사용자 설명서 제공 시스템.And a manual database for storing the received context-specific manuals.
  4. 제 1 항에 있어서,The method according to claim 1,
    상기 카메라 내장 단말기는 The camera built-
    상기 설명서 제공 서버로부터 수신된 상황별 설명서를 해석하기 위한 상황별 설명서 해석 모듈;A context-based interpretation module for interpreting context-specific instructions received from the document providing server;
    상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 증강 현실 영상 신호를 제공하기 위한 증강 현실 합성 모듈; 및An augmented reality synthesis module for providing an augmented reality video signal to a user in response to an output of the situation-specific interpretation module; And
    상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 음성 신호를 제공하기 위한 음성 정보 제공 모듈을 포함하는 사용자 설명서 제공 시스템.And a voice information providing module for providing a voice signal to the user in response to the output of the context-specific interpretation module.
  5. 제 4 항에 있어서,5. The method of claim 4,
    상기 카메라 내장 단말기는 촬영자의 위치 정보를 검출하기 위한 방위각 생성 모듈을 더 포함하고, 상기 증강 현실 합성 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 증강 현실 영상 신호를 제공하는 사용자 설명서 제공 시스템.The augmented reality synthesis module may further include an azimuth angle generation module for detecting the position information of the photographer, and the augmented reality synthesis module refers to the output of the situation interpretation module and the position information of the photographer, To provide a user-provided manual.
  6. 제 5 항에 있어서,6. The method of claim 5,
    상기 음성 정보 제공 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 음성 신호를 제공하는 사용자 설명서 제공 시스템.Wherein the voice information providing module provides the voice signal to the user by referring to the output of the context-based interpretation module and the location information of the photographer.
  7. 제 1 항에 있어서,The method according to claim 1,
    상기 설명서 제공 서버는The manual providing server
    상기 카메라 내장 단말기로부터 상기 무선 통신망을 통해 상기 제품 식별 정보를 수신하기 위한 제품 식별 정보 수신 모듈;A product identification information receiving module for receiving the product identification information from the camera built-in terminal through the wireless communication network;
    제품 윤곽 데이터베이스 또는 RFID/제품코드 데이터베이스를 검색하여 상기 제품 식별 정보에 대응하는 제품을 찾기 위한 제품 검출 모듈; 및A product detection module for searching a product contour database or an RFID / product code database to find a product corresponding to the product identification information; And
    상기 제품 식별 정보에 대응하는 제품 정보를 상기 카메라 내장 단말기로 송신하기 위한 제품 정보 송신 모듈을 포함하는 사용자 설명서 제공 시스템.And a product information transmission module for transmitting product information corresponding to the product identification information to the camera built-in terminal.
  8. 제 1 항에 있어서,The method according to claim 1,
    상기 설명서 제공 서버는The manual providing server
    상기 카메라 내장 단말기로부터의 상황별 설명서 요청을 수신하기 위한 상황별 설명서 요청 수신 모듈;A situation-specific document request receiving module for receiving a situation-specific document request from the camera built-in terminal;
    상기 상황별 설명서 요청에 응답하여 설명서 데이터베이스를 참조하여 상황별 설명서를 선택하기 위한 상황별 설명서 선별 모듈; 및A situation-specific manual selection module for referring to the manual database in response to the situation-specific manual request to select the manual according to the situation; And
    상기 선택된 상황별 설명서를 상기 카메라 내장 단말기에 송신하기 위한 상황별 설명서 송신 모듈을 포함하는 사용자 설명서 제공 시스템.And a context-specific instruction transmitting module for transmitting the selected context-specific instruction to the camera built-in terminal.
  9. 카메라 내장 단말기가 설명서 제공 서버로 제품 식별 정보를 전송하는 단계;A step in which the camera built-in terminal transmits product identification information to a manual providing server;
    상기 설명서 제공 서버가 상기 제품 식별 정보를 참조하여 제품을 식별하는 단계;Identifying the product by the manual providing server with reference to the product identification information;
    상기 카메라 내장 단말기가 상기 설명서 제공 서버로 상황별 설명서를 요청하는 단계;A step in which the camera built-in terminal requests a situation-specific instruction to the manual providing server;
    상기 설명서 제공 서버가 상기 카메라 내장 단말기로 상기 상황별 설명서를 전송하는 단계;Transmitting the context-specific instructions to the camera-embedded terminal;
    상기 카메라 내장 단말기가 상기 상황별 설명서를 해석하는 단계;A step in which the camera built-in terminal interprets the situation-specific instruction;
    상기 카메라 내장 단말기가 사용자의 위치를 파악하는 단계; 및A step in which the camera built-in terminal identifies a user's location; And
    상기 카메라 내장 단말기가 상기 상황별 설명서와 상기 사용자의 위치를 참조하여 상기 사용자에게 증강 현실 기법의 설명서를 제공하는 단계를 포함하는 사용자 설명서 제공 방법.Wherein the camera built-in terminal refers to the situation-specific instruction and the location of the user, and provides the user with instructions on the augmented reality technique.
PCT/KR2010/006084 2010-02-25 2010-09-08 System and method for providing a user manual using augmented reality WO2011105671A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100017084A KR101180278B1 (en) 2010-02-25 2010-02-25 User manual providing terminal, server and method using augmented reality
KR10-2010-0017084 2010-02-25

Publications (1)

Publication Number Publication Date
WO2011105671A1 true WO2011105671A1 (en) 2011-09-01

Family

ID=44507054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/006084 WO2011105671A1 (en) 2010-02-25 2010-09-08 System and method for providing a user manual using augmented reality

Country Status (2)

Country Link
KR (1) KR101180278B1 (en)
WO (1) WO2011105671A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577071A (en) * 2012-07-23 2014-02-12 鸿富锦精密工业（深圳）有限公司 Product usage instruction display system and method
CN103955889B (en) * 2013-12-31 2017-02-08 广东工业大学 Drawing-type-work reviewing method based on augmented reality technology
CN106408666A (en) * 2016-08-31 2017-02-15 重庆玩艺互动科技有限公司 Mixed reality demonstration method
CN107948327A (en) * 2018-01-02 2018-04-20 中国银行股份有限公司 A kind of data processing method based on professional training, apparatus and system
US11341714B2 (en) 2018-07-31 2022-05-24 Information System Engineering Inc. Information service system and information service method
US11520822B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11520823B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260576B1 (en) 2010-10-13 2013-05-06 주식회사 팬택 User Equipment and Method for providing AR service
KR20200017325A (en) * 2018-08-08 2020-02-18 주식회사 소울핑거 Augmented Reality Contents Providing System and Method
KR102261828B1 (en) 2020-04-10 2021-06-08 주식회사 리드워크 Service system for product manual using augmented reality
KR102585545B1 (en) * 2020-12-31 2023-10-05 채상훈 Method for providing speech recognition based product guidance service using user manual
KR102537147B1 (en) 2021-01-25 2023-05-26 목포대학교산학협력단 System and method for providing certified augmented reality content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030094173A (en) * 2003-11-15 2003-12-11 조용균 Cyber-mannual using hot-code
KR20050055507A (en) * 2003-12-08 2005-06-13 한국전자통신연구원 Parts maintenance system and method using augmented reality
KR20090044702A (en) * 2007-11-01 2009-05-07 광주과학기술원 System and method of augmented reality-based product viewer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030094173A (en) * 2003-11-15 2003-12-11 조용균 Cyber-mannual using hot-code
KR20050055507A (en) * 2003-12-08 2005-06-13 한국전자통신연구원 Parts maintenance system and method using augmented reality
KR20090044702A (en) * 2007-11-01 2009-05-07 광주과학기술원 System and method of augmented reality-based product viewer

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577071A (en) * 2012-07-23 2014-02-12 鸿富锦精密工业（深圳）有限公司 Product usage instruction display system and method
CN103955889B (en) * 2013-12-31 2017-02-08 广东工业大学 Drawing-type-work reviewing method based on augmented reality technology
CN106408666A (en) * 2016-08-31 2017-02-15 重庆玩艺互动科技有限公司 Mixed reality demonstration method
CN106408666B (en) * 2016-08-31 2019-06-21 重庆玩艺互动科技有限公司 Mixed reality reality border demenstration method
CN107948327A (en) * 2018-01-02 2018-04-20 中国银行股份有限公司 A kind of data processing method based on professional training, apparatus and system
US11341714B2 (en) 2018-07-31 2022-05-24 Information System Engineering Inc. Information service system and information service method
US11520822B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11520823B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system
US11934446B2 (en) * 2019-03-29 2024-03-19 Information System Engineering Inc. Information providing system

Also Published As

Publication number Publication date
KR101180278B1 (en) 2012-09-07
KR20110097305A (en) 2011-08-31

Similar Documents

Publication Publication Date Title
WO2011105671A1 (en) System and method for providing a user manual using augmented reality
WO2015122565A1 (en) Display system for displaying augmented reality image and control method for the same
WO2015064992A1 (en) Smart device performing led-id/rf communication by means of camera, and system and method for providing location-based services using same
WO2012173381A2 (en) Method and system for position-based construction site management
WO2012157890A2 (en) Apparatus and method for storing data of peripheral device in portable terminal
WO2011136608A2 (en) Method, terminal device, and computer-readable recording medium for providing augmented reality using input image inputted through terminal device and information associated with same input image
WO2011093598A2 (en) Method for providing information on object which is not included in visual field of terminal device, terminal device and computer readable recording medium
WO2012176973A1 (en) System and method for partially updating map data based on user's movement path, service apparatus and terminal apparatus thereof, and recording medium therefor
WO2011139115A2 (en) Method for accessing information on character by using augmented reality, server, and computer readable recording medium
WO2011034307A2 (en) Method and terminal for providing different image information in accordance with the angle of a terminal, and computer-readable recording medium
WO2013180320A1 (en) Method, server, and computer-readable recording medium for providing augmented reality service
WO2012153986A2 (en) Analysis method and system of correlation between users using exchangeable image file format
WO2011040710A2 (en) Method, terminal and computer-readable recording medium for performing visual search based on movement or position of terminal
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2019190076A1 (en) Eye tracking method and terminal for performing same
WO2012086984A2 (en) Method, device, and system for providing sensory information and sense
WO2015064892A1 (en) Method for emphasizing point of interest of navigation user for each time period and route guidance server
KR100706912B1 (en) System and method for mapping photo according to position
WO2016043393A1 (en) Emergency evacuation guidance system and guidance method using augmented reality
WO2022186527A1 (en) Method for providing augmented reality-based photo album
WO2021251761A1 (en) Non-contact universal remote platform providing system using avatar robot
WO2021029566A1 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
WO2014178477A1 (en) Head mounted display and method for providing contents by using same
WO2020184890A1 (en) Method and system for supporting object control by using two-dimensional camera, and non-transitory computer-readable recording medium
WO2019177437A1 (en) Screen control method and electronic device supporting same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10846698

Country of ref document: EP

Kind code of ref document: A1