WO2018124397A1 - 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법 - Google Patents

증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법 Download PDF

Info

Publication number
WO2018124397A1
WO2018124397A1 PCT/KR2017/003484 KR2017003484W WO2018124397A1 WO 2018124397 A1 WO2018124397 A1 WO 2018124397A1 KR 2017003484 W KR2017003484 W KR 2017003484W WO 2018124397 A1 WO2018124397 A1 WO 2018124397A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
augmented reality
user
image
image information
Prior art date
Application number
PCT/KR2017/003484
Other languages
English (en)
French (fr)
Inventor
손희정
이종구
Original Assignee
러브투트레일 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 러브투트레일 주식회사 filed Critical 러브투트레일 주식회사
Publication of WO2018124397A1 publication Critical patent/WO2018124397A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present invention relates to a route guidance device using augmented reality and a route guidance method using the same.
  • navigation is a device that receives a user's current location in GPS coordinates, calculates a moving route to a destination by matching the user's location information with map information, and provides the same to the user.
  • the navigation was mainly used as a means of searching for a destination route of a car, but recently, the navigation is also used as a means of individual travel according to the popularity of a smartphone equipped with a GPS.
  • the individual route guidance device using a conventional smartphone provides only the location of the user in the geographic map information. Therefore, although a moving route to a destination located outside can be provided, it is difficult to provide destination route information located inside a specific building.
  • the existing route guidance simply provides two-dimensional plane information, which makes it difficult to grasp the specific shape or feature points of the detailed components located at a specific place.
  • An object of the present invention is to virtualize the moving path from the indoor space to the destination to give a detailed three-dimensional structure to the detailed configuration and at the same time provide a more precise movement route route guidance device using augmented reality and route guidance using the same To provide a way.
  • Route guidance device using augmented reality for realizing the above object Communication unit for receiving map information about the target space from the external server; A camera unit collecting image information on the target space; A display unit for outputting augmented reality image information; And generating virtual space information on the target space based on the map information and the image information and outputting the virtual space information as the augmented reality image information.
  • the camera unit may include a stereo camera, and the controller may generate stereoscopic information of the virtual space information through the image information collected through the stereo camera.
  • the apparatus may further include a user input unit configured to detect input information according to a user's input, and the controller may generate moving path information according to the input information regarding the augmented reality image information and generate the moving path information according to the input. Can be reflected in the information.
  • a user input unit configured to detect input information according to a user's input
  • the controller may generate moving path information according to the input information regarding the augmented reality image information and generate the moving path information according to the input. Can be reflected in the information.
  • the controller may determine user location information regarding the location of the user based on the image information, and generate the movement path information by referring to the user location information.
  • the apparatus may further include a GPS for detecting user location information of the user, and the controller may generate the movement path information based on the user location information.
  • the controller may generate movement path information corresponding to the input information, and receive and output product detailed information of the corresponding product from the external server.
  • the controller may collect the product selection information and the movement path information, generate consumption pattern information for this, and transmit the information to the external server.
  • the apparatus may further include an inertial sensor unit configured to detect inertial movement direction information, which is inertia information changed according to the movement direction of the user.
  • the controller may match the image movement direction information and the inertial movement direction information to match the movement path. Can be reflected in the information.
  • the controller may match the virtual information with the virtual space information and output the same to the corresponding area.
  • the controller may set an area in which the validity of the image information is lower than a reference value among the virtual space information as an event area, and output the event information to the event area.
  • the controller may control the map information to be matched with the image information to generate update map information reflecting the image information and transmit the generated map information to the external server.
  • a route guidance method using augmented reality comprising: receiving map information on a target space from an external server through a communication unit; Collecting image information on the target space through a camera unit; And generating virtual space information on the target space as augmented reality image information based on the map information and the image information and outputting the augmented reality image information to the display unit.
  • the method may further include generating moving path information according to the input information.
  • the method may further include generating movement direction information and reflecting the movement direction information in the movement path information.
  • the method may further include matching the image moving direction information to reflect the moving path information.
  • the input information on the augmented reality image information is generated from the user input unit, generating the movement path information according to the above, when the input information includes product selection information, the corresponding product from the external server
  • the method may further include receiving product detail information of and reflecting the same in the movement path information.
  • receiving product detail information of a corresponding product from the external server and reflecting the product detail information in the movement path information may include collecting the product selection information and the movement path information. It may include generating the consumption pattern information for this, and transmitting it to the external server.
  • the method may further include outputting the event information to a corresponding area to match the virtual space information.
  • outputting the event information to a corresponding area to match the virtual space information may include a lower validity of the image information than the reference value. And setting the area as an event area.
  • the method may further include generating the update map information reflecting the image information by matching the map information with the image information, and transmitting the generated map information to the external server through a communication unit.
  • the interior space of the building more clearly can be provided to the user to virtual space.
  • a route to a destination may be provided as a 3D image.
  • the movement path may be automatically reset according to the position and the movement direction of the user.
  • various event information intended by the administrator may be presented to the user.
  • FIG. 1 is a conceptual diagram illustrating a method of using the route guidance apparatus 100 according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the configuration of a route guidance device 100 according to an embodiment of the present invention.
  • 3 to 5 are diagrams for explaining a route guidance apparatus of different methods according to another embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a route guidance method using augmented reality according to another embodiment of the present invention.
  • 7 to 13 are conceptual views illustrating the route guidance method of FIG. 6.
  • FIG. 1 is a conceptual diagram illustrating a method of using the route guidance apparatus 100 according to an embodiment of the present invention.
  • the route guidance device 100 is a device for providing augmented reality image information reflecting the three-dimensional virtual space information to the target space (F) that is the interior space of the building in which the user (U) enters and exits.
  • Such a route guidance device 100 may be applied as a general portable terminal.
  • the route guidance device 100 may be provided from an external server S based on the location information of the user U.
  • the map information of the building can be received.
  • image information is collected through the camera unit 130 (FIG. 2) of the route guidance apparatus 100, and generates virtual space information on the target space based on the map information and the image information, and outputs it as augmented reality image information.
  • the user U may input information on a desired product or a destination with respect to the output augmented reality image information, and the route guidance apparatus 100 may transmit relevant movement route information (refer to the input information input by the user U). R) and product information can be generated and output.
  • the user U may receive and use the movement route information R for a product or a destination desired by the user in the target space F as an augmented reality similar to the target space.
  • FIG. 2 is a block diagram illustrating the configuration of a route guidance device 100 according to an embodiment of the present invention.
  • the route guidance device 100 includes a communication unit 110, a camera unit 130, a display unit 150, a user input unit 170, a GPS 190, an inertial sensor unit 210, and a memory unit ( 230, a speaker 250, and a controller 270.
  • the communication unit 110 is a means for electrically communicating with an external server (not shown in FIG. 1 or less) or another terminal.
  • the communication unit 110 may receive map information about a target space from an external server.
  • the map information may include information such as design drawing information of a building in which the target space is located.
  • the map information may be stored in an external server by an administrator or may be received through a web search. Such map information may be updated to reflect image information described later.
  • the camera unit 130 is installed at one side of the route guide device 100 and is a means for collecting image information on the target space.
  • the camera unit 130 according to the present embodiment may include a stereo camera. Therefore, when the user U (not shown in FIG. 1) moves and carries the route guidance device 100, image information about the target space may be collected through the camera unit 130 exposed to the outside. In this case, the image information may include at least one of image information and photo information.
  • the display unit 150 is a means for outputting augmented reality image information.
  • the display unit 150 outputs map information, image information, and augmented reality image information reflecting virtual space information, which will be described later. Can be.
  • the user input unit 170 is a means for detecting input information according to a user's input, and may be configured as an input device such as a keypad, a mouse, or a touch screen. In this embodiment, each embodiment will be described by applying a touch screen interworking with the display unit 150.
  • the GPS 190 is a means for detecting location information of a target building and a user, and receives the location coordinates of the route guidance device 100 by communicating with a GPS satellite (not shown), thereby detecting the location information of the target building and the user. .
  • the inertial sensor unit 210 is a means for detecting inertial movement direction information, which is inertial information that is changed according to the movement direction of the user, in the path guide apparatus 100. Therefore, when the user changes the position of the route guidance device 100 from the first direction to the second direction, the inertia information changes according to the change of the corresponding direction, and may sense this as the inertia movement direction information.
  • the memory unit 230 may include an internal memory and an external memory as a means for storing collected and received information.
  • the speaker unit 250 is a means for outputting sound information and may output voice information, effect sound information, and the like corresponding to the image information output from the display unit 150.
  • the route guidance device 100 may further include a voice input device such as a microphone.
  • the voice input device may be configured to automatically drive a specific function according to the received voice information as a means for receiving a voice of the user.
  • the controller 270 may first control to generate virtual space information on the target space based on the map information and the image information and output the same as augmented reality image information.
  • the controller 270 matches the image information to the map information.
  • 3D virtual space information can be generated.
  • a singular point is extracted from at least one of pixel information, pixel information, frame information, edge information, and pattern information from the image information, and the extracted singular point and map information By matching with each other, three-dimensional virtual space information can be generated.
  • the route guidance device 100 may further include a 3D scanner.
  • the 3D scanner may irradiate laser light, detect distance information to the object by using a reception time of the laser light reflected by the object, or detect distance information through the shape of the pattern light engraved on the object by irradiating pattern light. . Therefore, when the 3D scanner is provided, the controller 270 may reflect the distance information detected by the 3D scanner in the virtual space information.
  • the user's input information on the augmented reality image information may be generated.
  • the input information may include destination information for a specific location or product selection information for a specific product selection.
  • the controller 270 may generate movement path information and product detail information corresponding to the input information and display the same on the display unit 150.
  • the controller 270 may generate user location information about the location of the user in the movement path information based on the image information detected by the camera unit 130.
  • the image information is collected through the camera unit 130 of the route guide device 100 possessed by the user, so that the specific coordinate information (for example, the center lower region) in the image information can be set as the user position information.
  • the controller 270 may receive user location information, which is coordinate information collected through the GPS 190, determine the location of the user, and reflect the location of the user in the movement path information.
  • the user location information detected through the image information collected by the camera unit 130 and the user location information detected through the GPS 190 are matched with each other, and the matched user location information is reflected in the movement route information. You may.
  • the controller 270 When the movement path information is generated and movement of the user occurs along the movement path information, the controller 270 generates image movement direction information on the change in the movement direction of the user based on the image information, and moves the movement. Can be reflected in the route information.
  • the controller 270 may reflect the inertia movement direction information in the movement path information when the inertial movement direction information, which is inertia information changed according to the movement direction of the user, is detected through the inertial sensor unit 210.
  • the controller 9270 may control the movement path information to be reset in real time by matching the above-described image movement direction information and inertial movement direction information to reflect the matched movement direction information in the movement path information.
  • the controller 270 may control to display the event information at a corresponding position among the virtual space information through which the event information is received through the communication unit 110.
  • the controller 270 may match the map information with the image information to update the map information reflecting the image information. You can control it to create and send it to an external server.
  • the route guidance apparatus 100 displays virtual space information corresponding to the target space F as augmented reality image information in a Simulaneous Localization And Map-Building (SLAM) scheme, and displays the user through the displayed augmented reality image information.
  • Movement path information according to an input may be provided, or event information intended by an administrator may be provided.
  • 3 to 5 are diagrams for explaining a route guidance apparatus of different methods according to another embodiment of the present invention.
  • FIG. 3 relates to a smart terminal 100 that is recently released and distributed.
  • the smart terminal 100 includes an inertial sensor and a stereo camera, and thus does not have a separate device. When installing it can be utilized as the path guide device described above in FIG.
  • FIG. 3 (b) is an embodiment in which an inertial sensor, a stereo camera, a communication unit, and the like are provided in the smart glass 300 and applied as the path guide device.
  • Wearable terminals such as smart glasses may be provided with information on route guidance more conveniently by a body wearing function.
  • the terminal 100 ' is a conventional smart terminal 100 ', that is, a terminal 100' that is not provided with an inertial sensor and a stereo camera, and has difficulty in providing a route guidance service of the present invention through the terminal 100 '.
  • the sensor device 400 including the inertial sensor and the stereo camera may be mounted on the terminal 100 ′ through the coupling unit 410.
  • the terminal 100 ' transmits image information and movement direction information detected by the sensor device to the terminal 100' through a connection portion that electrically connects the sensor device 400 and the terminal 100 '.
  • 100 ' may be used as a route guidance device.
  • FIG. 5 relates to a route guidance device 500 coupled to a cart C, which is mainly provided in a large mart.
  • the route guide device 500 may be coupled to be selectively lifted up and down in the handle region of the cart (C) through the cart coupling portion (510). Therefore, the user can be guided to the route from the route guidance device 500 through the operation of driving the cart (C) can perform a more convenient shopping.
  • FIG. 6 is a flowchart illustrating a route guidance method using augmented reality according to another embodiment of the present invention
  • FIGS. 7 to 13 are conceptual views illustrating the route guidance method of FIG. 6.
  • the first user U may enter an interior of a building to drive an application for guiding a route (S11).
  • the application may be driven manually according to a user's input, or automatically detected when the user's location information is entered into the building through the GPS (not shown in FIG. 2 below) provided in the route guidance device 100. May be driven.
  • the external server S may receive map information on the target space F inside the building where the user U is located (S13).
  • the map information may include information such as CAD design drawing information, and the design drawing information may include passage information such as stairs, emergency exits, and moving passages, and facility information about stores, shelves, checkout counters, and convenience facilities.
  • the map information of the target space in which the user U is located is not stored in the external server S, the map information of the corresponding space is received through a web search and the path movement device of the user U ( 100).
  • the controller 270 of FIG. 2 may determine whether image information on the target space is collected through the camera unit 130 as shown in FIG. 8 (S15). ). In other words, it may be determined whether the user U collects image information about the surrounding area through the camera unit 130 in view of the path guidance device 100 in the target space.
  • the image information may include image information and image information.
  • the stereoscopic information generated by the viewpoint difference of each camera may be collected through a plurality of cameras arranged in at least one of parallel, orthogonal, horizontal, cross, and horizontal movement.
  • the controller when the image information is collected through the camera unit 130, the controller generates virtual space information by matching the map information with the image information, and the augmented reality image information V reflecting the virtual space information is the path guidance device 100. ) Can be output to the display unit 150 (not shown in FIG. 2) (S17).
  • the controller may compare the map information with the image information and generate update map information reflecting the comparison result.
  • the update map information may be information that is confirmed as image information and reflected in the existing map information when the arrangement of a specific target is changed according to a change in some structures inside the building. Therefore, when the update map information is generated, the control unit may transmit the updated map information to the external server S to the communication unit 110 (not shown in FIG. 2 or less), so that the external server S may be updated with the latest version. .
  • the controller When generating the virtual space information, the controller analyzes the image information, and filters the color information, the text information, the image information, and the stereoscopic information (distance information) of the image information, and generates the virtual space information provided with the three-dimensional effect by applying it to the map information. Thus, it can be controlled to output the 3D augmented reality image information (V).
  • the image information may include barcode information or marker information attached to each product. Accordingly, at least one of the corresponding barcode information and the marker information may be implemented in the augmented reality image information V in association with the corresponding product information.
  • the virtual product information and facility information displayed in the augmented reality image information (V) may be displayed as edited image information edited according to the preference of the administrator or the user U, although there is a method of reflecting the image information.
  • the edited image information may be image information converted to colors and shapes preset by a user U or an administrator, instead of reflecting image information collected in real time in a color or shape. For example, a more interesting screen image may be provided to the user U by reflecting various icons or theme images.
  • the controller may determine whether the input information I is generated for the augmented reality image information from the user U as shown in FIG. 10. (S19).
  • the input information I may include destination information or product selection information for the augmented reality image information V.
  • FIG. When the user input unit 170 (refer to FIG. 2 or less) is configured as a touch screen, the destination information may be input by touching a desired position in the augmented reality image information (V) with an input means such as a finger, or a desired product may be selected. have.
  • the input information may be generated by inputting a keyword for a desired object through the search button SC disposed at one side of the augmented reality image information V.
  • the control unit controls to display the movement path information R from the current location of the user to the destination by matching the current user location information with the destination information or product information that is the target of the input information.
  • the destination may be controlled to have a more visually differentiation through blinking or changing colors.
  • the user location information may be acquired based on image information collected through a camera unit, a method of receiving through GPS, and the above-described two methods to obtain user location information.
  • the controller may receive product detailed information G related to the corresponding product from the external server S and display the same in the augmented reality image information V.
  • the product detail information (G) may briefly display the product name information, the name of the store where the product is sold, the distance to the product, the product price information, and the like. When the product detail information is clicked, the product quantity information, the origin information, It can be configured to display more specific information such as material information, Internet price information.
  • control unit may provide the user with the event information A included in the augmented reality image information (V), as shown in FIG.
  • the event information A may include image information, video information, flash information, and the like, received by the external server S.
  • FIG. The event information A may be transmitted to the route guidance device according to a specific time and period by an administrator and automatically displayed, or advertisement information related thereto may be displayed according to product selection information as shown in FIG. 11.
  • the event information A may be disposed in a region corresponding to the augmented reality image information V.
  • the event information may be displayed as shown in the flash game P as shown in FIG. 12 so that when the input information for the corresponding flash icon is generated, point information about the user may be generated.
  • the point information may be generated to match the movement path information R formed by the product selection information selected by the user, and may be configured to receive a higher point as the product gets closer to the product.
  • the event information may be configured to induce consumption of the user U by including discount information E for a specific product as shown in FIG. 13.
  • the user U may check the various event information described above while moving along the moving path to the product selected by the user, and may perform more rational consumption.
  • the controller may reset the moving path information according to the moving direction of the user U.
  • the control unit generates image movement direction information on the movement direction of the user U based on the image information and reflects it in the movement path information R, or detects it by the inertial sensor unit 210 (not shown in FIG. 2 or less).
  • the inertia movement direction information which is the inertia information, may be reflected in the movement path information.
  • the controller may match the above-described image movement direction information and inertial movement direction information with each other to reflect the matched movement direction information in the movement path information in real time.
  • the controller may refer to the image movement direction information or the inertial movement direction information to obtain the movement path information. You can reset it.
  • the controller may output the corresponding contents through the speaker unit 250 (not shown in FIG. 2) as sound information, such as voice information, or drive a vibration module (not shown) in order to notify the corresponding path change.
  • the controller may control the corresponding function to be automatically activated when the voice command information of the user U is received by the microphone, and all event information and guide information generated between the shopping of the user according to the user setting. It can be controlled to output voice to the speaker unit.
  • the route guidance apparatus 100 provides the user U with various guide information according to the consumption and movement patterns of the user U, and provides the product selection information and the movement route information R made by the user U. Collecting and generating consumption pattern information for this can be transmitted to the external server (S). Accordingly, the manager can build a more efficient building management system by collecting the consumption pattern information of a plurality of users, respectively, as a big data for the use of the facility.
  • the route guidance device using the augmented reality and the route guidance method using the same is not limited to the configuration and operation of the embodiments described above.
  • the above embodiments may be configured such that various modifications may be made by selectively combining all or part of the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

본 발명은 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 통신부; 상기 대상 공간에 대한 화상 정보를 수집하는 카메라부; 증강현실 이미지 정보를 출력하는 디스플레이부; 및 상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하여 이를 상기 증강현실 이미지 정보로 출력하도록 제어하는 제어부;를 포함하는, 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 관한 것이다.

Description

증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법
본 발명은 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 관한 것이다.
일반적으로 내비게이션은 사용자의 현재 위치를 GPS 좌표로 수신하여 지도 정보에 사용자의 위치 정보를 매칭시킴으로써 목적지까지의 이동 경로를 산출하여 사용자에게 제공하는 장치이다.
이러한 내비게이션은 이전에는 주로 자동차의 목적지 경로 검색 수단으로 이용되었으나, 최근 GPS가 구비된 스마트폰의 대중화에 따라 개인별 이동 경로 수단으로도 활용되고 있다.
하지만, 기존의 스마트폰을 이용한 개인별 경로 안내 장치는 지리적 맵 정보에서 사용자의 위치만을 제공한다. 따라서, 외부에 위치하는 목적지로의 이동 경로는 제공받을 수 있으나, 특정 건물의 실내에 위치하는 목적지 경로 정보 제공은 어려움이 있다. 또한, 기존 경로 안내는 단순히 2차원의 평면 정보만을 제공하여 특정 장소에 위치하는 세부 구성들의 구체적인 형상이나 특징점을 파악하기 곤란함 문제점이 있다.
본 발명의 목적은 실내 공간에서 목적지로 향하는 이동 경로를 가상 현실화하여 세부적 구성들까지 구체적으로 입체감을 부여함과 동시에 보다 명확한 이동 경로를 제공할 수 있는 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법을 제공하는 것이다.
상기한 과제를 실현하기 위한 증강현실을 이용한 경로 안내 장치는, 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 통신부; 상기 대상 공간에 대한 화상 정보를 수집하는 카메라부; 증강현실 이미지 정보를 출력하는 디스플레이부; 및 상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하여 이를 상기 증강현실 이미지 정보로 출력하도록 제어할 수 있다.
여기서, 상기 카메라부는, 스트레오 카메라를 포함하고, 상기 제어부는, 상기 스트레오 카메라를 통해 수집되는 상기 화상 정보를 통해 상기 가상 공간 정보의 입체 정보를 생성할 수 있다.
여기서, 사용자의 입력에 따른 입력 정보를 감지하는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 증강현실 이미지 정보에 대한 상기 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하여 이를 상기 가상 공간 정보에 반영할 수 있다.
여기서, 상기 제어부는, 상기 화상 정보를 기초하여 상기 사용자의 위치에 관한 사용자 위치 정보 판단하고, 상기 사용자 위치 정보를 참고하여 상기 이동 경로 정보를 생성할 수 있다.
여기서, 상기 사용자의 사용자 위치 정보를 감지하는 GPS를 더 포함하고, 상기 제어부는, 상기 사용자 위치 정보를 기초하여 상기 이동 경로 정보를 생성할 수 있다.
여기서, 상기 제어부는, 상기 입력 정보가 제품 선택 정보를 포함하는 경우, 이에 대응되는 이동 경로 정보를 생성하고, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 이를 출력하도록 제어할 수 있다.
여기서, 상기 제어부는, 상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여, 이에 대한 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하도록 제어할 수 있다.
여기서, 상기 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보를 감지하는 관성 센서부를 더 포함하고, 상기 제어부는, 상기 화상 이동 방향 정보 및 상기 관성 이동 방향 정보를 매칭하여 이를 상기 이동 경로 정보에 반영할 수 있다.
여기서, 상기 제어부는, 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭시켜 대응되는 영역에 출력되도록 제어할 수 있다.
여기서, 상기 제어부는, 상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하고, 상기 이벤트 정보를 상기 이벤트 영역에 출력되도록 제어할 수 있다.
여기서, 상기 제어부는, 상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여 상기 외부 서버에 전송하도록 제어할 수 있다.
상기한 과제를 실현하기 위한 다른 실시예에 따른 증강현실을 이용한 경로 안내 방법은, 통신부를 통해 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 단계; 카메라부를 통해 상기 대상 공간에 대한 화상 정보를 수집하는 단계; 및 상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 증강현실 이미지 정보로 생성하여 이를 디스플레이부에 출력시키는 단계;를 포함할 수 있다.
여기서, 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는, 상기 화상 정보에 기초하여 상기 화상 정보 대비 상기 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는, 관성 센서부를 통해 상기 사용자의 이동에 의해 변화되는 관성 정보인 관성 이동 방향 정보가 감지되는 경우, 상기 화상 이동 방향 정보와 매칭하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는, 상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계를 더 포함할 수 있다.
여기서, 상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계는, 상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여 이에 대한 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하는 단계를 포함할 수 있다.
여기서, 상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계를 더 포함할 수 있다.
여기서, 상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계는, 상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하는 단계를 포함할 수 있다.
여기서, 상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여, 이를 통신부로 상기 외부 서버에 전송시키는 단계를 더 포함할 수 있다.
상기와 같이 구성되는 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 의하면, 건물 내부 공간을 보다 명확하게 가상 공간화하여 사용자에게 제공할 수 있다.
또한, 목적지까지의 경로를 3차원 영상으로 제공할 수 있다.
또한, 사용자의 위치 및 이동 방향에 따라 자동으로 이동 경로를 재설정할 수 있다.
또한, 관리자가 의도하는 다양한 이벤트 정보를 사용자에게 제시할 수 있다.
또한, 사용의 이동 및 제품 선택 패턴을 수집하여 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 이용 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 구성을 설명하기 위한 블록도이다.
도 3 내지 도 5는 본 발명의 다른 실시예에 따른 서로 다른 방식의 경로 안내 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 증강현실을 이용한 경로 안내 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 13은 도 6의 경로 안내 방법을 설명하기 위한 개념도이다.
이하, 본 발명의 바람직한 실시예에 따른 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 대하여 첨부한 도면을 참조하여 상세히 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.
도 1은 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 이용 방법을 설명하기 위한 개념도이다.
도시된 바와 같이, 경로 안내 장치(100)는 사용자(U)가 출입하는 건물의 내부 공간인 대상 공간(F)을 3차원의 가상 공간 정보가 반영된 증강현실 이미지 정보를 제공하기 위한 장치이다.
이러한, 경로 안내 장치(100)는 일반적인 휴대용 단말기로 적용될 수 있으며, 사용자(U)가 건물 내부에 인입하여 관련 어플리케이션을 구동하는 경우, 사용자(U)의 위치 정보를 기초하여 외부 서버(S)로부터 해당 건물의 맵 정보를 수신할 수 있다. 이후, 경로 안내 장치(100)의 카메라부(130, 도2)를 통해 화상 정보가 수집되며, 맵 정보와 화상 정보를 기초하여 대상 공간에 대한 가상 공간 정보를 생성하고 이를 증강현실 이미지 정보로 출력할 수 있다. 사용자(U)는 출력되는 증강현실 이미지 정보에 대하여 원하는 제품이나 목적지에 대한 정보를 입력할 수 있고, 경로 안내 장치(100)는 사용자(U)에 의해 입력되는 입력 정보에 대하여 관련 이동 경로 정보(R)나 제품 정보 등을 생성하여 출력할 수 있다.
이와 같은, 경로 안내 장치(100)에 의하면 사용자(U)는 대상 공간(F)에서 자신이 원하는 제품이나 목적지에 대한 이동 경로 정보(R)를 대상 공간과 유사한 증강현실로 제공받아 이용할 수 있다.
이상은 경로 안내 장치(100)에 대한 기본적인 동작 방법에 대하여 설명하였다. 도 2에서는 경로 안내 장치(100)의 세부 구성들에 대하여 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 구성을 설명하기 위한 블록도이다.
도시된 바와 같이, 경로 안내 장치(100)는 통신부(110), 카메라부(130), 디스플레이부(150), 사용자 입력부(170), GPS(190), 관성 센서부(210), 메모리부(230), 스피커부(250), 및 제어부(270)를 포함할 수 있다.
통신부(110)는, 외부 서버(S, 도 1 이하생략) 또는 다른 단말기와 전기적으로 통신하기 위한 수단으로, 본 실시예에서는 외부 서버로부터 대상 공간에 대한 맵 정보를 수신할 수 있다.
맵 정보는, 대상 공간이 위치하는 건물의 설계 도면 정보와 같은 정보를 포함할 수 있으며, 해당 맵 정보는 관리자에 의해 외부 서버에 저장될 수 있으며, 또는 웹 검색을 통해 수신될 수도 있다. 이러한 맵 정보는 후술하는 화상 정보를 반영하여 업데이트될 수도 있다.
카메라부(130)는, 경로 안내 장치(100)의 일측에 설치되어 대상 공간에 대한 화상 정보를 수집하기 위한 수단으로 본 실시예에서의 카메라부(130)는 스트레오 카메라를 포함할 수 있다. 따라서, 사용자(U, 도1 이하생략)가 경로 안내 장치(100)를 소지하고 이동하는 경우, 외부에 노출되는 카메라부(130)를 통해 대상 공간에 대한 화상 정보를 수집할 수 있다. 이때, 화상 정보는 영상 정보 및 사진 정보 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(150)는, 증강현실 이미지 정보를 출력하기 위한 수단으로, 본 실시예에서는 맵 정보, 화상 정보, 및 후술하는 가상 공간 정보가 반영된 증강현실 이미지 정보 등을 출력하여 사용자에게 시각적으로 제공할 수 있다.
사용자 입력부(170)는, 사용자의 입력에 따른 입력 정보를 감지하기 위한 수단으로, 키패드, 마우스, 터치 스크린 등의 입력 장치로 구성될 수 있다. 본 실시예에서는 디스플레이부(150)와 연동되는 터치 스크린으로 적용하여 각 실시예들을 설명하도록 한다.
GPS(190)는, 대상 건물 및 사용자의 위치 정보를 감지하기 위한 수단으로, 도시하지 않은 GPS 위성과 통신하여 경로 안내 장치(100)의 위치 좌표를 수신함으로서, 이를 사용자 위치 정보로 감지할 수 있다.
관성 센서부(210)는, 경로 안내 장치(100)에 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보를 감지하기 위한 수단이다. 따라서, 사용자가 경로 안내 장치(100)를 제1 방향에서 제2 방향으로 위치 변화시키는 경우, 해당 방향의 변화에 따라 관성 정보가 변화되고, 이를 관성 이동 방향 정보로 감지할 수 있다.
메모리부(230)는, 수집 및 수신되는 정보들을 저장하기 위한 수단으로 내장 메모리 및 외장 메모리 등이 적용될 수 있다.
스피커부(250)는, 음향 정보를 출력하기 위한 수단으로, 디스플레이부(150)에서 출력되는 이미지 정보에 대응되는 음성 정보 및 효과음 정보 등을 출력할 수 있다.
또한, 도시하지 않았으나 경로 안내 장치(100)는 마이크와 같은 음성 입력 장치를 더 포함할 수 있다. 음성 입력 장치는 사용자의 음성을 수신하기 위한 수단으로 수신되는 음성 정보에 따라 특정 기능 등을 자동으로 구동되도록 할 수 있다.
제어부(270)는, 상술한 구성들을 제어하기 위한 수단으로, 먼저 맵 정보 및 화상 정보를 기초하여 대상 공간에 대한 가상 공간 정보를 생성하고 이를 증강현실 이미지 정보로 출력하도록 제어할 수 있다. 다시말해, 제어부(270)는 통신부(110)를 통해 외부 서버로부터 캐드 도면과 같은 맵 정보가 수신되고, 카메라부(130)로부터 대상 공간에 대한 화상 정보가 수집되면, 맵 정보에 화상 정보를 매칭하여 3차원의 가상 공간 정보를 생성할 수 있다. 이때, 맵 정보와 화상 정보의 매칭 방법으로는, 화상 정보에서 화소 정보, 픽셀 정보, 프레임 정보, 엣지 정보, 및 패턴 정보들 중 적어도 어느 하나를 이용하여 특이점을 추출하고, 추출된 특이점과 맵 정보를 서로 매칭함으로써, 3차원의 가상 공간 정보를 생성할 수 있다.
이때, 도시하지 않았으나, 경로 안내 장치(100)는 3D 스캐너를 더 포함할 수 있다. 3D 스캐너는 레이저광을 조사하고, 대상물에 의해 반사되는 레이저광의 수신 시간을 이용해 대상물까지의 거리 정보를 감지하거나, 패턴광을 조사하여 대상물에 새겨지는 패턴광의 형상을 통해 거리 정보를 감지할 수 있다. 따라서, 3D 스캐너가 구비되는 경우, 제어부(270)는 3D 스캐너에 의해 감지되는 거리 정보를 가상 공간 정보에 반영시킬 수도 있다.
이렇게 가상 공간 정보가 생성되어 이를 증강현실 이미지 정보로 디스플레이부(150)에 출력시키는 경우, 해당 증강현실 이미지 정보에 대한 사용자의 입력 정보가 발생될 수 있다. 입력 정보는 특정 위치에 대한 목적지 정보 또는 특정 제품 선택에 대한 제품 선택 정보를 포함할 수 있다. 이러한 입력 정보가 발생되면 제어부(270)는 해당 입력 정보에 대응되는 이동 경로 정보 및 제품 상세 정보 등을 생성하여 디스플레이부(150)에 표시하도록 제어할 수 있다.
이때, 제어부(270)는 이동 경로 정보에서 사용자의 위치에 관한 사용자 위치 정보를 카메라부(130)에서 감지되는 화상 정보에 기초하여 생성할 수 있다. 다시말해, 화상 정보는 사용자가 소지하는 경로 안내 장치(100)의 카메라부(130)를 통해 수집됨으로써, 해당 화상 정보에서 특정 좌표 정보(예컨데, 중심 하방 영역)를 사용자 위치 정보로 설정할 수 있다. 또한, 추가적으로 제어부(270)는 GPS(190)를 통해 수집되는 좌표 정보인 사용자 위치 정보를 수신하여 사용자의 위치를 판단하고 이를 이동 경로 정보에 반영할 수도 있다. 뿐만 아니라, 카메라부(130)에 의해 수집되는 화상 정보를 통해 감지되는 사용자 위치 정보와, GPS(190)를 통해 감지되는 사용자 위치 정보를 서로 매칭시키고, 매칭된 사용자 위치 정보를 이동 경로 정보에 반영할 수도 있다.
이렇게 이동 경로 정보가 생성되고 해당 이동 경로 정보를 따라 사용자의 이동이 발생되면, 제어부(270)는 화상 정보에 기초하여 화상 정보 대비 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하여, 이를 이동 경로 정보에 반영시킬 수 있다. 또한, 제어부(270)는 관성 센서부(210)를 통해 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보가 감지되는 경우, 관성 이동 방향 정보를 이동 경로 정보에 반영할 수도 있다. 뿐만 아니라, 제어부9270)는 상술한 화상 이동 방향 정보 및 관성 이동 방향 정보를 서로 매칭시켜, 매칭된 이동 방향 정보를 이동 경로 정보에 반영하여, 이동 경로 정보가 실시간으로 재설정되도록 제어할 수도 있다.
제어부(270)는 통신부(110)를 통해 이벤트 정보가 수신되는 가상 공간 정보 중 대응되는 위치에 이벤트 정보를 표시하도록 제어할 수 있으며, 맵 정보와 화상 정보를 매칭하여 화상 정보가 반영된 업데이트 맵 정보를 생성하여 이를 외부 서버로 전송하도록 제어할 수 있다.
이와 같이, 경로 안내 장치(100)는 SLAM(Simultaneous Localization And Map-Building) 방식으로 대상 공간(F)에 대응되는 가상 공간 정보를 증강현실 이미지 정보로 표시하고, 표시된 증강현실 이미지 정보를 통해 사용자의 입력에 따른 이동 경로 정보를 제공하거나, 관리자가 의도하는 이벤트 정보를 제공할 수 있다.
이상은, 경로 안내 장치(100)의 세부 구성에 대하여 설명하였다. 도 3 내지 도 5에서는 경로 안내 장치의 종류에 대하여 설명하도록 한다.
도 3 내지 도 5는 본 발명의 다른 실시예에 따른 서로 다른 방식의 경로 안내 장치를 설명하기 위한 도면이다.
먼저 도 3의 (a)는, 최근에 출시되어 유통되는 스마트 단말기(100)에 대한 것으로, 최근 스마트 단말기(100)는 관성 센서 및 스트레오 카메라를 포함하고 있어, 별도의 장치를 구비하지 않아도 관련 어플리케이션을 설치하는 경우 도 1에서 상술한 경로 안내 장치로 활용할 수 있다.
도 3의 (b)는 스마트 글래스(300)에 관성 센서, 스트레오 카메라, 및 통신부 등이 구비되어 이를 경로 안내 장치로 적용하는 실시예이다. 스마트 글래스와 같은 웨어러블 단말기는 신체 착용 기능에 의해 보다 편리하게 경로 안내에 대한 정보를 제공받을 수 있다.
도 4는 기존의 스마트 단말기(100'), 다시말해 관성 센서 및 스트레오 카메라가 구비되지 않은 단말기(100')로, 해당 단말기(100')를 통해서는 본 발명의 경로 안내 서비스를 제공하는데 어려움이 있을 수 있다. 따라서, 결합부(410)를 통해 관성 센서 및 스트레오 카메라가 구비되는 센서 장치(400)를 단말기(100')에 장착할 수 있다. 또한, 본 도면에서는 도시하지 않았으나 센서 장치(400)와 단말기(100')를 전기적으로 연결하는 연결부를 통해 센서 장치에서 감지되는 화상 정보 및 이동 방향 정보를 단말기(100')에 전달하여, 기존 단말기(100')를 경로 안내 장치로 활용할 수 있다.
도 5는 대형 마트에 주로 비치되는 카트(C)에 결합되는 경로 안내 장치(500)에 관한 것이다. 해당 경로 안내 장치(500)는 카트 결합부(510)를 통해 카트(C)의 손잡이 영역에서 선택적으로 승하강될 수 있도록 결합될 수 있다. 따라서, 사용자는 카트(C)를 주행하는 동작을 통해 경로 안내 장치(500)로부터 경로를 안내 받을 수 있어 보다 편리한 쇼핑을 실시할 수 있다.
이상은, 경로 안내 장치의 다양한 적용 종류에 대하여 설명하였다. 도 6 내지 도 13에서는 경로 안내 장치를 통해 증강현실의 경로를 안내하는 방법에 대하여 구체적으로 설명하도록 한다.
도 6은 본 발명의 다른 실시예에 따른 증강현실을 이용한 경로 안내 방법을 설명하기 위한 흐름도이고, 도 7 내지 도 13은 도 6의 경로 안내 방법을 설명하기 위한 개념도이다. 설명의 용이성을 의해 상술한 실시예 중 도 3의 (a)에 적용되는 경로 안내 장치(100)를 대표하여 설명하도록 한다.
도 6 및 도 7에 도시된 바와 같이, 최초 사용자(U)는 건물의 내부에 인입하여 경로 안내를 위한 어플리케이션을 구동시킬 수 있다(S11). 해당 어플리케이션은 사용자의 입력에 따라 수동으로 구동될 수도 있고, 경로 안내 장치(100)에 구비되어 있는 GPS(190, 도2 이하생략)를 통해 사용자가 건물 내부로 인입되는 위치 정보가 감지되는 경우 자동으로 구동될 수도 있다.
이렇게 어플리케이션이 구동되면, 외부 서버(S)로부터 사용자(U)가 위치하는 건물 내부의 대상 공간(F)에 대한 맵 정보를 수신할 수 있다(S13). 맵 정보는, 캐드 설계 도면 정보와 같은 정보로 이루어질 수 있으며, 해당 설계 도면 정보에는 계단, 비상구, 이동 통로와 같은 통로 정보 및 매장, 진열대, 계산대, 편의 시설 등에 관한 시설 정보 등이 포함될 수 있다. 또한, 사용자(U)가 위치하는 대상 공간에 대한 맵 정보가 외부 서버(S)에 저장되어 있지 않을 경우, 웹 검색을 통해 해당 공간에 대한 맵 정보를 수신하여 사용자(U)의 경로 이동 장치(100)로 제공할 수 있다.
맵 정보가 제공되면 경로 이동 장치(100)의 제어부(270, 도2 이하생략)는 도 8과 같이 카메라부(130)를 통해 대상 공간에 대한 화상 정보가 수집되는지 여부를 판단할 수 있다(S15). 다시말해, 사용자(U)가 경로 안내 장치(100)를 대상 공간에 비추어 카메라부(130)를 통해 주변 영역에 대한 화상 정보를 수집하고 있는지 여부를 판단할 수 있다. 도 2에서 상술하였지만, 화상 정보는 영상 정보 및 이미지 정보를 포함할 수 있다. 특히 스테레오 카메라가 적용되는 경우, 평행식, 직교식, 수평식, 교차식, 수평 이동식 중 적어도 어느 하나로 배치되는 복수의 카메라를 통해 각 카메라의 시점 차에 의해 발생되는 입체 정보를 수집할 수 있다. 따라서, 카메라부(130)를 통해 화상 정보가 수집되면 제어부는 맵 정보와 화상 정보를 매칭시켜 가상 공간 정보를 생성하고, 해당 가상 공간 정보가 반영된 증강현실 이미지 정보(V)를 경로 안내 장치(100)의 디스플레이부(150, 도2 이하생략)에 출력시킬 수 있다(S17). 이때, 제어부는 맵 정보와 화상 정보를 비교하여 그 비교결과를 반영한 업데이트 맵 정보를 생성할 수 있다. 업데이트 맵 정보는, 건물 내부의 일부 구조 변경에 따라 특정 대상의 배치 등이 변경되는 경우, 이를 화상 정보로 확인하여 기존 맵 정보에 반영하는 정보일 수 있다. 따라서, 업데이트 맵 정보가 생성되면 제어부는 이를 통신부(110, 도2 이하생략)로 외부 서버(S)에 전송하여, 외부 서버(S)로 하여금 맵 정보가 최신 버전으로 업데이트될 수 있도록 할 수 있다.
가상 공간 정보의 생성 시, 제어부는 화상 정보를 분석하여, 화상 정보의 색상 정보, 텍스트 정보, 이미지 정보 및 입체 정보(거리 정보) 등을 필터링하여 맵 정보에 반영함으로써 입체감이 제공된 가상 공간 정보를 생성하여, 이를 3차원의 증강현실 이미지 정보(V)로 출력하도록 제어할 수 있다. 이때, 화상 정보에는 각 제품에 부착되는 바코드 정보 또는 마커 정보가 포함될 수 있다. 따라서, 증강현실 이미지 정보(V)에는 해당 바코드 정보 및 마커 정보 중 적어도 어느 하나가 해당 제품 정보와 연계되어 구현될 수 있다.
또한, 증강현실 이미지 정보(V)에서 표시되는 가상의 제품 정보 및 시설 정보는 화상 정보를 반영하는 방법도 있지만, 관리자나 사용자(U)의 취향에 따라 편집된 편집 이미지 정보로 표시될 수 있다. 편집 이미지 정보는 색상이나 형상 등을 실시간으로 수집되는 화상 정보를 그대로 반영하는 것이 아니라, 사용자(U)나 관리자에 의해 기설정된 색상 및 형성으로 변환되는 이미지 정보일 수 있다. 예컨데, 다양한 아이콘이나 테마 이미지를 반영하여 사용자(U)에게 보다 재미있는 화면 영상을 제공할 수도 있다.
가상 공간 정보에 대한 증강현실 이미지 정보(V)가 디스플레이부에 표시되면, 제어부는 사용자(U)로부터 도 10에서처럼 해당 증강현실 이미지 정보에 대하여 입력 정보(I)를 발생되는지 여부를 판단할 수 있다(S19). 입력 정보(I)는, 증강현실 이미지 정보(V)에 대한 목적지 정보 또는 제품 선택 정보를 포함할 수 있다. 사용자 입력부(170, 도2 이하생략)가 터치 스크린으로 구성되는 경우, 해당 증강현실 이미지 정보(V)에서 원하는 위치에 대하여 손가락과 같은 입력 수단으로 터치하여 목적지 정보를 입력하거나, 원하는 제품을 선택할 수 있다. 또한, 증강현실 이미지 정보(V)의 일측에 배치되는 검색 버튼(SC)을 통해 원하는 대상에 대하여 키워드를 입력하는 방식으로도 입력 정보를 발생시킬 수 있다.
이렇게 입력 정보(I)가 발생되면, 제어부는 현재 사용자 위치 정보와 입력 정보의 대상이 되는 목적지 정보 또는 제품 정보를 서로 매칭하여 사용자의 현재 위치에서 목적지까지의 이동 경로 정보(R)를 표시하도록 제어할 수 있고(S21), 목적지는 점멸이나 색상 변화 등을 통해 보다 시각적으로 차별성을 갖도록 제어할 수 있다. 사용자 위치 정보는, 카메라부를 통해 수집되는 화상 정보를 통해 판단는 방법, GPS를 통해 수신하는 방법 및 상술한 두 가지 방법을 서로 매칭하여 사용자 위치 정보를 획득할 수도 있다.
또한, 제어부는 입력 정보(I)가 제품 선택 정보를 포함하는 경우, 해당 제품에 관련 제품 상세 정보(G)를 외부 서버(S)로부터 수신하여 증강현실 이미지 정보(V)에 표시할 수 있다. 제품 상세 정보(G)에는 제품명 정보, 제품이 판매되는 매장명 정보, 제품까지의 거리 정보, 제품 가격 정보 등이 간략하게 표시될 수 있으며, 제품 상세 정보를 클릭하면, 제품 수량 정보, 원산지 정보, 재료 정보, 인터넷 가격 정보 등 보다 구체적인 정보를 표시하도록 구성할 수 있다.
뿐만 아니라, 제어부는 도 11에서처럼 이벤트 정보(A)를 증강현실 이미지 정보(V)에 포함하여 사용자에게 제공할 수 있다. 이벤트 정보(A)는, 외부 서버(S)에 의해 수신되는 이미지 정보, 동영상 정보, 플래시 정보 등을 포함할 수 있다. 해당 이벤트 정보(A)는 관리자에 의해 특정 시간 및 주기에 따라 경로 안내 장치로 전송되어 자동으로 표시될 수도 있고, 도 11에서처럼 제품 선택 정보에 따라 이에 관련된 광고 정보가 표시될 수도 있다.
이러한 이벤트 정보(A)는, 증강현실 이미지 정보(V)와 매칭되도록 대응되는 영역에 배치될 수 있다. 구체적으로, 이벤트 정보(A)는 대응되는 목적지나 제품에 주변 영역에 배치하거나, 증강현실 이미지 정보(V) 중 화상 정보의 유효도가 기준값이 낮은 영역을 이벤트 영역으로 설정하여 해당 영역에 이벤트 정보를 표시하도록 제어할 수 있다.
또한, 이벤트 정보는 도 12에서처럼 플래시 게임(P)과 같이 표시되어 해당 플래시 아이콘에 대한 입력 정보가 발생되면 사용자에 대한 포인트 정보가 생성되도록 구성될 수 있다. 이때, 포인트 정보는 사용자가 선택한 제품 선택 정보에 의해 형성되는 이동 경로 정보(R)에 매칭되도록 생성되어, 제품에 가까워질수록 높은 포인트를 받을 수 있게 구성될 수도 있다.
여기에 더하여, 이벤트 정보는 도 13에서처럼 특정 제품에 대한 할인 정보(E)를 포함하여 사용자(U)의 소비를 유도하도록 구성될 수도 있다.
사용자(U)는 자신이 선택한 제품으로의 이동 경로를 따라 이동하면서 상술한 다양한 이벤트 정보를 확인하여 보다 합리적인 소비를 실시할 수 있다.
사용자(U)가 이동 경로 정보(R)를 따라 이동하는 과정에서 제어부는 사용자(U)의 이동 방향에 따라 이동 경로 정보를 재설정할 수 있다. 이를 위해, 제어부는 화상 정보를 기초하여 사용자(U)의 이동 방향에 관한 화상 이동 방향 정보를 생성하여 이를 이동 경로 정보(R)에 반영하거나, 관성 센서부(210, 도 2 이하생략)에서 감지되는 관성 정보인 관성 이동 방향 정보를 참고하여 이동 경로 정보에 반영시킬 수도 있다. 또한, 제어부는 상술한 화상 이동 방향 정보 및 관성 이동 방향 정보를 서로 매칭시켜, 매칭된 이동 방향 정보를 이동 경로 정보에 실시간으로 반영시킬 수 있다.
따라서, 제어부는 사용자(U)가 이동 경로 정보(R)를 따라 이동하는 중 어떠한 이유에 의해 해당 이동 경로를 벗어나는 상황이 발생되면, 화상 이동 방향 정보 또는 관성 이동 방향 정보를 참고하여 이동 경로 정보를 재설정할 수 있다. 또한, 해당 경로 변경을 알리기 위해 제어부는 해당 내용을 음성 정보와 같은 음향 정보로 스피커부(250, 도2 이하생략)를 통해 출력시키거나, 도시하지 않은 진동 모듈을 구동시킬 수도 있다. 뿐만 아니라, 제어부는 사용자(U)의 음성 명령 정보가 마이크로 수신되는 경우, 이에 대응되는 기능이 자동으로 활성화되도록 제어할 수 있으며, 사용자의 쇼핑 간에 발생되는 모든 이벤트 정보 및 안내 정보를 사용자 설정에 따라 스피커부로 음성 출력하도록 제어할 수 있다.
이렇게 경로 안내 장치(100)는 사용자(U)의 소비 및 이동 패턴에 따른 다양한 안내 정보를 사용자(U)에게 제공을 하고, 사용자(U)에 의해 이루어지는 제품 선택 정보 및 이동 경로 정보(R)를 수집하여 이에 대한 소비 패턴 정보를 생성하여 이를 외부 서버(S)로 전송시킬 수 있다. 이에 따라, 관리자는 다수 사용자의 소비 패턴 정보를 각각 수집하여 시설물 이용에 대한 빅데이터로 활용함에 따라 보다 효율적인 건물 관리 시스템을 구축할 수 있다.
상기와 같은 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법는 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.

Claims (20)

  1. 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 통신부;
    상기 대상 공간에 대한 화상 정보를 수집하는 카메라부;
    증강현실 이미지 정보를 출력하는 디스플레이부; 및
    상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하여 이를 상기 증강현실 이미지 정보로 출력하도록 제어하는 제어부;를 포함하는, 증강현실을 이용한 경로 안내 장치.
  2. 제1항에 있어서,
    상기 카메라부는,
    스트레오 카메라를 포함하고,
    상기 제어부는,
    상기 스트레오 카메라를 통해 수집되는 상기 화상 정보를 통해 상기 가상 공간 정보의 입체 정보를 생성하는, 증강현실을 이용한 경로 안내 장치.
  3. 제1항에 있어서,
    사용자의 입력에 따른 입력 정보를 감지하는 사용자 입력부를 더 포함하고,
    상기 제어부는,
    상기 증강현실 이미지 정보에 대한 상기 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하여 이를 상기 가상 공간 정보에 반영하는, 증강현실을 이용한 경로 안내 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 화상 정보를 기초하여 상기 사용자의 위치에 관한 사용자 위치 정보 판단하고, 상기 사용자 위치 정보를 참고하여 상기 이동 경로 정보를 생성하는, 증강현실을 이용한 경로 안내 장치.
  5. 제3항에 있어서,
    상기 사용자의 사용자 위치 정보를 감지하는 GPS를 더 포함하고,
    상기 제어부는,
    상기 사용자 위치 정보를 기초하여 상기 이동 경로 정보를 생성하는, 증강현실을 이용한 경로 안내 장치.
  6. 제3항에 있어서,
    상기 제어부는,
    상기 입력 정보가 제품 선택 정보를 포함하는 경우, 이에 대응되는 이동 경로 정보를 생성하고, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 이를 출력하도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여, 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  8. 제3항에 있어서,
    상기 제어부는,
    상기 화상 정보에 기초하여 상기 화상 정보 대비 상기 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하고, 이를 상기 이동 경로 정보에 반영하는, 증강현실을 이용한 경로 안내 장치.
  9. 제8항에 있어서,
    상기 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보를 감지하는 관성 센서부를 더 포함하고,
    상기 제어부는,
    상기 화상 이동 방향 정보 및 상기 관성 이동 방향 정보를 매칭하여 이를 상기 이동 경로 정보에 반영하는, 증강현실을 이용한 경로 안내 장치.
  10. 제3항에 있어서,
    상기 제어부는,
    통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭시켜 대응되는 영역에 출력되도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하고, 상기 이벤트 정보를 상기 이벤트 영역에 출력되도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  12. 제1항에 있어서,
    상기 제어부는,
    상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여 상기 외부 서버에 전송하도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  13. 통신부를 통해 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 단계;
    카메라부를 통해 상기 대상 공간에 대한 화상 정보를 수집하는 단계; 및
    상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하고, 이에 대한 증강현실 이미지 정보를 디스플레이부에 출력시키는 단계;를 포함하는, 증강현실을 이용한 경로 안내 방법.
  14. 제13항에 있어서,
    사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  15. 제14항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    상기 화상 정보를 기초하여 상기 사용자의 위치에 관한 사용자 위치 정보를 판단하여 이를 상기 이동 경로 정보에 반영하는 단계를 포함하는, 증강현실을 이용한 경로 안내 방법.
  16. 제14항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    상기 화상 정보에 기초하여 상기 화상 정보 대비 상기 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  17. 제16항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    관성 센서부를 통해 상기 사용자의 이동에 의해 변화되는 관성 정보인 관성 이동 방향 정보가 감지되는 경우, 상기 화상 이동 방향 정보와 매칭하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  18. 제14항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  19. 제16항에 있어서,
    상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계는,
    상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하는 단계를 포함하는, 증강현실을 이용한 경로 안내 방법.
  20. 제13항에 있어서,
    상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
PCT/KR2017/003484 2016-12-27 2017-03-30 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법 WO2018124397A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0179701 2016-12-27
KR1020160179701A KR20180075843A (ko) 2016-12-27 2016-12-27 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Publications (1)

Publication Number Publication Date
WO2018124397A1 true WO2018124397A1 (ko) 2018-07-05

Family

ID=62709774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003484 WO2018124397A1 (ko) 2016-12-27 2017-03-30 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Country Status (2)

Country Link
KR (1) KR20180075843A (ko)
WO (1) WO2018124397A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009031B1 (ko) * 2018-09-07 2019-08-08 네이버랩스 주식회사 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템
WO2020190082A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 이동 단말기를 이용한 내비게이션 서비스 제공 방법 및 이동 단말기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120043564A (ko) * 2010-10-26 2012-05-04 엘지전자 주식회사 이동 단말기의 정보 표시 장치 및 그 방법
KR20130091991A (ko) * 2012-02-09 2013-08-20 경기과학기술대학교 산학협력단 영상패턴인식을 이용한 증강 현실 장치
US20130346168A1 (en) * 2011-07-18 2013-12-26 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
KR20140113404A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 실내 네비게이션 메커니즘에 관한 통신 장치 및 그 작동 방법
KR20150088662A (ko) * 2014-01-24 2015-08-03 한국전자통신연구원 증강현실 특이점을 이용한 이동 길 안내 서비스 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120043564A (ko) * 2010-10-26 2012-05-04 엘지전자 주식회사 이동 단말기의 정보 표시 장치 및 그 방법
US20130346168A1 (en) * 2011-07-18 2013-12-26 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
KR20130091991A (ko) * 2012-02-09 2013-08-20 경기과학기술대학교 산학협력단 영상패턴인식을 이용한 증강 현실 장치
KR20140113404A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 실내 네비게이션 메커니즘에 관한 통신 장치 및 그 작동 방법
KR20150088662A (ko) * 2014-01-24 2015-08-03 한국전자통신연구원 증강현실 특이점을 이용한 이동 길 안내 서비스 제공 방법 및 장치

Also Published As

Publication number Publication date
KR20180075843A (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
WO2016099052A1 (ko) 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
WO2015174729A1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2015194907A1 (ko) 주차 위치 확인시스템 및 이를 이용한 주차 위치 확인방법
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2018135730A1 (ko) Vr 영상 생성 방법, vr 영상 처리 방법 및 vr 영상 처리 시스템
WO2011019200A2 (ko) 홍보 가능한 지능형 디스플레이 장치 및 그 홍보 방법
WO2014058136A1 (ko) 이미지를 이용한 신장 측정 방법 및 이동 로봇 장치
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP2012108053A (ja) 携帯情報端末装置及び制御プログラム
CN109147623A (zh) 一种实时定位参观的博物馆用导览系统
WO2018124397A1 (ko) 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법
WO2016010200A1 (en) Wearable display device and control method thereof
WO2015064892A1 (ko) 시간대별 내비게이션 사용자의 관심지점을 강조하는 방법 및 경로안내 서버
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN112015836A (zh) 导航地图显示方法及装置
WO2015034130A1 (ko) 원격 존재 장치
WO2018016928A1 (ko) 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
WO2014038750A1 (ko) 사운드 기반 인터페이스 장치 및 방법
WO2015046669A1 (en) Head mounted display device and method of controlling the same
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
WO2014107000A1 (ko) 보행 경로 안내 시스템 및 방법
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
WO2015013937A1 (zh) 一种带互动功能的显示系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17885480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11/10/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17885480

Country of ref document: EP

Kind code of ref document: A1