WO2024014592A1 - Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법 - Google Patents

Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법 Download PDF

Info

Publication number
WO2024014592A1
WO2024014592A1 PCT/KR2022/010406 KR2022010406W WO2024014592A1 WO 2024014592 A1 WO2024014592 A1 WO 2024014592A1 KR 2022010406 W KR2022010406 W KR 2022010406W WO 2024014592 A1 WO2024014592 A1 WO 2024014592A1
Authority
WO
WIPO (PCT)
Prior art keywords
controller
hand
user
motion
wire
Prior art date
Application number
PCT/KR2022/010406
Other languages
English (en)
French (fr)
Inventor
설재혁
강우선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/010406 priority Critical patent/WO2024014592A1/ko
Publication of WO2024014592A1 publication Critical patent/WO2024014592A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an XR device, a controller device for an XR device, and a method of operating an XR device using the same. More specifically, an XR device to which tracking technology using a ToF camera is applied, a controller device for an XR device, and a method of operating an XR device using the same. It's about.
  • VR technology provides objects or backgrounds in the real world as computer graphic images
  • AR technology provides virtual computer graphics overlapping images of real objects
  • MR technology provides real world and virtual objects on equal footing. It is provided in combination.
  • technology that includes all VR, AR, and MR technologies is also referred to as XR (extended reality) technology, that is, extended reality.
  • a device to which this XR technology is applied may be referred to as an XR device or an XR device.
  • XR devices can be implemented in various types.
  • XR devices worn on the body are generally used in conjunction with an auxiliary input device or controller.
  • a plurality of infrared LED rings are mounted on the controller for location tracking. This occupies a significant portion of the controller and causes the size and weight of the controller to increase.
  • controllers are implemented in such a way that the user must continuously grip the controller while using the controller. Accordingly, when performing a specific motion using a controller, for example, a motion for a scene where a virtual object is thrown, not only is it inconvenient to operate, but the controller is often lost. For this purpose, it has been implemented in a form that includes a hand strip in the controller, but even in this case, the user still has the inconvenience of having to maintain a grip on the controller. Maintaining the grip of the controller for a long period of time causes the problem of increasing user fatigue.
  • the present invention aims to solve the above-mentioned problems and other problems.
  • the purpose of the present invention is to provide a controller device implemented to identify and track the location of the controller without providing an LED ring, an XR device using the same, and a method of operating the same.
  • the purpose of the present invention is to provide a controller device that can interact with virtual images/objects provided by an XR device without gripping the controller, an XR device using the same, and a method of operating the same.
  • the purpose is to provide a controller device capable of providing feedback related to interaction with a virtual image / object provided from an XR device through a controller, an XR device using the same, and a method of operating the same.
  • the XR device operates in conjunction with a controller that can be worn on the user's hand, and the XR device detects the position of the hand of the user wearing the controller and detects the hand motion of the user wearing the controller.
  • the XR device By controlling the movement of the virtual hand object, you can interact with the virtual target object provided by the XR device.
  • haptic/tactile sensations are provided to the user through a controller, allowing for more realistic and natural interaction.
  • the XR device disclosed herein is connected to a controller worn on the user's hand and transmits and receives data. Additionally, the XR device collects external environment information and tracks the user's location through a first camera, and tracks the position of the user's hand wearing the controller through a second camera. Then, the virtual object corresponding to the hand is displayed on the VR image corresponding to the collected external environment information, the position of the hand is tracked, and the virtual object corresponding to the hand is processed and displayed to move on the VR image. In addition, the XR device receives motion detection data corresponding to the motion of the hand from the controller as input, and allows the virtual object corresponding to the hand to perform interaction-related motion with the target object of the VR image based on the received input. Display. Accordingly, the user does not need to continuously grip the controller while using the XR device, and the XR device does not need to be configured to track the location of the controller, enabling more natural interaction.
  • the XR device includes a communication module that transmits and receives data with a controller; a first camera for collecting external environment information and tracking the user's location and a second camera for tracking the location of the user's hand on which the controller is worn; a display that displays a virtual object corresponding to the hand on a VR image corresponding to the collected external environment information; and a processor that tracks the position of the hand, processes the virtual object to move on the VR image, and displays it on the display.
  • the processor receives motion detection data corresponding to the motion of the hand from the controller through the communication module, and based on the received input, the virtual object interacts with the target object of the VR image.
  • the display can be controlled to perform relevant motions.
  • the processor may control the display to display interaction-related motion for the target object of the VR image while a feedback signal corresponding to the motion detection data is generated in the controller.
  • the first camera may be a general camera and the second camera may be a ToF camera.
  • the XR device is a head mounted display device that can be worn on the user's head, and when worn, the first camera is positioned above both eyes of the user to scan the front environment, and the second camera is positioned above the user's eyes. It is positioned below both eyes to track the hands of the user wearing the controller.
  • the processor controls to capture points of the user's hand wearing the controller through the second camera, and creates an image including a depth map of the user's hand based on the captured points.
  • the received input is one of a first input and a second input
  • the first input is motion detection data according to a motion of bending the hand wearing the controller
  • the second input is motion detection data according to a motion of bending the hand wearing the controller. It is motion detection data according to motion
  • the processor can display a motion maintaining the interaction when the first input is received and display a motion deviating from the interaction when the second input is received.
  • the controller device of the XR device is made to be wearable on the user's hand and includes a communication module that transmits and receives data when connected to the XR device; A sensor that detects changes in tension or compression of the connected wire according to the motion of the hand of the user wearing the main body; Based on the recognition of the hand of the user wearing the main body through the camera of the XR device, motion detection data corresponding to a change in tension or compression of the connected wire is generated to interact with the VR image displayed on the XR device. A processor transmitting to the XR device; and an output module that outputs a feedback signal when interaction with the VR image is performed based on the motion detection data.
  • the senor is connected to a ring worn on the user's finger and a wire wrapped around the wheel module, and after wearing, tensions the wire corresponding to a motion of bending the finger or straightens the finger. Wire compression corresponding to motion can be detected and transmitted to the processor.
  • one end of the wire is connected to the ring and the other end of the wire is wound around a torsion spring built in the wheel module in the form of a fixed cable, and the sensor is configured to connect the wire according to the motion of bending the finger.
  • the wire tension can be detected, and when the wire is drawn in the wheel module direction according to the motion of spreading the finger, wire compression can be detected.
  • vibration feedback may be output through the output module while a motion of the virtual object of the VR image gripping the target object is displayed based on the motion detection data.
  • the level of vibration feedback output through the output module is reduced, and the VR image Data related to the wire compression may be transmitted to the XR device so that the feedback movement for the target object is displayed.
  • the method of operating an XR device includes connecting the XR device and a controller device worn on the user's hand; Recognizing the hand of a user wearing a controller device through the camera of the XR device; detecting changes in tension or compression of the connected wire according to the motion of the hand of the user wearing the controller device; and displaying interactive motion on a VR image displayed on the XR device in response to receiving motion detection data corresponding to a change in tension or compression of the sensed wire.
  • interaction is achieved by identifying and tracking the position of the user's hand, including the depth map, through a ToF camera provided in the XR device, without the need to provide an LED ring in the controller linked with the XR device.
  • You can create a virtual object for . By eliminating the LED ring, which takes up a significant portion of the controller, it contributes to reducing the size and weight of the controller.
  • the controller that works with the XR device is implemented in a form worn on the hand rather than in a grip form (i.e., hand-held type), so that the user can interact with the XR device.
  • a grip form i.e., hand-held type
  • Figure 1 is a block diagram showing an exemplary configuration of an XR device according to an embodiment of the present invention.
  • Figure 2 is a diagram including the appearance and example configuration of a controller communicating with an XR device according to an embodiment of the present invention.
  • FIGS. 3A, 3B, and 3C are diagrams showing a wearing state and exemplary components when an XR device according to an embodiment of the present invention is implemented as an HMD type.
  • FIGS. 4A, 4B, 4C, and 4D are diagrams for explaining the structure, exemplary components, and operation of a controller that communicates with an XR device according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an operation in which an XR device and a controller interact based on motion detection data from the controller, according to an embodiment of the present invention.
  • FIGS. 6A and 6B are diagrams for explaining interaction actions displayed on a VR image of an XR device by tracking the hands of a user wearing a controller, according to an embodiment of the present invention.
  • Figure 7 is an operational flow diagram related to Figures 6A and 6B.
  • Figure 8 is an example flowchart illustrating displaying an interaction operation on a VR image of an XR device based on wire compression detected by the controller, according to an embodiment of the present invention.
  • FIG. 9 is an example flowchart illustrating displaying an interaction operation on a VR image of an XR device based on an increase in wire compression or wire tension detected by the controller, according to an embodiment of the present invention.
  • the "XR device” disclosed in this specification is a electronic device to which extended reality (XR, eXtended Reality) technology, which collectively refers to VR, AR, and MR technologies, is applied, and is a three-dimensional device acquired through various sensors or through an external device.
  • Various types of electronic devices that can analyze data to obtain information about surrounding space or real objects, and output augmented reality images, augmented reality objects, and/or augmented reality objects rendered on real objects based on this data. It can include all devices.
  • XR devices can be implemented in the form of, for example, Head-Mount Display (HMD), Head-Up Display (HUD), mobile phone, tablet PC, laptop, desktop, TV, digital signage, etc.
  • HMD Head-Mount Display
  • HUD Head-Up Display
  • mobile phone tablet PC
  • laptop desktop
  • TV digital signage
  • controller is connected wirelessly/wired to the XR device and controls the operation of the XR device, displayed image, virtual object, or reality through the XR device. It may refer to a device for performing various inputs related to interaction with an object.
  • Figure 1 is a block diagram showing an exemplary configuration of an XR device 100 according to an embodiment of the present invention.
  • the XR device 100 includes a communication module 110, an input module 120, a camera 121, a sensor 140, a display 151, a memory 170, and a processor ( 180), and a power supply unit 190.
  • the XR device 100 may include only some of the above-described components or may include more components.
  • the communication module 110 can communicate with the controller 200 (FIG. 2), an external device, a server, wired/wireless, and can communicate using wireless communication.
  • wireless communication may include, for example, short-range wireless communication methods such as Wi-Fi and Bluetooth, and long-distance wireless communication methods such as LTE using the 3GPP communication standard.
  • the input module 120 includes mechanical input means (e.g., mechanical keys, buttons, dome switches, jog wheels, jog switches, etc.) provided on the front, rear, or sides of the XR device 100, and touch-type input means. May include input means.
  • the touch input means includes virtual keys, soft keys, visual keys, and touch keys displayed on the touch screen through software processing. , these may consist of, for example, graphics, text, icons, video, or a combination thereof.
  • the input module 120 may further include a camera for receiving video signals (hereinafter described as camera 121) and a microphone for receiving audio signals.
  • camera 121 a camera for receiving video signals
  • microphone for receiving audio signals.
  • the camera 121 may include a first camera 121a and a second camera 121b. Images acquired through the first camera 121a and the second camera 121b can each be converted into an electrical signal, and each image converted into an electrical signal is stored in the memory 170 or the like through the processor 180. It can be displayed directly on the display 151.
  • the first camera 121a can capture the surrounding environment of the XR device 100 (e.g., a subject in front) and convert it into an electrical signal, and based on this, determine the user's location and track it. .
  • the second camera 121b can determine the location of the user's hand that interacts with the XR device 100 and track it.
  • the first camera 121a may refer to a general camera
  • the second camera 121b may refer to a ToF camera
  • the first camera 121a and the second camera 121b may each include a plurality.
  • a ToF camera may refer to a camera that includes a Time of Flight (ToF) sensor.
  • ToF technology is a technology that detects the location and depth of the subject by transmitting a sound wave or a light source to the subject and measuring the time of the reflected sound wave or light source returning through the subject. Through a ToF sensor equipped with this ToF technology, it is possible to measure the depth of an object located within the field of view of the ToF camera, and based on this, 3D-based results can be obtained.
  • Each of the first camera 121a and the second camera 121b may have different angles of view, and may detect actual objects located within each angle of view.
  • the processor 180 may display a virtual object corresponding to an actual object located within the field of view through the display 151.
  • the sensor 140 can obtain at least one of information on an external device or the XR device 100, information on the surrounding environment surrounding the XR device 100, and user information using various sensors provided on the XR device 100. there is.
  • This sensor 140 may be mounted inside or outside the XR device 100, and may include, for example, a proximity sensor, an illumination sensor, an acceleration sensor, a gravity sensor, a magnetic sensor, a geomagnetic sensor, a gyro sensor, and an inertial sensor.
  • RGB sensor IR sensor
  • fingerprint recognition sensor ultrasonic sensor
  • light sensor microphone
  • lidar lidar
  • radar motion sensor
  • inclination sensor brightness sensor
  • altitude sensor altitude sensor
  • olfactory sensor temperature sensor
  • depth sensor depth sensor
  • pressure sensor may include various sensors such as bending sensors, audio sensors, video sensors, GPS (Global Positioning System) sensors, and touch sensors.
  • the senor 140 is a sensor for collecting 3D point data, such as a part of the user's body, for example, LiDAR (light detection and ranging), RGBD (Red Green Blue Depth), and 3D laser scanner. ) and the like may further be included.
  • 3D point data such as a part of the user's body, for example, LiDAR (light detection and ranging), RGBD (Red Green Blue Depth), and 3D laser scanner. ) and the like may further be included.
  • the display 151 serves to display images such as VR images and virtual objects generated through the processor 180 to the user.
  • the display 151 may be formed of a translucent material so that the external environment can be viewed through the opening. there is.
  • the display 151 may operate in such a way that the image generated by the processor 180 is output through a guide lens. Specifically, images such as VR images and virtual objects generated by the processor 180 are displayed on the display 151 through a plurality of lens modules that diffuse and converge the light emitted from the image source of the processor 180. may be released.
  • the display 151 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), or a flexible display. , can be implemented as a 3D display, ELD (Electro Luminescent Display), and M-LED (Micro LED).
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • a flexible display can be implemented as a 3D display, ELD (Electro Luminescent Display), and M-LED (Micro LED).
  • the memory 170 may store data supporting various functions of the XR device 100.
  • the memory 170 includes surrounding environment information (image of the subject in front) acquired through the camera 121, data input through the input module 120, learning data input through the learning processor 181, Learning models, learning history, etc. can be saved.
  • the memory 170 may store user information and information about the controller device of the XR device 100.
  • the processor 180 may control components provided in the XR device 100 to perform the overall operation of the XR device 100.
  • the processor 180 may generate a VR image, an image of a virtual object, etc. to be displayed through the XR device 100 and provide the image to the display 151.
  • the processor 180 analyzes 3D point data or image data acquired through various sensors included in the sensor 140 or in conjunction with the controller 200 (FIG. 2) to determine the surrounding space or real object of the XR device 100. Information about can be obtained, a virtual object created based on the obtained information can be rendered, and output through the display 151. For example, the processor 180 may render a virtual object including additional information about the real object recognized through the first camera 121a so that it overlaps the real object and output it on the display 151. .
  • the processor 180 may operate in conjunction with the learning processor 181 provided internally or externally.
  • the learning processor 181 may be implemented to perform the operations of the processor 180 using at least one data analysis algorithm, a machine learning algorithm, or a learning model composed of an artificial neural network.
  • the processor 180 may perform the above operation using the learning results from the learning processor 181.
  • the power supply unit 190 receives external power and internal power based on the control of the processor 180 and supplies power necessary for the operation of each component of the XR device 100.
  • the power supply unit 190 may include a rechargeable battery.
  • FIG. 2 is a diagram including the appearance and example configuration of a controller 200 that communicates with the XR device 100 according to an embodiment of the present invention.
  • the controller 200 according to the present invention is connected to interact with the XR device 100 through wired/wireless communication.
  • the XR device 100 may be implemented in the form of glasses worn on the user's face or in the form of goggles that fit closely.
  • the XR device 100 can be connected to and interact with the controller 200 implemented in a form worn on the user's hand.
  • the controller 200 may include a communication module 210, a sensor 220, a processor 230, and an output module 240.
  • the communication module 210 of the controller 200 communicates with the XR device 100 through wired/wireless communication to transmit and receive signals/data.
  • this communication module 210 includes one or more connection ports for cable connection, and when implemented as a wireless communication method, for example, a short-range wireless communication method such as Wi-Fi or Bluetooth is used. You can communicate by doing this.
  • the sensor 220 may include a motion detection sensor that detects the motion of the hand of the user wearing the controller 200.
  • the motion detection sensor detects wire compression when a user wearing the controller 200 performs a motion of bending a finger, and detects wire tension when the user performs a motion of straightening a finger.
  • Signals/data corresponding to wire compression/tension detected through the motion detection sensor of the sensor 220 are transmitted as input to the XR device 100 through the communication module 210 to perform interaction with the device 100. do.
  • the processor 230 connects the XR device 100 and the controller 200, and connects the controller 200 itself and/or the XR device 100 based on the sensing result of the sensor 220 of the controller 200. Perform actions to interact.
  • the processor 230 receives the sensing results of the motion detection sensor of the sensor 220, transmits signals/data corresponding to the received sensing results to the XR device 100, and outputs the output module 240. It can operate to output a feedback signal through .
  • FIGS. 3A, 3B, and 3C are diagrams showing a wearing state and exemplary components when an XR device according to an embodiment of the present invention is implemented as an HMD type.
  • a general camera (hereinafter, 'first camera') is installed above both eyes of the user when worn.
  • 121a) may be positioned so that the ToF camera (hereinafter referred to as 'second camera') 121b is positioned at the bottom at an angle.
  • the first camera 121a is used to collect information about the external environment around the user and track the location of the user wearing the XR device.
  • the second camera 121b is used to track the hand position of the user wearing a controller linked to the XR device.
  • the second camera 121b acquires an image of the user's hand shown within the field of view, including a depth map, through the mounted ToF sensor.
  • the ToF sensor projects a sound wave/light source onto the user's hand (e.g., an arbitrary point on the user's hand), measures the return time of the reflected sound wave/light source that hits the user's hand, and determines the depth of the user's hand.
  • a depth map represents an image containing information related to the distance from the viewpoint to the surface of the user's hand.
  • the XR device 100 can acquire an original image of the user's hand, a depth map, and an image resulting from applying the depth map to the original image through the second camera 121b.
  • the controller 200 interoperating with the XR device 100 is implemented as worn on the user's hand, tracking the position of the user's hand is equivalent to tracking the position of the controller. It becomes a thing. Accordingly, the XR device 100 can accurately implement the movement of the virtual object corresponding to the controller using only the second camera 121b. This will be described in more detail below.
  • the first camera 121a may be disposed above and on the left and right sides of the binocular reference to be suitable for collecting environmental information around the user's field of view. Additionally, the second camera 121b may be disposed on the left and right sides below the binocular standard to be suitable for tracking the position of the hand moving in the range below the user's face.
  • the first camera is located at another location suitable for tracking the user's location, and the second camera is positioned at a different location suitable for tracking the user's location. may be placed in another position suitable for tracking the position of the user's hand.
  • the XR device 100 includes a front case 101 and a face shield 102, between which a lens module 150, a PCB 180, and cameras 121a and 121b are provided. It can be implemented including:
  • the face shield 102 may be implemented in the form of goggles that closely fit both eyes of the user, but is not limited to this.
  • the front case 101 may include an opening so that images of the subject in front of both eyes can be viewed.
  • a first camera 121a, a second camera 121b, a PCB circuit 180, and a lens module 150 may be sequentially built between the front case 101 and the face shield 102, and may be formed as one piece. You can.
  • the front case 101 and the face shield 102 may be made of a flexible material so that the user can easily wear them.
  • the PCB circuit 180 is a hardware implementation of the processor 180 described above, and the PCB and processor of the XR device 100 may be used with the same meaning.
  • the PCB circuit 180 may be used to generate an image or virtual object to be shown to a user wearing the XR device 100.
  • the lens module 150 may include a plurality of lenses, such as optical lenses and guide lenses, and may include a display made of a translucent material so that the external environment can be viewed through the opening of the front case 101.
  • the image output through the display may be shown to overlap with the user's general field of view.
  • the XR device 100 is equipped with electronic devices such as an audio output module, microphone, and communication module between the front case 101 and the face shield 102 or on the side of the XR device 100. Parts can be installed. Through this communication module of the XR device 100, the XR device 100 and the controller 200 described below are connected to enable communication.
  • electronic devices such as an audio output module, microphone, and communication module between the front case 101 and the face shield 102 or on the side of the XR device 100. Parts can be installed.
  • the XR device 100 and the controller 200 described below are connected to enable communication.
  • FIGS. 4A, 4B, 4C, and 4D are diagrams for explaining the structure, exemplary components, and operating principles of controllers 200 and 200' that communicate with the XR device 100 according to an embodiment of the present invention. .
  • the controller 200 according to the present invention may be implemented in the form of a glove type worn on the knuckles of the palm, as shown in FIG. 4A.
  • controller 200' may be implemented in the form of a bracelet type worn on the wrist like a watch, as shown in FIG. 4C.
  • controller 200 implemented in the form of a glove type will be described with reference to FIG. 4A.
  • the glove-type controller may include a first part where the frame of the main body is located and a second part where a plurality of rings that fit on the fingers are located.
  • the first part may include a mounting part, which is a space where major components such as a PCB or a battery are installed, and the frame of the main body, that is, the first part, is located on the user's palm, that is, the proximal finger or phalanges of the finger. ) can be formed to surround the.
  • Each of the plurality of rings included in the second part can be connected to the mounting part of the first part through a wire to form a single connected structure. At least some of the plurality of rings may be equipped with a haptic module for outputting an electrical vibration signal corresponding to a feedback signal.
  • Each of the plurality of rings can be fitted before or after the first joint of the corresponding finger. At this time, for convenience of operation, the ring and wire corresponding to the thumb position may be excluded.
  • each wire connected to the mounting unit is tensioned or compressed as the user makes a motion of stretching or bending the finger. Then, the wire tension or compression can be detected in the mounting unit, and the corresponding feedback signal can be output through the haptic module included in each ring (or the haptic module mounted on the mounting unit).
  • signals/data corresponding to the sensed wire tension or compression may be transmitted to the connected XR device 100 through a communication module mounted inside or outside the mounting unit or main body frame.
  • controller 200' implemented in the form of a bracelet type will be described with reference to FIG. 4C.
  • the frame of the main body including the mounting portion can be formed to be worn like a watch on the user's wrist.
  • the ring that is worn on the user's finger and the wire connecting the ring and the mounting part are similar to a glove-type controller, but the shape of the ring is Koryo-shaped rather than a 'c' shape, and the ring is And the wire may be formed only for some fingers (e.g., index and middle fingers) for which it is easy to sense wire tension or compression.
  • the frame of the main body is located on the user's wrist, not on the palm like a glove-type controller, so it has a structure that excludes fingers that make it difficult to sense wire tension or compression.
  • the glove described above is also used in the bracelet-type controller.
  • Other parts of the same type as the controller may be included, such as batteries, haptic modules, and communication modules.
  • the controller 200 (or controller 200') includes a front case 201, a rear case 202, a PCB 230 built into the inner space of the case, and a motor for generating vibration. (231), one or more rings 222 worn on a finger, and one or more wires 221 connecting the ring 222 and a mounting unit in which the PCB 230, etc. are embedded.
  • the PCB 230 is a hardware implementation of the processor 230 of the controller 200 described above, and can be understood to have the same configuration as the controller.
  • the motor 231 generates an electrical vibration signal corresponding to the feedback signal, and is implemented to generate a vibration signal directly in the mounting part or is transmitted to each ring connected through a wire to generate a vibration signal in each ring. It can be implemented to be output.
  • a battery (not shown) to supply power for driving the motor 230 may be built into the mounting unit.
  • the ring 222 is worn by fitting around the first joint of the user's finger.
  • the ring 222 may take the form of a 'C' shaped ring that is open in one direction (eg, downward) for easy attachment and detachment. Additionally, the ring 222 may be made of a flexible material that can be easily bent before and after insertion, taking into account the different sizes of fingers for each user. Each of the rings 222 is secured to each finger by fitting it onto the user's finger.
  • the wire 222 may be in the form of a cable with one end connected to the ring 222 and the other end connected to the mounting unit.
  • the wire 222 is implemented to detect changes in wire tension or compression based on the initial value after wearing, taking into account the user's various hand sizes and finger lengths. For example, after the controller 200 is connected to the XR device 100, a finger motion of the user's hand (e.g., opening a finger, bending a finger, fully closing a finger, etc.) may be performed to set the initial value of the wire. .
  • the initial value of the wire according to the settings is stored in memory (not shown), and then tension or compression of the wire is detected based on the change in wire length corresponding to the user's finger motion.
  • the mounting portion of the controllers 200 and 200' may include a wire wheel module connected to one end (or other end) of the wire.
  • the wire 222 is wound around the wire wheel module and is fixed by a torsion spring built into the wire wheel module.
  • Figure 4d shows the principle of wire tensioning or wire compression operation while the wire 222 is wound around the wire wheel module.
  • a tosher spring is built into the wire wheel module, and when the wound wire is pulled and drawn out of the mounting unit, it is recognized as wire tension.
  • wire tension On the other hand, when a wire is released and is drawn outside the mounting unit, it is recognized as wire compression.
  • the controller is implemented as being fitted to the user's finger and a wire is connected to the ring fitted to the finger
  • the wire wrapped around the wire wheel module is pulled and wire tension is recognized as occurring. do.
  • the wire wheel module is recognized as being wound and wire compression has occurred.
  • the wire wound around the wire wheel module may have a structure in which one end is connected to a ring fitted on the user's hand, and the other end is wound around a torsion spring built into the wire wheel module in the form of a fixed cable.
  • the controller's motion detection sensor detects wire tension when the wire is pulled out in the direction of the ring according to the bending motion of the finger wearing the ring. Additionally, the motion detection sensor of the controller detects wire compression when the wire is drawn in the direction of the wire wheel module according to the motion of stretching the finger wearing the ring.
  • FIG. 5 is a diagram illustrating an operation in which the XR device 100 and the controller 200 interact based on motion detection data from the controller 200, according to an embodiment of the present invention.
  • the XR device 100 and the controller device (hereinafter referred to as 'controller') 200 are connected to interact with each other through wired/wireless communication.
  • the XR device 100 can generate and display a virtual object corresponding to the position and movement of the controller by tracking the position of the hand of the user wearing the controller through the second camera.
  • the controller 200 detects this through the motion detection sensor 520, so that the controller 200 tensions the wire. Alternatively, motion detection data corresponding to wire compression is generated.
  • the controller 200 transmits signals/data corresponding to the detection results of the motion detection sensor 520, specifically motion detection data corresponding to wire tension and/or motion detection data corresponding to wire compression, to the XR device 100.
  • Motion detection data may be transmitted continuously, and each motion detection data may include size information of the sensing value corresponding to wire tension/compression.
  • the XR device 100 processes the received motion detection data as input, processes the interaction motion between the virtual object (e.g., virtual hand) and the target object (e.g., virtual ball) into an image rendering, and outputs it through the display. can do.
  • the virtual object e.g., virtual hand
  • the target object e.g., virtual ball
  • the XR device 100 may receive motion detection data according to a motion of bending the hand wearing the controller as a first input and display a motion that maintains interaction with the target object. Additionally, the XR device 100 may receive motion detection data according to the motion of opening the hand wearing the controller as a second input and display a motion of disengaging or leaving the interaction with the target object.
  • a virtual hand grips a virtual ball as wire tension is received at a first time point, and a virtual ball is gripped as wire compression is received at a second time point after the first time point.
  • An image of the interactive action of throwing may be rendered and displayed through display 151 .
  • the processing result of the XR device 100 may be transmitted to the controller 200, and a feedback vibration signal is output to the controller 200 at the display time corresponding to the processing result. can do.
  • the XR device 100 is related to interaction with the target object of the VR image shown through the display 151 of the XR device 100 while the controller 200 generates a feedback vibration signal corresponding to the motion detection data. Motion can be displayed.
  • FIGS. 6A and 6B are diagrams for explaining interaction actions displayed on a VR image of an XR device by tracking the hands of a user wearing a controller, according to an embodiment of the present invention.
  • the XR device 100 detects surrounding environment information (eg, front subject image) and the user's location through a general camera, that is, the first camera 121a. Additionally, the XR device 100 determines the position of the hand of the user wearing the controller 200 through the ToF camera, that is, the second camera 121b.
  • surrounding environment information eg, front subject image
  • the XR device 100 determines the position of the hand of the user wearing the controller 200 through the ToF camera, that is, the second camera 121b.
  • the second camera 121b of the XR device 100 captures a point of the hand of the user wearing the controller 200 (eg, a random point on the back of the hand, etc.) and transmits it to the processor 180.
  • the processor 180 may control the second camera 121b to acquire continuous images including a depth map of the user's hand based on the captured points.
  • the depth map refers to an image containing information related to the distance from the observation point to the surface of the object in 3D computer graphics.
  • a plurality of lighthouse devices 601 can be additionally installed in the space 600 to more accurately recognize the location of the XR device 100.
  • the lighthouse device 601 may be installed in a position where the range of the recognizable space 600 can be maximized, for example, in a position facing each other diagonally.
  • the lighthouse device 601 may each include an IR lamp and a two-axis motor, through which it exchanges signals with the XR device 100 to determine the location and time at which light reflected from the XR device 100 is received. Based on the relationship, the location of the XR device 100 can be accurately determined.
  • the XR device 100 may generate a VR image or XR object within the space 600 based on the surrounding environment information, the location of the XR device, and the position and movement of the controller within the space 600 and output the VR image or XR object on the display.
  • FIG. 6B shows an example displaying an interaction between a virtual object (eg, a virtual hand) 610 and a target object (eg, a virtual flashlight) 620 within the space 600.
  • a virtual object eg, a virtual hand
  • a target object eg, a virtual flashlight
  • the XR device 100 recognizes the location of the XR device 100, i.e., the user, within the space 600 through a first camera (i.e., a general camera), and recognizes the location of the user in the space 600 through a second camera (i.e., a ToF camera). ), the controller 200, that is, recognizes the position of the user's hand.
  • a first camera i.e., a general camera
  • a second camera i.e., a ToF camera
  • the XR device 100 displays (151) ) Rendering can be performed to display interaction-related motion for the target object of the VR image provided.
  • the XR device 100 controls the second camera to capture the hand points of the user wearing the controller.
  • the XR device 100 may be controlled to acquire continuous images including a depth map of the user's hand based on the captured user's hand points.
  • the XR device 100 displays a virtual object (ie, virtual hand) 610 corresponding to the user's hand on the VR image based on the acquired continuous image.
  • the virtual hand 610 within the space 600 moves to an adjacent target, as shown in FIG. 6B.
  • An interactive action of gripping an object i.e. a virtual flashlight 620, is displayed.
  • the virtual hand 610 displays an interactive action of placing or throwing the virtual flashlight 620. It could be.
  • Figure 7 is an operational flow diagram related to Figures 6A and 6B.
  • an operation 703 in which the XR device 100 and the controller 200 are interconnected is performed.
  • the interconnection between the XR device 100 and the controller 200 is performed when the XR device 100 and the controller 200 are detected to be worn, when a certain period of time has elapsed after wearing, or through a preset input (e.g., XR device/controller) after wearing. It can be performed in response to an input button push on the device, user motion, voice command, etc.).
  • the XR device 100 collects external environment information (702) by performing an operation (701) to recognize the external environment through a first camera, that is, a general camera. Then, the location of the user wearing the XR device 100 is tracked based on the collected external environment information.
  • the XR device 100 recognizes the hand of the user wearing the controller 200 through a second camera, that is, a ToF camera (704). At this time, the XR device 100 may obtain a depth map for the user's hand through a ToF camera and generate a 3D virtual hand image by rendering the depth map on the original image of the user's hand.
  • a second camera that is, a ToF camera (704).
  • the XR device 100 may obtain a depth map for the user's hand through a ToF camera and generate a 3D virtual hand image by rendering the depth map on the original image of the user's hand.
  • the motion of the user's hand that is, wire tension (corresponding to the motion of bending the finger) or wire compression (corresponding to the motion of bending or straightening the finger) or compression of the wire (corresponding to the motion of bending or straightening the finger) corresponding) is detected.
  • changes in tension or compression of the connected wire are detected according to the motion of the hand of the user wearing the controller.
  • vibration feedback corresponding thereto is output from the controller 200 (706).
  • the XR device 100 continuously tracks the position of the user's hand through the second camera.
  • the XR device 100 displays virtual content and the interactive motion 707 of the virtual hand and/or other virtual UI. (708) can be displayed.
  • FIG. 8 is an example flowchart illustrating displaying an interaction operation on a VR image of the XR device 100 based on wire tension detected by the controller 200, according to an embodiment of the present invention.
  • FIG. 8 shows operations related to accessing and interacting with a virtual object using the controller 200.
  • the XR device 100 when the XR device 100 is connected to the controller device (hereinafter, 'controller') 200, it uses a second camera (e.g., ToF camera) provided in the XR device 100.
  • the position of the hand of the user wearing the controller is recognized (801).
  • the XR device 100 renders a virtual object (e.g., a virtual hand) corresponding to the user's hand based on an image including a depth map of the user's hand through the second camera and displays it on the display 151. displayed on the screen.
  • a virtual object e.g., a virtual hand
  • the XR device 100 continuously tracks the position of the user's hand through the second camera and controls the movement of the corresponding virtual object.
  • the user's hand approaches 802 the target object in the image shown through the XR device 100, the XR device 100, through the second camera,
  • the XR device 100 displays a sign that the virtual hand is approaching the target object on the VR image and transmits a signal/data corresponding to the sign to the controller 200 (803).
  • the controller 200 may output a feedback signal (hereinafter referred to as 'primary feedback') in response to an indication that the virtual hand is approaching the target object (804).
  • 'primary feedback' a feedback signal
  • the first feedback is a feedback signal indicating that the virtual hand is close to the target object to be interacted with.
  • This primary feedback can be implemented, for example, in the form of outputting a low electrical vibration signal that can be slightly felt by the user through the output module 240 of the controller 200. This may be a certain feedback output value for recognizing that the user's hand is close to the target object through the proximity sensor.
  • the XR device 100 In response to wire tension (or wire release) being detected 805 in the controller 200 as the user's hand makes a finger bending motion, the XR device 100 Receives a signal corresponding to the wire tension as an input, and generates an image in which a virtual object (e.g., virtual hand) corresponding to the user's hand grips the target object based on the received input. That is, the XR device 100 displays an indication that the virtual hand is gripping the target object on the VR image and transmits a signal/data corresponding to the indication to the controller 200 (806).
  • a virtual object e.g., virtual hand
  • the controller 200 may output a feedback signal (hereinafter referred to as 'secondary feedback') at the same time or following the display of the virtual hand gripping the target object on the VR image (807).
  • 'secondary feedback' a feedback signal
  • the secondary feedback is a feedback signal indicating that the virtual hand touches and grips the target object.
  • This secondary feedback can be implemented, for example, in the form of outputting an electrical vibration signal that can feel the user gripping the target object through the output module 240 of the controller 200, which is the same as the above-mentioned primary feedback. It may be an electrical vibration signal that is stronger than feedback.
  • the magnitude of the electrical vibration signal of the secondary feedback may be proportional to the magnitude of the sensing value of the detected wire tension. For example, as the user wearing the controller 200 makes a motion of bending his or her fingers with strong force, the output value of the electrical vibration signal may further increase as the sensing value of the wire tension increases.
  • the size or vibration pattern of the electrical vibration signal of the secondary feedback may vary depending on the properties of the target object.
  • an electrical vibration signal value within a predetermined range greater than the set value is transmitted to the output module 240 of the controller 200.
  • an electrical vibration signal value within a predetermined range smaller than the set value is transmitted to the output module of the controller 200 ( 240).
  • an electrical vibration signal with a pattern different from the reference pattern may be output.
  • the output module 240 which outputs the electrical vibration signals of the first and second feedback, is connected to one end of a wire and is provided in each ring (rign) worn in the form of fitting on the user's finger. It may be at least one of a haptic module and a haptic module built into a mounting unit located on the inner neck/back of the hand.
  • FIG. 9 illustrates displaying an interaction action on a VR image of the XR device 100 based on an increase in wire tension (or an increase in wire tension) or wire compression detected by the controller 200, according to an embodiment of the present invention. This is an example flow chart to do this.
  • FIG. 9 shows examples of operations related to additional operations or cancellation of interaction with a target object interacting using the controller 200, following the operations of FIG. 8 described above.
  • the virtual hand corresponding to the hand of the user wearing the controller 200 is gripping the target object through the second camera of the XR device 100 (901).
  • Third feedback corresponding to the increase in wire tension may be output through the output module 240 of the controller 200.
  • the tertiary feedback may be an electrical vibration signal with a further increased output value than the secondary feedback indicating that the virtual hand touches and grips the target object.
  • signals/data corresponding to the increase in wire tension are transferred from the controller 200 to the XR device 100 (904).
  • the XR device 100 generates a tensile feedback image around a virtual object (e.g., virtual hand) corresponding to the user's hand, the target device itself, or the virtual/target object, based on signals/data corresponding to increased wire compression. It is emitted through the display 151. At the same time, the XR device 100 transmits signals/data corresponding to the tensile feedback image to the controller 200 (905).
  • a virtual object e.g., virtual hand
  • the XR device 100 transmits signals/data corresponding to the tensile feedback image to the controller 200 (905).
  • the tensile feedback image may include various types of images that visually indicate that the virtual object corresponding to the user's hand strongly grips the target object. For example, an image representing one of a change in the shape of the target object (e.g., distorted), a change in the color of a part of the virtual/target object, or a positional movement of the target object (e.g., bounced) is rendered, and the XR device 100 It may be output through the display 151.
  • a change in the shape of the target object e.g., distorted
  • a change in the color of a part of the virtual/target object e.g., bounced
  • wire compression may be detected in the controller 200 as the user's hand making a finger-extending motion while wearing the controller 200. There is (906).
  • the controller 200 may output fourth feedback through the output module 240 in response to detection of wire compression (907).
  • the fourth feedback indicates that the interaction has been canceled because the virtual hand placed or threw the target object, and can be expressed as an electrical vibration signal with a fine output value similar to the above-mentioned first feedback.
  • signals/data corresponding to wire compression are transferred from the controller 200 to the XR device 100 (908).
  • the XR device 100 generates a compressed feedback image around a virtual object (e.g., virtual hand) corresponding to the user's hand, the target device itself, or the virtual/target object, based on the signal/data corresponding to the wire compression. and output through the display 151.
  • a virtual object e.g., virtual hand
  • the compressed feedback image may include various types of images indicating that the virtual object corresponding to the user's hand places or throws the target object.
  • images indicating that the virtual object corresponding to the user's hand places or throws the target object.
  • an image representing a change in the position of a target object (e.g., falling or flying) or a change in the position of a virtual object (e.g., opening a virtual hand or moving the position) is rendered and displayed on the display 151 of the XR device 100. ) can be output through.
  • the compression feedback image may vary depending on the magnitude of wire tension before wire compression is detected.
  • wire compression will be implemented by increasing the shape change or moving distance of the thrown ball as the immediately preceding wire tension increases because the scene of throwing the ball will become a compressed feedback image.
  • the XR device 100 may transmit signals/data corresponding to such compressed feedback images to the controller 200 (909).
  • the position of the user's hand is determined through the ToF camera provided in the XR device without the need to provide an LED ring in the controller linked with the XR device, and By tracking, you can create virtual objects for interaction.
  • the controller By eliminating the LED ring, which takes up a significant portion of the controller, it contributes to reducing the size and weight of the controller.
  • the controller by implementing the controller as worn on the hand, the user does not need to continuously grip the controller while interacting with the XR device, freeing the user's hands and making operation more convenient. Furthermore, fatigue is low even when using the controller for a long time.
  • feedback corresponding to the user's hand motion is provided to the user's hand, allowing the user to feel a more realistic interaction when interacting between virtual objects. there is.
  • the above-described present invention can be implemented as computer-readable code (or application or software) on a program-recorded medium.
  • the control method of the self-driving vehicle described above can be implemented using codes stored in memory, etc.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It also includes those implemented in the form of carrier waves (e.g., transmission via the Internet). Additionally, the computer may include a processor or control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서에 개시된 XR 디바이스는 사용자의 손에 착용되는 컨트롤러와 연결되어데이터를 송수신한다. 또한, XR 디바이스는 제1 카메라를 통해 외부 환경 정보를 수집하고 사용자의 위치를 추적하며, 제2 카메라를 통해서는 컨트롤러가 착용된 사용자의 손의 위치를 추적한다. 그리고, 수집된 외부 환경 정보에 대응되는 VR 이미지에 상기 손에 대응되는 가상 오브젝트를 디스플레이하고, 손의 위치를 추적하여서 손에 대응되는 가상 오브젝트가 VR 이미지 상에 움직이도록 처리하여 디스플레이한다. 또한, XR 디바이스는 컨트롤러로부터 상기 손의 모션에 대응되는 동작 감지 데이터를 입력으로 수신하고, 수신된 입력에 근거하여 상기 손에 대응되는 가상 오브젝트가 VR 이미지의 타겟 오브젝트와 상호작용 관련 모션을 수행하도록 디스플레이한다. 그에 따라, 사용자가 XR 디바이스를 사용하는 동안 컨트롤러를 계속 그립할 필요가 없고, XR 디바이스가 컨트롤러의 위치를 추적하기 위한 구성이 불필요하여 보다 자연스러운 인터랙션이 가능해진다.

Description

XR 디바이스, XR 디바이스의 컨트롤러 장치, 이들을 이용한 XR 디바이스의 동작 방법
본 발명은 XR 디바이스, XR 디바이스의 컨트롤러 장치, 이들을 이용한 XR 디바이스의 동작 방법에 관한 것으로, 보다 구체적으로 ToF 카메라를 이용한 추적기술이 적용된 XR 디바이스, XR 디바이스의 컨트롤러 장치, 이들을 이용한 XR 디바이스의 동작 방법에 관한 것이다.
VR, AR, MR 기술을 활용한 다양한 서비스 제공이 확대되고 있다. VR 기술은 현실 세계의 객체나 배경을 컴퓨터 그래픽 영상으로 제공하는 것이고, AR 기술은 실제 사물 영상 위에 가상의 컴퓨터 그래픽을 오버랩하여 함께 제공하는 것이며, MR 기술은 현실 세계와 가상의 객체들을 동등한 지위에서 결합하여 제공하는 것이다. 그리고, 이와 같은 VR, AR, MR 기술을 모두 포함하는 기술을 XR(extended reality) 기술, 즉 확장 현실로 지칭하기도 한다.
이러한 XR이 기술이 적용된 장치를 XR 장치 또는 XR 디바이스로 칭할 수 있다. XR 디바이스는 다양한 타입으로 구현될 수 있는데, 신체에 착용되는 타입의 XR 디바이스의 경우 일반적으로 보조입력장치 또는 컨트롤러와 연동하여 사용된다.
한편, 종래의 보조입력장치 또는 컨트롤러(이하, '컨트롤러')의 경우, 위치 추적을 위해 컨트롤러에 적외선 LED 링이 복수개 탑재된다. 이는, 컨트롤러의 상당부분을 차지하므로, 컨트롤러의 사이즈와 무게를 증가시키는 원인이 된다.
또한, 종래의 컨트롤러는, 컨트롤러를 사용하는 동안 사용자가 컨트롤러를 계속 그립해야하는 상태로 구현된다. 그에 따라, 컨트롤러를 이용한 특정 모션, 예를 들어 가상의 오브젝트를 던지는 씬을 위한 모션 동작을 수행하는 경우, 조작이 불편할 뿐만 아니라 컨트롤러를 놓치는 경우가 종종 발생하였다. 이를 위해, 컨트롤러에 핸드스트립을 포함하는 형태로도 구현되었으나, 이때에도 여전히 사용자는 컨트롤러의 그립 상태를 유지해야하는 불편이 있다. 컨트롤러의 장시간 그립 상태로 유지는 사용자의 피로도가 증가시키는 문제를 야기한다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일부 실시 예에 따르면, 컨트롤러에 LED 링을 구비하지 않고도 컨트롤러의 위치를 파악하여 추적할 수 있도록 구현한 컨트롤러 장치 및 이를 사용한 XR 디바이스 및 그것의 동작방법을 제공하는데 그 목적이 있다.
본 발명의 일부 실시 예에 따르면, 컨트롤러를 그립하지 않고 XR 디바이스에서 제공되는 가상 이미지/오브젝트와 상호 인터랙션할 수 있는 컨트롤러 장치 및 이를 사용한 XR 디바이스 및 그것의 동작방법을 제공하는데 그 목적이 있다.
본 발명의 일부 실시 예에 따르면, 컨트롤러를 통해 XR 디바이스에서 제공되는 가상 이미지/오브젝트와의 상호작용과 관련된 피드백을 제공할 수 있는 컨트롤러 장치 및 이를 사용한 XR 디바이스 및 그것의 동작방법을 제공하는데 그 목적이 있다.
이를 위해, 본 발명에 따른 XR 디바이스는 사용자의 손에 착용가능한 형태의 컨트롤러와 연동하여 동작하며, XR 디바이스는 컨트롤러를 착용한 사용자의 손의 위치를 탐색하고, 컨트롤러를 착용한 사용자의 손 모션 감지하여 가상의 손 오브젝트의 움직임을 제어함으로써, XR 디바이스에서 제공되는 가상의 타겟 오브젝트와 상호작용할 수 있다. 또한, 가상의 손 오브젝트를 통해 가상의 타겟 오브젝트와 상호작용시 컨트롤러를 통해 사용자에게 햅틱/촉감을 제공함으로써, 보다 사실감 높고 자연스러운 상호작용이 이루어지도록 동작할 수 있다.
본 명세서에 개시된 XR 디바이스는 사용자의 손에 착용되는 컨트롤러와 연결되어데이터를 송수신한다. 또한, XR 디바이스는 제1 카메라를 통해 외부 환경 정보를 수집하고 사용자의 위치를 추적하며, 제2 카메라를 통해서는 컨트롤러가 착용된 사용자의 손의 위치를 추적한다. 그리고, 수집된 외부 환경 정보에 대응되는 VR 이미지에 상기 손에 대응되는 가상 오브젝트를 디스플레이하고, 손의 위치를 추적하여서 손에 대응되는 가상 오브젝트가 VR 이미지 상에 움직이도록 처리하여 디스플레이한다. 또한, XR 디바이스는 컨트롤러로부터 상기 손의 모션에 대응되는 동작 감지 데이터를 입력으로 수신하고, 수신된 입력에 근거하여 상기 손에 대응되는 가상 오브젝트가 VR 이미지의 타겟 오브젝트와 상호작용 관련 모션을 수행하도록 디스플레이한다. 그에 따라, 사용자가 XR 디바이스를 사용하는 동안 컨트롤러를 계속 그립할 필요가 없고, XR 디바이스가 컨트롤러의 위치를 추적하기 위한 구성이 불필요하여 보다 자연스러운 인터랙션이 가능해진다.
구체적으로, 본 발명에 따른 XR 디바이스는, 컨트롤러와 데이터를 송수신하는 통신모듈; 외부 환경 정보를 수집하고 사용자의 위치를 추적하기 위한 제1 카메라 및 상기 컨트롤러가 착용된 사용자의 손의 위치를 추적하기 위한 제2 카메라; 상기 수집된 외부 환경 정보에 대응되는 VR 이미지에 상기 손에 대응되는 가상 오브젝트를 디스플레이하는 디스플레이; 및 상기 손의 위치를 추적하여 상기 가상 오브젝트가 상기 VR 이미지 상에서 움직이도록 처리하여 상기 디스플레이에 디스플레이하는 프로세서를 포함할 수 있다. 또한, 상기 프로세서는, 상기 통신모듈을 통해, 상기 컨트롤러로부터 상기 손의 모션에 대응되는 동작 감지 데이터를 입력으로 수신하고, 수신된 입력에 근거하여 상기 가상 오브젝트가 상기 VR 이미지의 타겟 오브젝트와 상호작용 관련 모션을 수행하도록 상기 디스플레이를 제어할 수 있다.
실시 예에서, 상기 프로세서는, 상기 컨트롤러에서 상기 동작 감지 데이터에 대응되는 피드백 신호가 발생하는 동안, 상기 VR 이미지의 타겟 오브젝트에 대한 상호작용 관련 모션을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
실시 예에서, 상기 제1 카메라는 일반 카메라이고, 상기 제2 카메라는 ToF 카메라일 수 있다.
실시 예에서, 상기 XR 디바이스는 사용자의 두부에 착용가능한 헤드 마운드 디스플레이 디바이스이며, 착용시, 상기 제1 카메라는 사용자의 양안의 위쪽에 오도록 위치하여 전방 환경을 스캔하고, 상기 제2 카메라는 사용자의 양안의 아래쪽에 오도록 위치하여 상기 컨트롤러를 착용한 사용자의 손을 추적할 수 있다.
실시 예에서, 상기 프로세서는, 상기 제2 카메라를 통해 상기 컨트롤러를 착용한 사용자의 손의 포인트를 캡쳐하도록 제어하고, 상기 캡쳐된 포인트에 기초하여 사용자의 손의 뎁스 맵(depth map)을 포함한 이미지를 연속하여 획득하도록 제어하고, 연속하여 획득되는 이미지를 기초로 상기 VR 이미지 상에서 상기 손에 대응되는 가상 오브젝트를 상기 디스플레이에 디스플레이하도록 동작할 수 있다.
실시 예에서, 상기 수신된 입력은 제1입력 및 제2입력 중 하나이고, 상기 제1입력은 상기 컨트롤러를 착용한 손을 구부리는 모션에 따른 동작 감지 데이터이고 상기 제2입력은 상기 손을 펴는 모션에 따른 동작 감지 데이터이고, 상기 프로세서는, 상기 제1입력이 수신되면 상기 상호작용을 유지하는 모션을 디스플레이하고 상기 제2입력이 수신되면 상기 상호작용을 벗어나는 모션을 디스플레이할 수 있다.
또한, 본 발명에 따른 XR 디바이스의 컨트롤러 장치는, 사용자의 손에 착용가능하도록 이루어지며, XR 디바이스와 연결시 데이터를 송수신하는 통신모듈; 본체를 착용한 사용자의 손의 모션에 따라, 연결된 와이어의 인장 또는 압축의 변화를 감지하는 센서; 상기 XR 디바이스의 카메라를 통해 본체를 착용한 사용자의 손이 인식된 것에 근거하여, 상기 XR 디바이스에 디스플레이되는 VR 이미지와 상호작용하도록, 상기 연결된 와이어의 인장 또는 압축의 변화에 대응되는 동작 감지 데이터를 상기 XR 디바이스로 전송하는 프로세서; 및 상기 동작 감지 데이터를 기초로 상기 VR 이미지와 상호작용이 수행되면 피드백 신호를 출력하는 출력모듈을 포함할 수 있다.
실시 예에서, 상기 센서는, 상기 사용자의 손가락에 끼움 형태로 착용되는 링과 휠 모듈에 감겨진 와이어가 연결된 상태에서, 착용후, 상기 손가락을 구부리는 모션에 대응되는 와이어 인장 또는 상기 손가락을 펴는 모션에 대응되는 와이어 압축을 감지하여, 상기 프로세서에 전달할 수 있다.
실시 예에서, 상기 와이어의 일단은 상기 링에 연결되고 상기 와이어의 타단은 상기 휠 모듈에 내장된 토션 스프링에 고정 케이블 형태로 감겨진 구조이며, 상기 센서는, 상기 손가락을 구부리는 모션에 따라 와이어가 상기 링 방향으로 인출되면 와이어인장을 감지하고, 상기 손가락을 펴는 모션에 따라 와이어가 상기 휠 모듈 방향으로 인입되면 와이어 압축을 감지하도록 동작할 수 있다.
실시 예에서, 상기 동작 감지 데이터를 기초로 상기 VR 이미지의 가상 오브젝트가 타겟 오브젝트를 그립하는 동작이 디스플레이되는 동안, 상기 출력모듈을 통해 진동 피드백을 출력할 수 있다.
실시 예에서, 상기 VR 이미지의 가상 오브젝트가 타겟 오브젝트를 그립하는 동작이 디스플레이되는 동안, 상기 센서에 의해 와이어 인장이 증가하는 것이 감지되면, 상기 출력모듈을 통해 출력되는 진동 피드백의 레벨을 증가시키고, 상기 VR 이미지의 타겟 오브젝트 주변에 피드백 이미지가 표시되도록 상기 와이어 인장 증가와 관련된 데이터를 상기 XR 디바이스로 전송할 수 있다.
실시 예에서, 상기 VR 이미지의 가상 오브젝트가 타겟 오브젝트를 그립하는 동작이 디스플레이되는 동안, 상기 센서에 의해 와이어 압축이 감지되면, 상기 출력모듈을 통해 출력되는 진동 피드백의 레벨을 감소시키고, 상기 VR 이미지의 타겟 오브젝트에 대한 피드백 움직임이 디스플레이되도록 상기 와이어 압축과 관련된 데이터를 상기 XR 디바이스로 전송할 수 있다.
또한, 본 발명에 따른 XR 디바이스의 동작 방법은, XR 디바이스 및 사용자의 손에 착용된 컨트롤러 장치를 연결하는 단계; 상기 XR 디바이스의 카메라를 통해 컨트롤러 장치를 착용한 사용자의 손을 인식하는 단계; 상기 컨트롤러 장치를 착용한 사용자의 손의 모션에 따라, 연결된 와이어의 인장 또는 압축의 변화를 감지하는 단계; 및 상기 감지된 와이어의 인장 또는 압축의 변화에 대응되는 동작 감지 데이터가 수신된 것에 응답하여, 상기 XR 디바이스에 디스플레이되는 VR 이미지에 상호작용 모션을 디스플레이하는 단계를 포함할 수 있다.
본 발명에 따른 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템의 효과에 대해 설명하면 다음과 같다.
본 발명의 일부 실시 예에 의하면, XR 디바이스와 연동되는 컨트롤러에 LED 링을 구비할 필요 없이, XR 디바이스에 구비된 ToF 카메라를 통해 뎁스 맵을 포함한 사용자의 손의 위치를 파악하고 트래킹함으로써, 상호작용을 위한 가상 오브젝트를 생성할 수 있다. 이와 같이 컨트롤러의 상당부분을 차지하는 LED 링을 제거함으로써, 컨트롤러의 사이즈 및 무게 감소에 기여한다.
또한, 본 발명의 일부 실시 예에 의하면, XR 디바이스와 연동되는 컨트롤러를 그립 형태(즉, 핸드헬드(hand-held) 타입)가 아닌 손에의 착용 형태로 구현함으로써, 사용자가 XR 디바이스와 상호작용하는 동안 컨트롤러를 계속 그립할 필요가 없으므로, 사용자의 양손이 자유롭고 조작이 보다 편리해진다. 나아가, 컨트롤러를 장시간 사용하더라도 피로감이 낮다.
또한, 본 발명의 일부 실시 예에 의하면, 컨트롤러를 통해 XR 디바이스를 통해 제공되는 타겟 오브젝트와 상호작용하는 경우, 사용자의 손 모션에 대응되는 피드백을 사용자 손에 제공함으로써, 가상 오브젝트간의 상호작용시 사용자가 보다 사실감 높은 상호작용을 느낄 수 있다.
도 1은 본 발명의 실시 예에 따른 XR 디바이스의 예시적 구성을 보인 블록도이다.
도 2는 본 발명의 실시 예에 따른 XR 디바이스와 통신하는 컨트롤러의 모습과 예시적 구성을 포함하는 도면이다.
도 3a, 도 3b, 도 3c는 본 발명의 실시 예에 따른 XR 디바이스가 HMD 타입으로 구현된 경우, 착용 모습과 예시적 부품을 보인 도면들이다.
도 4a, 도 4b, 도 4c, 도 4d는 본 발명의 실시 예에 따른 XR 디바이스와 통신하는 컨트롤러의 구조, 예시적 부품, 및 작동을 설명하기 위한 도면들이다.
도 5는 본 발명의 실시 예에 따라, 컨트롤러에서의 동작 감지 데이터에 기초하여 XR 디바이스와 컨트롤러가 인터랙션하는 동작을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 실시 예에 따라, 컨트롤러를 착용한 사용자의 손을 추적하여, XR 디바이의 VR 이미지에 디스플레이되는 인터랙션 동작을 설명하기 위한 도면들이다.
도 7은 도 6a 및 도 6b와 관련된 동작 흐름도이다.
도 8은 본 발명의 실시 예에 따라, 컨트롤러에서 감지되는 와이어 압축에 근거하여 XR 디바이의 VR 이미지에 인터랙션 동작을 디스플레이하는 것을 설명하기 위한 예시 흐름도이다.
도 9는 본 발명의 실시 예에 따라, 컨트롤러에서 감지되는 와이어 압축 증가 또는 와이어 인장에 근거하여 XR 디바이의 VR 이미지에 인터랙션 동작을 디스플레이하는 것을 설명하기 위한 예시 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에 개시된 "XR 디바이는"는 VR, AR, MR 기술을 총칭하는 확장 현실(XR, eXtended Reality) 기술이 적용된 전다 디바이스로서, 다양한 센서를 통해 또는 외부 디바이스를 통해 획득한 3차원의 데이터를 분석하여 주변 공간이나 현실 객체에 대한 정보를 획득하고, 이를 기초로 생성된 증강 현실 이미지, 증강 현실 오브젝트, 및/또는 현실의 오브젝트에 렌더링된 증강 현실 오브젝트를 출력할 수 있는 다양한 타입의 전자 디바이스를 모두 포함할 수 있다.
이러한 XR 디바이스는, 예를 들어 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등의 타입으로 구현될 수 있다.
이하, 본 명세서에 개시된 "컨트롤러", "컨트롤러 장치", 또는 "컨트롤러 디바이스"는 XR 디바이스와 무선/유선 연결되어, XR 디바이스를 통해 XR 디바이스의 동작, 디스플레이되는 영상, 가상의 오브젝트, 또는 현실의 오브젝트와의 상호작용과 관련된 다양한 입력을 수행하기 위한 디바이스 의미할 수 있다.
도 1은 본 발명의 실시 예에 따른 XR 디바이스(100)의 예시적 구성을 보인 블록도이다.
도 1을 참조하면, 본 발명에 따른 XR 디바이스(100)은 통신모듈(110), 입력모듈(120), 카메라(121), 센서(140), 디스플레이(151), 메모리(170), 프로세서(180), 및 전원공급부(190)를 포함하여 이루어질 수 있다. 실시 예에 따라, XR 디바이스(100)는 전술한 구성요소 중 일부만 포함하거나 또는 더 많은 구성요소를 포함할 수 있다.
통신모듈(110)은 컨트롤러(200, 도 2), 외부 디바이스, 서버, 유선/무선으로 통신을 수행할 수 있으며, 무선 통신을 사용하여 통신할 수 있다. 이러한 무선 통신은, 예를 들어 Wi-Fi, 블루투스 등의 근거리 무선 통신 방식과 3GPP 통신 규격 을 사용하는 LTE 등의 원거리 무선 통신 방식을 포함할 수 있다.
입력모듈(120)은 XR 디바이스(100)의 전후면 또는 측면에 구비되는 기계식 (mechanical) 입력수단(예, 메커니컬 키, 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 실시 예에서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key), 비주얼 키(visual key), 터치 키(touch key)로 포함하며, 이들은 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
입력모듈(120)은 영상 신호를 입력받는 카메라(이하, 카메라(121)에서 설명하기로 함)와 오디오 신호를 수신하기 위한 마이크로폰을 더 포함할 수 있다.
카메라(121)는 제1 카메라(121a)와 제2 카메라(121b)를 포함할 수 있다. 제1 카메라(121a)와 제2 카메라(121b)를 통해 획득된 이미지는 각각 전기적 신호로 변환될 수 있고, 전기적 신호로 변환된 각 이미지는 메모리(170) 등에 저장되거나 또는 프로세서(180)를 통해 바로 디스플레이(151)에서 디스플레이될 수 있다.
제1 카메라(121a)는 XR 디바이스(100)의 주변 환경(예, 정면의 피사체)을 촬영하여 전기적 신호로 변환할 수 있고, 이를 기초로 사용자의 위치를 파악하고 이를 추적(tracking)할 수 있다. 제2 카메라(121b)는 XR 디바이스(100)와 연동하는 사용자 손의 위치를 파악하고 이를 추적(tracking)할 수 있다.
실시 예에 따라, 상기 제1 카메라(121a)는 일반 카메라를 의미하고, 상기 제2 카메라(121b)는 ToF 카메라를 의미할 수 있다. 또한, 상기 제1 카메라(121a)와 상기 제2 카메라(121b)는 각각 복수 개를 포함하여 구성될 수 있다.
ToF 카메라는 ToF(Time of Flight) 센서를 포함하는 카메라를 의미할 수 있다. ToF 기술은, 음파나 광원을 피사체에 전송하고, 그 피사체를 거쳐 다시 돌아오는 반사 음파나 광원의 시간을 측정하여 피사체의 위치와 뎁쓰(depth)를 디텍트하는 기술이다. 이러한 ToF 기술이 적용된 ToF 센서를 통해, ToF 카메라의 화각 내에 위치한 오브젝트의 뎁스(depth) 측정이 가능하고, 이를 기초로 3D 기반의 결과물을 획득할 수 있다.
상기 제1 카메라(121a)와 상기 제2 카메라(121b) 각각은 서로 다른 화각을 가질 수 있고, 각 화각 내에 위치하는 실제의 오브젝트를 디텍트할 수 있다. 프로세서(180)는 화각 내에 위치한 실제의 오브젝트에 대응되는 가상 오브젝트를 디스플레이(151)를 통해 디스플레이할 수 있다.
센서(140)는, XR 디바이스(100)에 구비된 다양한 센서들을 이용하여 외부 디바이스나 XR 디바이스(100)의 정보, XR 디바이스(100)를 둘러싼 주변 환경 정보, 사용자 정보 중 적어도 하나를 획득할 수 있다.
이러한 센서(140)는 XR 디바이스(100)의 내부 또는 외부에 장착될 수 있고, 예를 들어 근접 센서, 조도 센서, 가속도 센서, 중력(gravity) 센서, 자기 센서, 지자기 센서, 자이로 센서, 관성센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더, 모션 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스센서, 압력 센서, 벤딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 다양한 센서를 포함할 수 있다.
또한, 센서(140)는 사용자의 신체 일부 등과 같이, 3차원 포인트 데이터를 수집하기 위한 센서로 예를 들어, LiDAR (light detection and ranging), RGBD(Red Green Blue Depth), 3D 레이저 스캐너(Laser Scanner) 등을 더 포함할 수 있다.
디스플레이(151)는 프로세서(180)를 통해 생성된 VR 이미지, 가상 오브젝트 등의 이미지가 사용자에게 보여지도록 하는 역할을 수행하며, 예를 들어 개구부를 통해 외부 환경을 볼 수 있도록 반투명 재질로 형성될 수 있다.
디스플레이(151)는, 프로세서(180)에 의해 생성된 이러한 이미지가 가이드 렌즈를 통해 출사되는 방식으로 동작할 수 있다. 구체적으로, 프로세서(180)의 이미지 소스로부터 발산되어 발생된 빛을 확산 및 수렴하는 복수의 렌즈 모듈을 통해, 프로세서(180)에 의해 생성된 VR 이미지, 가상 오브젝트 등의 이미지가 디스플레이(151)에 출사될 수 있다.
디스플레이(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thinfilm transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이, ELD(Electro Luminescent Display), M-LED(Micro LED)로 구현 가능하다.
메모리(170)는 XR 디바이스(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 메모리(170)는 카메라(121)를 통해 획득된 주변 환경 정보(전방의 피사체 이미지), 입력모듈(120)을 통해 입력된 데이터, 러닝 프로세서(181)를 통해 입력된 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
또한, 메모리(170)는 XR 디바이스(100)의 사용자 정보 및 컨트롤러 장치에 관한 정보를 저장할 수 있다.
프로세서(180)는 XR 디바이스(100)에 구비된 구성요소들을 제어하여, XR 디바이스(100)의 전반적인 동작을 수행할 수 있다. 프로세서(180)는 XR 디바이스(100)를 통해 보여질 VR 이미지, 가상 오브젝트의 이미지 등을 생성하여 디스플레이(151)에 제공할 수 있다.
프로세서(180)는 센서(140)에 포함되는 다양한 센서들을 통해 또는 컨트롤러(200, 도 2)와 연동하여 획득된 3차원 포인트 데이터 또는 이미지 데이터를 분석하여 XR 디바이스(100)의 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 획득된 정보에 기초하여 생성된 가상의 오브젝트를 렌더링하여, 디스플레이(151)를 통해 출력할 수 있다. 예를 들어, 프로세서(180)는 제1 카메라(121a)를 통해 인식된 현실 객체에 대한 추가 정보를 포함한 가상의 오브젝트가 그 현실 객체에 위에 오버랩되도록 렌더링하여, 디스플레이(151)에 출력시킬 수 있다.
프로세서(180)는 내부 또는 외부에 구비된 러닝 프로세서(181)와 연동하여 동작할 수 있다. 러닝 프로세서(181)는, 적어도 하나 이상의 데이터 분석 알고리즘 또는 머신 러닝 알고리즘, 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 프로세서(180)의 동작을 수행하도록 구현될 수 있다. 실시 예에 따라, 프로세서(180)는 러닝 프로세서(181)에서의 학습 결과를 이용하여 상기한 동작을 수행할 수 있다.
전원공급부(190)는 프로세서(180)의 제어에 기초하여 외부의 전원, 내부의 전원을 인가받아 XR 디바이스(100)의 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 충전가능한 배터리를 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 XR 디바이스(100)와 통신하는 컨트롤러(200)의 모습과 예시적 구성을 포함하는 도면이다. 본 발명에 따른 컨트롤러(200)는 유/무선 통신을 통해 XR 디바이스(100)와 상호작용하도록 연결된다.
XR 디바이스(100)는 도 2에 도시된 바와 같이 사용자의 얼굴에 착용되는 안경 형태나 밀착되는 고글 형태로 구현될 수 있다. XR 디바이스(100)는 사용자의 손에 착용되는 형태로 구현된 컨트롤러(200)와 연결되어, 인터랙션할 수 있다.
컨트롤러(200)는 통신모듈(210), 센서(220), 프로세서(230), 및 출력모듈(240)을 포함하여 이루어질 수 있다.
컨트롤러(200)의 통신모듈(210)은 XR 디바이스(100)와 유/무선 통신 방식으로 통신하여 신호/데이터를 송수신하도록 이루어진다. 이러한 통신모듈(210)은 유선 통신 방식으로 구현되는 경우 케이블 연결을 위한 하나 이상의 연결 포트를 포함하며, 무선 통신 방식으로 구현되는 경우, 예를 들어 Wi-Fi, 블루투스 등의 근거리 무선 통신 방식을 사용하여 통신할 수 있다.
센서(220)는 컨트롤러(200)를 착용한 사용자의 손의 모션을 감지하는 동작 감지 센서를 포함할 수 있다. 상기 동작 감지 센서는, 컨트롤러(200)를 착용한 사용자가 손가락을 구부리는 모션을 수행하면 와이어 압축을 감지하고, 사용자가 손가락을 펴는 모션을 수행하면 와이어 인장을 감지한다.
센서(220)의 동작 감지 센서를 통해 감지된 와이어 압축/인장에 대응되는 신호/데이터는, 디바이스(100)와 인터랙션을 수행하도록, 통신모듈(210)을 통해 XR 디바이스(100)에 입력으로서 전달된다.
프로세서(230)는 XR 디바이스(100)와 컨트롤러(200)의 연결을 수행하고, 컨트롤러(200)의 센서(220)의 센싱 결과를 기초로 컨트롤러(200) 자체 및/또는 XR 디바이스(100)와 상호작용하기 위한 동작을 수행한다. 실시 예에 따라, 프로세서(230)는 센서(220)의 동작 감지 센서의 센싱 결과를 수신하고, 수신된 센싱 결과에 대응되는 신호/데이터를 XR 디바이스(100)로 전달하고, 출력모듈(240)을 통해 피드백 신호를 출력하도록 동작할 수 있다.
이하에서는, 본 명세서에 개시된 XR 디바이스(100) 및 XR 디바이스(100)와 연동하는 컨트롤러(200)의 구체적인 동작을 상세히 기술하겠다.
도 3a, 도 3b, 도 3c는 본 발명의 실시 예에 따른 XR 디바이스가 HMD 타입으로 구현된 경우, 착용 모습과 예시적 부품을 보인 도면들이다.
도 3a 및 도 3b에 도시된 바와 같이, 본 발명에 따른 XR 디바이스(100)가 HMD 타입의 디바이스로 구현된 경우, 착용시 사용자의 양안의 위쪽에는 일반 카메라(이하, '제1 카메라')(121a)가 오도록 위치하며, 아래쪽에는 ToF 카메라(이하, '제2 카메라')(121b)가 오도로 위치하는 구조 형태일 수 있다.
제1 카메라(121a)는, 사용자 주변의 외부 환경에 대한 정보를 수집하고 XR 디바이스를 착용한 사용자의 위치를 트래킹하는데 사용된다.
제2 카메라(121b)는, XR 디바이스와 연동되는 컨트롤러를 착용한 사용자의 손 위치를 트래킹하는데 사용된다.
제2 카메라(121b)는 장착된 ToF 센서를 통해, 화각내에 보여지는 사용자의 손을 뎁쓰 맵(depth map)을 포함하여 이미지로 획득한다. 여기에서, ToF 센서는 음파/광원을 사용자의 손(예, 사용자의 손의 임의포인트)에 투사하고, 사용자의 손을 맞고 반사되는 반사 음파/광원이 돌아오는 시간을 측정하여 사용자 손에 대한 뎁스 맵(depth map)을 생성할 수 있다. 뎁스 맵(depth map)은 관찰 시점(viewpoint)으로부터 사용자 손의 표면과의 거리와 관련된 정보를 포함한 이미지를 나타낸다.
본 발명에 따른 XR 디바이스(100)는 제2 카메라(121b)를 통해, 사용자 손에 대한 원본 이미지, 뎁스 맵(depth map), 및 원본 이미지에 뎁스 맵을 적용한 결과 이미지를 획득할 수 있다.
또한, 이하에 자세히 설명되는 바와 같이, XR 디바이스(100)와 연동하는 컨트롤러(200)가 사용자의 손에 착용된 형태로 구현됨에 따라, 사용자의 손의 위치를 트래킹하는 것은 컨트롤러의 위치를 트래킹하는 것이 된다. 따라서, XR 디바이스(100)는 제2 카메라(121b)만으로 컨트롤러에 대응되는 가상 오브젝트의 움직임을 정확하게 구현할 수 있다. 이에 대해서는, 이하에서 보다 자세히 기술하겠다.
실시 예에서, 상기 제1 카메라(121a)는 사용자의 시야 주변의 환경 정보를 수집하기에 적합하도록 양안 기준의 위쪽 좌우에 각각 배치될 수 있다. 또한, 상기 제2 카메라(121b)는 사용자의 얼굴 아래 범위에서 움직이는 손의 위치를 트래킹하기에 적합하도록 양안 기준의 아래쪽 좌우에 각각 배치될 수 있다.
또 다른 실시 예에서, 상기 XR 디바이스가 HMD 타입이 아닌 다른 타입의 형태로 구현된 경우, 구현된 타입에 따라, 상기 제1 카메라는 사용자의 위치를 트래킹하기에 적합한 다른 위치에, 상기 제2 카메라는 사용자의 손의 위치를 트래킹하기에 적합한 다른 위치에 배치될 수 있다.
계속해서 도 3c를 참조하면, XR 디바이스(100)는 프론트 케이스(101), 페이스 쉴드(102)를 포함하며, 그 사이에 렌즈 모듈(150), PCB(180), 카메라(121a, 121b)를 포함하여 구현될 수 있다.
도 3c에 도시된 바와 같이, 페이스 쉴드(102)는 사용자의 양안에 밀착되는 고글형태로 구현될 수 있으나, 이에 한정되지 않는다. 프론트케이스(101)는 양안의 전방의 피사체 이미지를 볼 수 있도록 개구부를 포함할 수 있다.
프론트케이스(101)와 페이스 쉴드(102) 사이에는 제1 카메라(121a)와 제2 카메라(121b), PCB 회로(180), 렌즈 모듈(150)이 순차적으로 내장될 수 있고, 일체로 형성될 수 있다. 프론트케이스(101)와 페이스 쉴드(102)는 사용자가 착용 용이하도록 플렉세블 재질로 형성될 수 있다.
PCB 회로(180)는 전술한 프로세서(180)의 하드웨어적 구현으로서, XR 디바이스(100)의 PCB와 프로세서는 동일한 의미로 사용될 수 있다. PCB 회로(180)는 XR 디바이스(100)를 착용한 사용자에게 보여질 이미지나 가상 오브젝트를 생성하는데 사용될 수 있다.
렌즈 모듈(150)은 광학렌즈, 가이드렌즈 등의 복수의 렌즈를 포함할 수 있으며, 프론트케이스(101)의 개구부를 통해 외부 환경을 볼 수 있도록 반투명 재질로 형성된 디스플레이를 포함할 수 있다. 상기 디스플레이를 통해 출력되는 이미지는, 사용자의 일반 시야와 오버랩되어 보여질 수 있다.
또한, 비록 도 3c에 도시되지는 않았지만, XR 디바이스(100)는 프론트케이스(101)와 페이스 쉴드(102) 사이에 또는 XR 디바이스(100)의 측면에 음향 출력 모듈, 마이크로폰, 통신모듈 등의 전자부품이 장착될 수 있다. 이와 같은 XR 디바이스(100)의 통신모듈을 통해, XR 디바이스(100) 및 이하에 기술되는 컨트롤러(200)가 통신가능하도록 연결된다.
도 4a, 도 4b, 도 4c, 도 4d는 본 발명의 실시 예에 따른 XR 디바이스(100)와 통신하는 컨트롤러(200, 200')의 구조, 예시적 부품, 및 작동 원리를 설명하기 위한 도면들이다.
본 발명에 따른 컨트롤러(200)는, 도 4a에 도시된 바와 같이 손바닥 위의 손가락 마디쪽에 착용하는 글러브 타입(Glove Type)의 형태로 구현될 수 있다.
또 다른 실시 예로, 본 발명에 따른 컨트롤러(200')는 도 4c에 도시된 바와 같이 시계처럼 손목에 착용하는 브라이슬릿 타입(Bracelet Type)의 형태로 구현될 수 있다.
한편, 도 4c에서는 설명의 편의를 위해, 글러브 타입(Glove Type)의 컨트롤러(200)를 예시로 컨트롤러의 예시적 부품을 설명하였으나, 브라이슬릿 타입(Bracelet Type)의 컨트롤러에도 동일한 부품이 적용될 수 있음은 물론이다.
먼저, 도 4a를 참조하여 글러브 타입(Glove Type)의 형태로 구현되는 컨트롤러(200)를 설명하겠다.
글러브 타입의 컨트롤러는, 본체의 프레임이 위치하는 제1부분과 손가락에 끼워지는 복수의 링이 위치하는 제2부분을 포함할 수 있다. 상기 제1부분은, PCB나 배터리 등의 주요 구성부품이 내장되는 공간인 실장부를 포함할 수 있고, 본체의 프레임, 즉 제1부분은 사용자의 손바닥 위, 즉 손가락의 근위지 또는 본절부(phalanges)를 감싸도록 형성될 수 있다. 상기 제2부분에 포함된 복수의 링(ring) 각각은 와이어를 통해 상기 제1부분의 실장부와 연결되어, 하나의 연결된 구조를 취할 수 있다. 상기 복수의 링 중 적어도 일부에는 피드백 신호에 대응되는 전기적 진동신호를 출력하기 위한 햅틱모듈이 구비될 수 있다. 복수의 링(ring) 각각은 대응되는 손가락의 첫번째 마디 전후에 끼워질 수 있다. 이때, 조작의 편의를 위해 엄지 손가락 위치에 대응되는 링 및 와이어는 제외될 수 있다. 복수의 링(ring)이 사용자의 손가락에 끼워진 후, 사용자가 손가락을 펴거나 구부리는 모션을 취함에 따라, 실장부에 연결된 각 와이어가 인장 또는 압축된다. 그러면, 실장부에서 와이어 인장 또는 압축을 감지하여, 대응되는 피드백 신호를 각 링에 포함된 햅틱모듈(또는, 실장부에 장착된 햅틱모듈)을 통해 출력시킬 수 있다. 이와 함께, 실장부 또는 본체 프레임의 내부 또는 외부에 장착된 통신모듈을 통해, 감지된 와이어 인장 또는 압축에 대응되는 신호/데이터가 연결된 XR 디바이스(100)로 전송될 수 있다.
다음, 도 4c를 참조하여 브라이슬릿 타입(Bracelet Type)의 형태로 구현되는 컨트롤러(200')를 설명하겠다.
브라이슬릿 타입(Bracelet Type)의 컨트롤러에서 실장부를 포함하는 본체의 프레임은 사용자의 손목에 시계처럼 착용되도록 형성될 수 있다. 이러한 경우, 사용자의 손가락에 끼움 형태로 착용되는 링(ring), 링과 실장부를 연결하는 와이어 구성은 글러브 타입의 컨트롤러와 유사하나, 링의 형상이 'c' 자 형상이 아닌 고려형이고, 링 및 와이어는 와이어 인장 또는 압축을 감지하기 용이한 일부 손가락(예, 검지 및 중지 손가락)에 대해서만 형성될 수 있다. 이는, 본체의 프레임이 글러브 타입의 컨트롤러와 같이 사용자의 손바닥 위가 아니라 손목에 위치함에 따라, 와이어 인장 또는 압축을 감지하기 어려운 손가락은 제외시킨 구조를 취한 것이다.브라이슬릿 타입의 컨트롤러에도 전술한 글러브 타입의 컨트롤러와 동일한 다른 부품, 예를 들어 배터리, 햅틱모듈, 통신모듈이 포함될 수 있다.
계속해서, 도 4b를 참조하면 컨트롤러(200)(또는, 컨트롤러(200'))는 프론트 케이스(201), 리어 케이스(202), 케이스 내부 공간에 내장된 PCB(230), 진동 발생을 위한 모터(231), 손가락에 끼움 형태로 착용되는 하나 이상의 링(222), 상기 링(222)과 PCB(230) 등이 내장된 실장부를 연결하는 하나 이상의 와이어(221)를 포함하여 구현될 수 있다.
PCB(230)는 전술한 컨트롤러(200)의 프로세서(230)의 하드웨어적 구현으로서, 컨트롤러와 동일한 구성으로 이해될 수 있다.
모터(231)는 피드백 신호에 대응되는 전기적 진동신호를 발생시키며, 실장부에서 직접 진동신호가 발생하도록 구현되거나 또는 와이어를 통해 연결된 각 링(ring)에 전달되어 각 링(ring)에서 진동신호가 출력되도록 구현될 수 있다. 이를 위해, 비록 도시되지는 않았지만, PCB(230) 외에 모터(230)의 구동을 위한 전원을 공급하기 위한 배터리(미도시)가 실장부에 내장될 수 있다.
링(222)은 사용자의 손가락의 첫번째 마디 주변에 끼움 형태로 착용된다. 링(222)은 용이한 착탈을 위해 일방향(예, 아래방향)이 개구된 'C'자 형상의 반지 형태를 취할 수 있다. 또한, 링(222)은 사용자마다 서로 다른 손가락의 크기를 고려하여, 끼움 전후에 쉽게 구부릴 수 있는 플렉시블 재질로 구현될 수 있다. 링(222) 각각은 사용자의 손가락에 끼워짐으로써, 각 손가락에 고정된다.
와이어(222)는 일단은 링(222)에 타단은 실장부 내에 연결되는 케이블 형태일 수 있다. 와이어(222)는 사용자의 다양한 손 크기 및 손가락 길이를 고려하여, 착용후의 초기값을 기준으로 와이어 인장 또는 압축의 변화값이 감지되도록 구현된다. 예를 들어, 컨트롤러(200)가 XR 디바이스(100)와 연결된 후, 와이어의 초기값 설정을 위한 사용자 손의 손가락 모션(예, 손가락 펴기, 손가락 구부리기, 손가락 완전히 오므리기 등)이 수행될 수 있다. 설정에 따른 와이어의 초기값이 메모리(미도시)에 저장되고, 이후 사용자의 손가락 모션에 대응되는 와이어 길이변화값에 기초하여, 와이어의 인장 또는 압축이 감지된다.
한편, 비록 도시되지는 않았지만, 컨트롤러(200, 200')의 실장부에는 와이어의 일단(또는, 타단)과 연결되는 와이어 휠모듈(Wire Wheel Module)을 포함할 수 있다. 와이어(222)는 와이어 휠모듈에 감겨저 있고, 와이어 휠모듈에 내장된 토션 스프링에 의해 고정된다.
도 4d는 와이어(222)가 와이어 휠모듈에 감겨진 상태에서, 와이어 인장 또는 와이어 압축되는 동작의 원리를 보여주고 있다. 도 4d에서는, 와이어 휠모듈에 토셔 스프링이 내장되어, 감겨진 와이어가 잡아당겨져서 실장부 외부로 인출되면 와이어 인장으로 인식된다. 반면, 와이어가 놓아져서 실장부 외부로 인입되면 와이어 압축으로 인식된다.
본 발명에서와 같이 컨트롤러가 사용자의 손가락에 끼움형태로 구현되고, 손가락에 끼워진 링에 와이어가 연결된 구조에서, 사용자가 손가락을 구부리면 와이어 휠모듈에 감겨진 와이어가 잡아당겨지면서 와이어 인장이 발생한 것으로 인식된다. 그리고, 사용자가 손가락을 펴면 와이어 휠모듈오 와이어가 감겨들어가서 와이어 압축이 발생한 것으로 인식된다.
이를 위해, 와이어 휠모듈에 감겨지는 와이어는, 일단이 사용자의 손에 끼움되는 링에 연결되고, 타단이 상기 와이어 휠모듈에 내장된 토션 스프링에 고정 케이블 형태로 감겨진 구조를 취할 수 있다.
컨트롤러의 동작 감지 센서는, 링을 끼운 손가락의 구부림 모션에 따라 와이어가 링 방향으로 인출되면 와이어 인장을 감지한다. 또한, 컨트롤러의 동작 감지 센서는, 링을 끼운 손가락을 펴는 모션에 따라 와이어가 상기 와이어 휠모듈 방향으로 인입되면 와이어 압축을 감지한다.
도 5는 본 발명의 실시 예에 따라, 컨트롤러(200)에서의 동작 감지 데이터에 기초하여 XR 디바이스(100)와 컨트롤러(200가 인터랙션하는 동작을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, XR 디바이스(100) 및 컨트롤러 디바이스(이하, '컨트롤러')(200)는 유/무선 통신 방식을 통해, 상호 인터랙션을 수행하도록 연결된다. XR 디바이스(100)는 제2 카메라를 통해 컨트롤러를 착용한 사용자의 손의 위치를 트래킹함으로써, 컨트롤러의 위치 및 움직임에 대응되는 가상 오브젝트를 생성하여, 디스플레이할 수 있다.
컨트롤러(200)는 본체를 착용한 사용자의 손 모션을 통해 컨트롤러(200)의 와이어 인장/압축(510)이 수행되면, 동작 감지 센서(520)를 통해 이를 감지함으로써, 컨트롤러(200)가 와이어 인장 또는 와이어 압축에 대응되는 동작 감지 데이터를 생성한다.
컨트롤러(200)는 동작 감지 센서(520)의 감지 결과에 대응되는 신호/데이터, 구체적으로 와이어 인장에 대응되는 동작 감지 데이터나 그리고/또는 와이어 압축에 대응되는 동작 감지 데이터를 XR 디바이스(100)로 전달한다. 동작 감지 데이터는 연속하여 전달될 수 있으며, 각 동작 감지 데이터는 와이어 인장/압축에 대응되는 센싱 값의 크기정보를 포함할 수 있다.
XR 디바이스(100)는 수신된 동작 감지 데이터를 입력으로 처리하여, 가상 오브젝트(예, 가상의 손)와 타겟 오브젝트(예, 가상의 공) 간의 상호작용 동작을 이미지 렌더링 처리하여, 디스플레이를 통해 출력할 수 있다.
구체적으로, XR 디바이스(100)는 컨트롤러를 착용한 손을 구부리는 모션에 따른 동작 감지 데이터를 제1입력으로 수신하여 타겟 오브젝트와 상호작용을 유지하는 모션을 디스플레이할 수 있다. 또한, XR 디바이스(100)는 컨트롤러를 착용한 손을 펴는 모션에 따른 동작 감지 데이터를 제2입력으로 수신하여 타겟 오브젝트와 상호작용을 해제하거나 벗어나는 모션을 디스플레이할 수 있다.
예를 들어, 동작 감지 데이터로, 제1시점에 와이어 인장이 수신됨에 따라 가상 손이 가상의 공을 그립한 상태에서, 제1시점 이후 제2시점에 와이어 압축이 수신됨에 따라 그립한 가상의 공을 던지는 상호작용 동작의 이미지가 렌더링되어, 디스플레이(151)를 통해 표시될 수 있다.
XR 디바이스(100)의 처리 결과(예, 가상의 공 움켜졌다가 던지기)는 컨트롤러(200)에 전달될 수 있고, 처리 결과에 대응되는 디스플레이 시점에 컨트롤러(200)에 피드백 진동신호가 출력되도록 동작할 수 있다.
XR 디바이스(100)는, 컨트롤러(200에서 상기 동작 감지 데이터에 대응되는 피드백 진동신호가 발생하는 동안, XR 디바이스(100)의 디스플레이(151)를 통해 보여지는 VR 이미지의 타겟 오브젝트에 대한 상호작용 관련 모션을 디스플레이할 수 있다.
도 6a 및 도 6b는 본 발명의 실시 예에 따라, 컨트롤러를 착용한 사용자의 손을 추적하여, XR 디바이의 VR 이미지에 디스플레이되는 인터랙션 동작을 설명하기 위한 도면들이다.
본 명세서에서, XR 디바이스(100)는 일반 카메라, 즉 제1 카메라(121a)를 통해, 주변 환경 정보(예, 전방 피사체 이미지)와 사용자의 위치를 파악한다. 또한, XR 디바이스(100)는 ToF 카메라, 즉 제2 카메라(121b)를 통해, 컨트롤러(200)를 착용한 사용자의 손의 위치를 파악한다
구체적으로, XR 디바이스(100)의 제2 카메라(121b)는 컨트롤러(200)를 착용한 사용자의 손의 포인트(예, 손등의 임의 포인트 등)를 캡쳐하여, 프로세서(180)로 전달한다. 프로세서(180)는 캡쳐된 포인트에 기초하여 사용자의 손의 뎁스 맵(depth map)을 포함한 연속 이미지를 획득하도록 제2 카메라(121b)를 제어할 수있다.
여기에서, 상기 뎁스 맵(depth map)은 3차원 컴퓨터 그래픽에서 관찰 시점(viewpoint)으로부터 물체 표면과의 거리와 관련된 정보가 담긴 하나의 이미지를 의미한다.
한편, 도 6a에 도시된 바와 같이 공간(600) 내에 복수의 라이트하우스 디바이스(601)를 추가 설치하여, XR 디바이스(100)의 위치를 보다 정확히 인식하도록 구현할 수 있다. 이러한 경우, 라이트하우스 디바이스(601)는 인식가능한 공간(600) 범위가 극대화될 수 있는 위치, 예를 들어 대각선 방향으로 서로 마주보는 위치에 설치될 수 있다. 라이트하우스 디바이스(601)는 각각 IR 램프와 2축 모터를 포함할 수 있으며, 이를 통해 XR 디바이스(100)와 신호를 주고받아, XR 디바이스(100)로부터 반사되는 광이 수신되는 위치와 시간의 상관관계에 기초하여 XR 디바이스(100)의 위치를 정확히 결정할 수 있다.
XR 디바이스(100)는 공간(600)내의 주변 환경 정보, XR 디바이스의 위치, 컨트롤러의 위치 및 움직임을 기초로, 공간(600) 내에 VR 이미지나 XR 오브젝트를 생성하여 디스플레이에 출력할 수 있다.
도 6b는 공간(600) 내에서 가상 오브젝트(예, 가상의 손)(610)와 타겟 오브젝트(예, 가상의 손전등)(620)가 상호작용하는 동작을 디스플레이한 예시를 보인 것이다.
XR 디바이스(100)는 제1 카메라(즉, 일반 카메라)를 통해 공간(600) 내의 XR 디바이스(100), 즉 사용자의 위치를 인식하고, 제2 카메라(즉, ToF 카메라)를 통해 공간(600) 내의 컨트롤러(200), 즉 사용자의 손 위치를 인식한다.
컨트롤러(200)를 착용한 사용자의 손 모션(즉, 손가락 모션)에 대응되는 와이어 인장/압축의 감지 결과 컨트롤러(200)에서 대응되는 피드백 신호가 발생하는 동안, XR 디바이스(100)는 디스플레이(151)에 제공되는 VR 이미지의 타겟 오브젝트에 대한 상호작용 관련 모션을 디스플레이하도록 렌더링을 수행할 수 있다.
구체적으로, XR 디바이스(100)는 제2 카메라를 통해 상기 컨트롤러를 착용한 사용자의 손 포인트를 캡쳐하도록 제어한다. XR 디바이스(100)는 캡쳐된 사용자의 손 포인트에 기초하여 사용자의 손의 뎁스 맵(depth map)을 포함한 연속 이미지를 획득하도록 제어할 수 있다. XR 디바이스(100)는 획득된 연속 이미지를 기초로 상기 VR 이미지 상에 사용자의 손에 대응되는 가상 오브젝트(즉, 가상 손)(610)를 디스플레이한다.
예를 들어, 컨트롤러(200)를 착용한 사용자의 손가락을 구부리는 모션에 의해 컨트롤러에서 와이어 인장이 감지되면, 도 6b에 도시된 바와 같이, 공간(600) 내에서 가상 손(610)이 인접한 타겟 오브젝트, 즉 가상의 손전등(620)을 그립하는 상호작용 동작이 디스플레이된다.
또한, 도시되지는 않았지만, 컨트롤러(200)를 착용한 사용자의 손가락을 펴는 모션에 의해 컨트롤러에서 와이어 압축이 감지되면, 가상 손(610)이 가상의 손전등(620)을 놓거나 던지는 상호작용 동작이 디스플레이될 수 있을 것이다.
도 7은 도 6a 및 도 6b와 관련된 동작 흐름도이다.
도 7을 참조하면, 사용자(10)가 XR 디바이스(100) 및 컨트롤러(200)를 착용한 상태에서, XR 디바이스(100)와 컨트롤러(200)가 상호 연결되는 동작(703)이 수행된다.
XR 디바이스(100)와 컨트롤러(200) 간의 상호 연결은, XR 디바이스(100)와 컨트롤러(200)의 착용 감지시, 착용 후 일정 시간 경과시, 또는 착용 후 기설정된 입력(예, XR 디바이스/컨트롤러 디바이스에 대한 입력버튼 푸쉬, 사용자 모션, 음성명령 등)에 응답하여 수행될 수 있다.
XR 디바이스(100)는 제1 카메라, 즉 일반 카메라를 통해 외부 환경을 인식하는 동작(701)을 수행함으로써, 외부 환경 정보를 수집한다(702). 그리고, 수집된 외부 환경 정보를 기초로 XR 디바이스(100)를 착용한 사용자의 위치를 트래킹한다.
이와 함께, XR 디바이스(100)는 제2 카메라, 즉 ToF 카메라를 통해 컨트롤러(200)를 착용한 사용자의 손을 인식한다(704). 이때, XR 디바이스(100)는 ToF 카메라를 통해 사용자의 손에 대한 뎁스 맵(depth map)을 획득하고, 사용자 손의 원본 이미지에 뎁스 맵을 렌더링한 3차원 가상 손 이미지를 생성할 수 있다.
컨트롤러(200)를 착용한 사용자의 손이 인식되면, 사용자의 손의 모션, 즉 손가락을 구부리거나 펴는 모션에 따른 와이어 인장(손가락을 구부리는 모션에 대응됨) 또는 와이어 압축(손가락을 펴는 모션에 대응됨)이 감지된다. 즉, 컨트롤러의 동작 감지 데이터의 발생여부를 결정한다(705). 즉, 컨트롤러를 착용한 사용자의 손의 모션에 따라, 연결된 와이어의 인장 또는 압축의 변화를 감지한다.
와이어 인장 또는 와이어 압축에 대응되는 동작 감지 데이터가 발생되면, 그에 대응되는 진동 피드백이 컨트롤러(200)에서 출력된다(706).
와이어 인장 또는 와이어 압축에 대응되는 동작 감지 데이터가 발생되지 않는 동안에도, XR 디바이스(100)는 제2 카메라를 통해 사용자 손의 위치를 지속적으로 트래킹한다.
이와 같이 와이어 인장 또는 와이어 압축에 대응되는 동작 감지 데이터가 발생시 또는 그에 대응되는 진동 피드백의 출력시, XR 디바이스(100)는 가상의 컨텐츠 및 가상 손의 상호작용 동작(707) 및/또는 다른 가상 UI(708)을 디스플레이할 수 있다.
도 8은 본 발명의 실시 예에 따라, 컨트롤러(200)에서 감지되는 와이어 인장에 근거하여 XR 디바이스(100)의 VR 이미지에 인터랙션 동작을 디스플레이하는 것을 설명하기 위한 예시 흐름도이다.
다시 말해, 도 8은 컨트롤러(200)를 이용하여 가상의 오브젝트에 접근하여 상호작용을 수행하는 것과 관련된 동작들을 도시한 것이다.
도 8에 도시된 바와 같이, XR 디바이스(100)는 컨트롤러 디바이스(이하, '컨트롤러')(200)와 연결되면, XR 디바이스(100)에 구비된 제2 카메라(예, ToF 카메라)를 이용하여 컨트롤러를 착용한 사용자의 손의 위치를 인식한다(801).
XR 디바이스(100)는 제2 카메라를 통해 사용자 손에 대한 뎁스 맵(depth map)을 포함한 이미지를 기초로, 사용자 손에 대응되는 가상의 오브젝트(예, 가상의 손)를 렌더링하여 디스플레이(151)의 화면에 디스플레이한다.
XR 디바이스(100)는 제2 카메라를 통해 사용자의 손의 위치를 지속적으로 추적하여, 대응되는 가상의 오브젝트에 대한 움직임을 제어한다.
이후, 사용자 동작(10)으로, 사용자의 손이 XR 디바이스(100)를 통해 보여지는 이미지 내 타겟 오브젝트로 근접(802)한 것에 응답하여, XR 디바이스(100)가 제2 카메라를 통해, 사용자의 손의 움직임을 트래킹하여, 대응되는 가상의 오브젝트가 타겟 오브젝트로 근접하는 이미지를 생성한다. 즉, XR 디바이스(100)는 VR 이미지 상에서 가상 손이 타겟 오브젝트로 접근하는 표시를 디스플레이하고, 그러한 표시에 대응되는 신호/데이터를 컨트롤러(200)로 전송한다(803).
컨트롤러(200)는 가상 손이 타겟 오브젝트로 접근하는 표시에 응답하여, 피드백 신호(이하, '1차 피드백')를 출력할 수 있다(804).
여기에서, 1차 피드백은 가상 손이 상호작용하려는 타겟 오브젝트에 가까이 접근한 것을 나타내는 피드백신호이다. 이러한 1차 피드백은, 예를 들어 컨트롤러(200)의 출력모듈(240)을 통해 사용자가 미세하게 느낄 수 있는 정도의 낮은 전기적 진동신호를 출력하는 형태로 구현될 수 있다. 이는, 근접센서를 통하여 사용자의 손이 타겟 물체에 가까이 접근한 것을 인지한 것에 대한 일정 피드백 출력값일 수 있다.
이후, 사용자 동작(10)으로, 사용자의 손이 손가락을 구부리는 모션을 취함에 따라 컨트롤러(200)에서 와이어 인장(또는, 와이어 릴리즈)이 감지(805)된 것에 응답하여, XR 디바이스(100)가 와이어 인장에 대응되는 신호를 입력으로 수신하고, 수신된 입력을 기초로 사용자의 손에 대응되는 가상의 오브젝트(예, 가상의 손)가 타겟 오브젝트를 그립하는 이미지를 생성한다. 즉, XR 디바이스(100)는 VR 이미지 상에서 가상 손이 타겟 오브젝트를 그립한 표시를 디스플레이하고, 그러한 표시에 대응되는 신호/데이터를 컨트롤러(200)로 전송한다(806).
컨트롤러(200)는, VR 이미지 상에서 가상 손이 타겟 오브젝트를 그립한 표시가 디스플레이되는 것과 동시에 또는 이어서 피드백 신호(이하, '2차 피드백')를 출력할 수 있다(807).
여기에서, 2차 피드백은 가상 손이 타겟 오브젝트를 터치 및 그립한 것을 나타내는 피드백신호이다. 이러한 2차 피드백은, 예를 들어 컨트롤러(200)의 출력모듈(240)을 통해 사용자가 타겟 오브젝트를 그립한 것을 느낄 수 있는 전기적 진동신호를 출력하는 형태로 구현될 수 있고, 이는 전술한 1차 피드백 보다 강한 전기적 진동신호일 수 있다.
실시 예에서, 상기 2차 피드백의 전기적 진동신호의 크기는 감지된 와이어 인장의 센싱값의 크기에 비례할 수 있다. 예를 들어, 컨트롤러(200)를 착용한 사용자가 강한 힘으로 손가락을 구부리는 모션을 취함에 따라, 와이어 인장의 센싱 값이 증가한 만큼, 전기적 진동신호의 출력값이 더욱 증가할 수 있다.
다른 실시 예에서, 상기 2차 피드백의 전기적 진동신호의 크기 또는 진동 패턴은 타겟 오브젝트의 속성에 따라 달라질 수 있다.
예를 들어, 가상 손과 상호작용하는 타겟 오브젝트가 단단한 물질(예, 바위, 돌, 무기 등) 특성인 경우라면, 설정값보다 소정범위 큰 전기적 진동신호값이 컨트롤러(200)의 출력모듈(240)에 출력될 수 있다. 또는, 예를 들어, 가상 손과 상호작용하는 타겟 오브젝트의 촉감이 부드러운(예, 털이 있는 동물 등) 특성인 경우라면, 설정값보다 소정범위 작은 전기적 진동신호값이 컨트롤러(200)의 출력모듈(240)에 출력될 수 있다. 또는, 예를 들어, 가상 손과 상호작용하는 타겟 오브젝트가 탄력성 있는 물질(예, 고무공 등) 특성인 경우, 기준 패턴과 다른 패턴의 전기적 진동신호가 출력될 수 있다.
실시 예에 따라, 상기 제1 및 제2 피드백의 전기적 진동신호가 출력되는 출력모듈(240)은 와이어의 일단에 연결되어, 사용자의 손가락에 끼움 형태로 착용되는 각각의 링(rign)에 구비된 햅틱모듈 및 속목/손등에 위치한 실장부에 내장된 햅틱모듈 중 적어도 하나일 수 있다.
도 9는 본 발명의 실시 예에 따라, 컨트롤러(200)에서 감지되는 와이어 인장 증가(또는, 와이어 인장력 증가) 또는 와이어 압축에 근거하여 XR 디바이스(100)의 VR 이미지에 인터랙션 동작을 디스플레이하는 것을 설명하기 위한 예시 흐름도이다.
다시 말해, 도 9는 전술한 도 8의 동작에 이어서, 컨트롤러(200)를 이용하여 상호작용하는 타겟 오브젝트에 대한 추가 동작 또는 상호작용의 해제와 관련된 동작들의 예시를 도시한 것이다.
도 9에 도시된 바와 같이, XR 디바이스(100)의 제2 카메라를 통해, 컨트롤러(200)를 착용한 사용자의 손에 대응되는 가상 손이 타겟 오브젝트를 그립한 것을 인식할 수 있다(901).
이후, 사용자 동작(10)으로서, 컨트롤러(200)를 착용한 사용자의 손이 손가락을 더욱 강하게 구부리는 모션을 취함에 따라 컨트롤러(200)에서 와이어 인장 증가가 감지(902)된 것에 응답하여, 감지된 와이어 인장 증가에 대응되는 3차 피드백이 컨트롤러(200)의 출력모듈(240)을 통해 출력될 수 있다. 이때, 3차 피드백은 가상 손이 타겟 오브젝트를 터치 및 그립한 것을 나타내는 2차 피드백 보다 더욱 증가된 출력값을 갖는 전기적 진동신호일 수 있다.
이와 동시에 또는 연속하여, 와이어 인장 증가에 대응되는 신호/데이터가 컨트롤러(200)로부터 XR 디바이스로(100)로 전달된다(904).
XR 디바이스(100)는 와이어 압축 증가에 대응되는 신호/데이터에 근거하여, 사용자 손에 대응되는 가상 오브젝트(예, 가상 손), 타겟 디바이스 자체, 또는 가상/타겟 오브젝트 주변에 인장 피드백 이미지를 생성하여 디스플레이(151)를 통해 출사한다. 이와 함께, XR 디바이스(100)는 그러한 인장 피드백 이미지에 대응되는 신호/데이터를 컨트롤러(200)로 전송한다(905).
여기에서, 상기 인장 피드백 이미지란, 사용자 손에 대응되는 가상 오브젝트가 타겟 오브젝트를 강하게 그립한 것을 시각적으로 나타내는 다양한 종류의 이미지를 포함할 수 있다. 예를 들어, 타겟 오브젝트의 형태변경(예, 찌그러짐), 가상/타겟 오브젝트 일부의 컬러 변경, 타겟 오브젝트의 위치이동(예, 튕겨 나감) 중 하나를 나타내는 이미지가 렌더링되어, XR 디바이스(100)의 디스플레이(151)를 통해 출력될 수 있다.
한편, 또 다른 실시 예로 또는 동작(905)에 연속하는 사용자 동작(10)으로서, 컨트롤러(200)를 착용자 사용자 손이 손가락을 펴는 모션을 취함에 따라, 컨트롤러(200)에서 와이어 압축을 감지할 수 있다(906).
계속해서, 컨트롤러(200)는 와이어 압축의 감지에 응답하여, 출력모듈(240)을 통해 4차 피드백을 출력할 수 있다(907). 이때, 4차 피드백은 가상 손이 타겟 오브젝트를 놓거나 또는 던져서 상호작용이 해제되었음을 것을 나타내는 것으로, 전술한 1차 피드백과 유사한 정도의 미세한 출력값을 갖는 전기적 진동신호로 표현될 수 있다.
이와 동시에 또는 연속하여, 와이어 압축 대응되는 신호/데이터가 컨트롤러(200)로부터 XR 디바이스로(100)로 전달된다(908).
그러면, XR 디바이스(100)는 와이어 압축에 대응되는 신호/데이터에 근거하여, 사용자 손에 대응되는 가상 오브젝트(예, 가상 손), 타겟 디바이스 자체, 또는 가상/타겟 오브젝트 주변에 압축 피드백 이미지를 생성하여 디스플레이(151)를 통해 출력한다.
여기에서, 상기 압축 피드백 이미지란, 사용자 손에 대응되는 가상 오브젝트가 타겟 오브젝트를 놓거나 던지는 것을 나타내는 다양한 종류의 이미지를 포함할 수 있다. 예를 들어, 타겟 오브젝트의 위치변경(예, 떨어짐 또는 날아감) 또는 가상 오브젝트의 위치변경(예, 가상 손을 펴거나 위치이동)을 나타내는 이미지가 렌더링되어, XR 디바이스(100)의 디스플레이(151)를 통해 출력될 수 있다.
한편, 상기 압축 피드백 이미지는 와이어 압축이 감지되기 전 와이어 인장력의 크기에 따라 가변될 수 있다. 예를 들어, 가상의 공을 던지는 모션에서, 와이어 압축은 공을 던지는 씬이 압축 피드백 이미지가 될 것이므로, 직전의 와이어 인장력이 클수록 던져지는 공의 형상변화나 이동거리도 더욱 증가하여 구현될 것이다.
이와 함께, XR 디바이스(100)는 그러한 압축 피드백 이미지에 대응되는 신호/데이터를 컨트롤러(200)로 전송할 수 있다(909).
이상에서 살펴본 바와 같이 본 발명의 일부 실시 예에 의하면, XR 디바이스와 연동되는 컨트롤러에 LED 링을 구비할 필요 없이, XR 디바이스에 구비된 ToF 카메라를 통해 뎁스 맵을 포함한 사용자의 손의 위치를 파악하고 트래킹함으로써, 상호작용을 위한 가상 오브젝트를 생성할 수 있다. 이와 같이 컨트롤러의 상당부분을 차지하는 LED 링을 제거함으로써, 컨트롤러의 사이즈 및 무게 감소에 기여한다. 또한, 컨트롤러를 손에의 착용 형태로 구현함으로써, 사용자가 XR 디바이스와 상호작용하는 동안 컨트롤러를 계속 그립할 필요가 없으므로, 사용자의 양손이 자유롭고 조작이 보다 편리해진다. 나아가, 컨트롤러를 장시간 사용하더라도 피로감이 낮다. 또한, 컨트롤러를 통해 XR 디바이스를 통해 제공되는 타겟 오브젝트와 상호작용하는 경우, 사용자의 손 모션에 대응되는 피드백을 사용자 손에 제공함으로써, 가상 오브젝트간의 상호작용시 사용자가 보다 사실감 높은 상호작용을 느낄 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (13)

  1. XR 디바이스로서,
    컨트롤러와 데이터를 송수신하는 통신모듈;
    외부 환경 정보를 수집하고 사용자의 위치를 추적하기 위한 제1 카메라 및 상기 컨트롤러가 착용된 사용자의 손의 위치를 추적하기 위한 제2 카메라;
    상기 수집된 외부 환경 정보에 대응되는 VR 이미지에 상기 손에 대응되는 가상 오브젝트를 디스플레이하는 디스플레이; 및
    상기 손의 위치를 추적하여 상기 가상 오브젝트가 상기 VR 이미지 상에서 움직이도록 처리하여 상기 디스플레이에 디스플레이하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 통신모듈을 통해, 상기 컨트롤러로부터 상기 손의 모션에 대응되는 동작 감지 데이터를 입력으로 수신하고, 수신된 입력에 근거하여 상기 가상 오브젝트가 상기 VR 이미지의 타겟 오브젝트와 상호작용 관련 동작을 수행하도록 처리하여 상기 디스플레이에 디스플레이하는 XR 디바이스.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 컨트롤러에서 상기 동작 감지 데이터에 대응되는 피드백 신호가 발생하는 동안, 상기 VR 이미지의 타겟 오브젝트에 대한 상호작용 관련 동작을 디스플레이하도록 상기 디스플레이를 제어하는 XR 디바이스.
  3. 제1항에 있어서,
    상기 제1 카메라는 일반 카메라이고, 상기 제2 카메라는 ToF 카메라인 XR 디바이스.
  4. 제3항에 있어서,
    상기 XR 디바이스는, 사용자의 두부에 착용가능한 헤드 마운드 디스플레이(HMD) 디바이스 타입이며,
    착용시, 상기 제1 카메라는 사용자의 양안의 위쪽에 오도록 위치하여 전방 환경을 스캔하고, 상기 제2 카메라는 사용자의 양안의 아래쪽에 오도록 위치하여 상기 컨트롤러를 착용한 사용자의 손을 추적하는 XR 디바이스.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 제2 카메라를 통해 상기 컨트롤러를 착용한 사용자의 손의 포인트를 캡쳐하도록 제어하고,
    상기 캡쳐된 포인트에 기초하여 사용자의 손의 뎁스 맵(depth map)을 포함한 연속 이미지를 획득하도록 제어하고,
    획득되는 연속 이미지를 기초로 상기 VR 이미지 상에서 상기 손에 대응되는 가상 오브젝트를 상기 디스플레이에 디스플레이하도록 동작하는 XR 디바이스.
  6. 제1항에 있어서,
    상기 수신된 입력은 제1입력 및 제2입력 중 하나이고,
    상기 제1입력은 상기 컨트롤러를 착용한 손을 구부리는 모션에 따른 동작 감지 데이터이고 상기 제2입력은 상기 손을 펴는 모션에 따른 동작 감지 데이터이고,
    상기 프로세서는,
    상기 제1입력이 수신되면 상기 상호작용을 유지하는 동작을 디스플레이하고 상기 제2입력이 수신되면 상기 상호작용을 벗어나는 모션을 디스플레이하는 XR 디바이스.
  7. 사용자의 손에 착용가능하도록 이루어진 본체;
    XR 디바이스와 연결시 데이터를 송수신하는 통신모듈;
    본체를 착용한 사용자의 손의 모션에 따라, 연결된 와이어의 인장 또는 압축의 변화를 감지하는 센서;
    상기 XR 디바이스의 카메라를 통해 본체를 착용한 사용자의 손이 인식된 것에 근거하여, 상기 XR 디바이스에 디스플레이되는 VR 이미지와 상호작용하도록, 상기 연결된 와이어의 인장 또는 압축의 변화에 대응되는 동작 감지 데이터를 상기 XR 디바이스로 전송하는 프로세서; 및
    상기 동작 감지 데이터를 기초로 상기 VR 이미지와 상호작용이 수행되면 피드백 신호를 출력하는 출력모듈을 포함하는,
    XR 디바이스의 컨트롤러 장치.
  8. 제7항에 있어서,
    상기 센서는,
    상기 사용자의 손가락에 끼움 형태로 착용되는 링과 휠 모듈에 감겨진 와이어가 연결된 상태에서,
    착용후, 상기 손가락을 구부리는 모션에 대응되는 와이어 인장 또는 상기 손가락을 펴는 모션에 대응되는 와이어 압축을 감지하여, 상기 프로세서에 전달하는,
    XR 디바이스의 컨트롤러 장치.
  9. 제8항에 있어서,
    상기 와이어의 일단은 상기 링에 연결되고 상기 와이어의 타단은 상기 휠 모듈에 내장된 토션 스프링에 고정 케이블 형태로 감겨진 구조이며,
    상기 센서는,
    상기 손가락을 구부리는 모션에 따라 와이어가 상기 링 방향으로 인출되면 와이어 인장을 감지하고, 상기 손가락을 펴는 모션에 따라 와이어가 상기 휠 모듈 방향으로 인입되면 와이어 압축을 감지하도록 동작하는,
    XR 디바이스의 컨트롤러 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 동작 감지 데이터를 기초로 상기 VR 이미지의 가상 오브젝트가 타겟 오브젝트를 그립하는 동작이 디스플레이되는 동안, 상기 출력모듈을 통해 진동 피드백을 출력하는,
    XR 디바이스의 컨트롤러 장치.
  11. 제10항에 있어서,
    상기 VR 이미지의 가상 오브젝트가 타겟 오브젝트를 그립하는 동작이 디스플레이되는 동안, 상기 센서에 의해 와이어 인장이 증가하는 것이 감지되면,
    상기 출력모듈을 통해 출력되는 진동 피드백의 레벨을 증가시키고, 상기 VR 이미지의 타겟 오브젝트 주변에 피드백 이미지가 표시되도록 상기 와이어 인장의 증가와 관련된 데이터를 상기 XR 디바이스로 전송하는,
    XR 디바이스의 컨트롤러 장치.
  12. 제10항에 있어서,
    상기 VR 이미지의 가상 오브젝트가 타겟 오브젝트를 그립하는 동작이 디스플레이되는 동안, 상기 센서에 의해 와이어 압축이 감지되면,
    상기 출력모듈을 통해 출력되는 진동 피드백의 레벨을 감소시키고, 상기 VR 이미지의 타겟 오브젝트에 대한 피드백 움직임이 디스플레이되도록 상기 와이어 압축과 관련된 데이터를 상기 XR 디바이스로 전송하는,
    XR 디바이스의 컨트롤러 장치.
  13. XR 디바이스의 동작방법으로서,
    XR 디바이스 및 사용자의 손에 착용된 컨트롤러 장치를 연결하는 단계;
    상기 XR 디바이스의 카메라를 통해 컨트롤러 장치를 착용한 사용자의 손을 인식하는 단계;
    상기 컨트롤러 장치를 착용한 사용자의 손의 모션에 따라, 연결된 와이어의 인장 또는 압축의 변화를 감지하는 단계; 및
    상기 감지된 와이어의 인장 또는 압축의 변화에 대응되는 동작 감지 데이터가 수신된 것에 응답하여, 상기 XR 디바이스에 디스플레이되는 VR 이미지에 상호작용 관련 동작을 디스플레이하는 단계를 포함하는 XR 디바이스의 동작 방법.
PCT/KR2022/010406 2022-07-15 2022-07-15 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법 WO2024014592A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/010406 WO2024014592A1 (ko) 2022-07-15 2022-07-15 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/010406 WO2024014592A1 (ko) 2022-07-15 2022-07-15 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법

Publications (1)

Publication Number Publication Date
WO2024014592A1 true WO2024014592A1 (ko) 2024-01-18

Family

ID=89536991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010406 WO2024014592A1 (ko) 2022-07-15 2022-07-15 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법

Country Status (1)

Country Link
WO (1) WO2024014592A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071449A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 손가락에 연결된 줄의 장력 변화를 이용한 휴대형 문자 입력 장치 및 방법
KR101628703B1 (ko) * 2015-02-11 2016-06-21 울산과학기술원 손가락 움직임 측정 시스템 및 측정 방법
KR20170008498A (ko) * 2015-07-14 2017-01-24 엘지전자 주식회사 전자기기 및 그 제어방법
KR101762631B1 (ko) * 2009-11-13 2017-07-28 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
KR20190032473A (ko) * 2016-09-22 2019-03-27 애플 인크. 세계 및 사용자 센서들을 갖는 디스플레이 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101762631B1 (ko) * 2009-11-13 2017-07-28 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
KR20110071449A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 손가락에 연결된 줄의 장력 변화를 이용한 휴대형 문자 입력 장치 및 방법
KR101628703B1 (ko) * 2015-02-11 2016-06-21 울산과학기술원 손가락 움직임 측정 시스템 및 측정 방법
KR20170008498A (ko) * 2015-07-14 2017-01-24 엘지전자 주식회사 전자기기 및 그 제어방법
KR20190032473A (ko) * 2016-09-22 2019-03-27 애플 인크. 세계 및 사용자 센서들을 갖는 디스플레이 시스템

Similar Documents

Publication Publication Date Title
WO2018128526A1 (en) System and method for augmented reality control
WO2014109498A1 (en) Head mounted display providing eye gaze calibration and control method thereof
WO2011059202A2 (en) Display device and method of controlling the same
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2021040107A1 (ko) Ar 장치 및 그 제어 방법
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
WO2020256169A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2024014592A1 (ko) Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법
WO2019066323A1 (ko) 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
WO2021049730A1 (ko) 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2022080549A1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
WO2020085537A1 (ko) 동작인식 디바이스 및 이를 이용한 동작인식 방법
WO2023158171A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2024058434A1 (ko) 사용자의 외부 환경을 촬영하는 컨트롤 장치 및 그 동작 방법 및 컨트롤 장치와 연결된 머리 착용형 전자 장치
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
WO2023149671A1 (ko) 입력 모드를 전환하는 증강 현실 장치 및 그 방법
WO2024106995A1 (ko) 가상 현실 공간 상에 가상 객체를 제공하기 위한 전자 장치 및 방법
WO2024136381A1 (ko) 시각적 객체를 표시하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22951247

Country of ref document: EP

Kind code of ref document: A1