WO2022019433A1 - 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템 - Google Patents

시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템 Download PDF

Info

Publication number
WO2022019433A1
WO2022019433A1 PCT/KR2021/003269 KR2021003269W WO2022019433A1 WO 2022019433 A1 WO2022019433 A1 WO 2022019433A1 KR 2021003269 W KR2021003269 W KR 2021003269W WO 2022019433 A1 WO2022019433 A1 WO 2022019433A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
user
roughness
hand
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/003269
Other languages
English (en)
French (fr)
Inventor
김영준
김예솔
오유란
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ewha Womans University
Original Assignee
Ewha Womans University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ewha Womans University filed Critical Ewha Womans University
Priority to US18/017,408 priority Critical patent/US12056281B2/en
Publication of WO2022019433A1 publication Critical patent/WO2022019433A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Definitions

  • the present invention relates to a system and method for providing a roughness of a virtual object, and more particularly, to a system and method for feeding back various roughness tactile sensations to a user without replacing a texture to be coupled to an end effector.
  • the tactile touch providing apparatus may help the user to immerse in the virtual reality by providing the user with the tactile sense of a virtual object that has come into contact with the user in the virtual reality.
  • the conventional tactile sense providing device attaches one of a plurality of physical textures to the end effector of the tactile sense providing device according to the virtual object the user comes into contact with. , when the virtual object the user touches is changed, the texture attached to the end effector is also changed.
  • the present invention provides different roughness tactile sensations depending on the direction and rotates the end effector in contact with the user's hand according to the spatial encoding result and moves it according to the temporal encoding result, thereby providing a user with a variety of textures to be coupled to the end effector without replacing the texture.
  • Systems and methods for feedback of roughness tactile are provided.
  • a method for providing a tactile sense of roughness of a virtual object comprising: displaying the virtual objects to a user; tracking the location of the user's hand; predicting a virtual object most likely to collide with the hand from among the virtual objects; and when the hand comes into contact with the tactile sense providing device, controlling the tactile sense providing device according to the predicted surface roughness of the virtual object to feed back the rough tactile sense to the user.
  • the step of feeding back the roughness of the touch may include contacting the hand according to the predicted surface roughness of the virtual object and the moving direction of the hand.
  • Tactile rendering for feeding back the rough tactile sense may be performed by rotating or moving the end effector of the .
  • the end effector of the method for providing the tactile sense of roughness of a virtual object includes polygonal or oval-shaped protrusions having an X-axis radius different from that of other axes, or a surface object on which the protrusions are formed ( textured surface), so that different roughness tactile sensations may be fed back to the user according to an angle of contact with the hand.
  • the predicting of the virtual object of the method for providing a rough tactile sense of the virtual object may include predicting the user's ROI based on the user's gaze direction; and predicting the virtual object including the region of interest as the virtual object most likely to collide with the hand.
  • the predicting of the virtual object of the method for providing a rough tactile sense of a virtual object includes: a position where the hand collides with the predicted virtual object based on the position and movement speed of the hand; predicting time; and moving the position of the end effector that comes into contact with the hand in the tactile sense providing device and feeds back a rough tactile sense to the user according to the predicted position and time.
  • a system for providing roughness of a virtual object includes: an HMD for displaying virtual objects to a user; an apparatus for providing roughness of a virtual object that tracks the position of the user's hand and predicts a virtual object most likely to collide with the hand from among the virtual objects; and a tactile sense providing device for feeding back a rough tactile sense to the user according to the predicted surface roughness of the virtual object when the hand comes into contact with the tactile sense providing device.
  • An apparatus for providing a roughness of a virtual object of a system for providing a roughness of a virtual object provides an end effector of the apparatus for providing a tactile sense that makes contact with the hand according to a predicted surface roughness of the virtual object and a movement direction of the hand tactile rendering for feeding back the rough tactile sense by rotating or moving the .
  • protrusions having a polygonal or elliptical shape having an X-axis radius different from that of another axis are formed, or a textured surface on which the protrusions are formed. may be attached to feed back different roughness tactile sensations to the user according to an angle of contact with the hand.
  • the apparatus for providing the roughness of a virtual object of the system for providing the roughness of a virtual object predicts a region of interest of the user based on a gaze direction of the user, and determines the virtual object including the region of interest. It can be predicted as the virtual object most likely to collide with the hand.
  • the apparatus for providing roughness of a virtual object of a system for providing roughness of a virtual object predicts a location and time at which the hand collides with the predicted virtual object based on the position and movement speed of the hand, , according to the predicted position and time, the tactile sensation providing device may move the position of the end effector that comes into contact with the hand and feeds back the rough tactile sensation to the user.
  • An apparatus for providing roughness of a virtual object includes: a visual rendering unit for displaying virtual objects to a user using an HMD; a user tracking unit for tracking the position of the user's hand; an object prediction unit predicting a virtual object most likely to collide with the hand from among the virtual objects; and a tactile rendering unit configured to control the tactile sense providing device according to the predicted surface roughness of the virtual object to feed back a rough tactile sense to the user when the hand comes into contact with the tactile sense providing device.
  • the tactile rendering unit of the apparatus for providing roughness of a virtual object rotates or moves an end effector of the apparatus for providing a tactile sense in contact with the hand according to the predicted surface roughness of the virtual object and the movement direction of the hand Thus, tactile rendering for feeding back the rough tactile sense may be performed.
  • the object prediction unit of the apparatus for providing roughness of a virtual object predicts the user's ROI based on the user's gaze direction, and the virtual object including the ROI may collide with the hand. It can be predicted with this highest virtual object.
  • the object prediction unit of the apparatus for providing roughness of a virtual object predicts a location and time at which the hand collides with the predicted virtual object based on the position and movement speed of the hand, and the tactile rendering unit , according to the predicted position and time, the tactile sensation providing device may move the position of the end effector that comes into contact with the hand and feeds back the rough tactile sensation to the user.
  • the texture to be coupled to the end effector is provided by providing different roughness tactile sensations according to directions and rotating the end effector in contact with the user's hand according to the spatial encoding result and moving it according to the temporal encoding result. It is possible to feed back various roughness tactile sensations to the user without replacement.
  • FIG. 1 is a diagram illustrating a system for providing roughness of a virtual object according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an operation of a system for providing roughness of a virtual object according to an embodiment of the present invention.
  • 3 is an example of the perceived width of the tactile feedback provided to the user according to the user's scan direction in the end effector according to an embodiment of the present invention.
  • FIG. 6 is an example of a process of predicting a virtual object most likely to collide with a user's hand according to an embodiment of the present invention.
  • FIG. 8 is an example of a rotation angle of an end effector that provides tactile feedback to a user according to an embodiment of the present invention.
  • 9 is an example of a roughness tactile level provided to a user for each rotation angle of an end effector according to an embodiment of the present invention.
  • 11 is an example of a roughness tactile level perceived by a user according to a direction and a speed of tactile rendering according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method for providing roughness of a virtual object according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a system for providing roughness of a virtual object according to an embodiment of the present invention.
  • the virtual object roughness providing system may include a virtual object roughness providing apparatus 100 , an HMD 120 , and a tactile sensation providing apparatus 130 .
  • the virtual object roughness providing apparatus 100 may include a user tracking unit 111 , an object prediction unit 112 , a visual rendering unit 113 , and a tactile rendering unit 114 .
  • the user tracking unit 111 , the object prediction unit 112 , the visual rendering unit 113 , and the tactile rendering unit 114 are different processors or each module included in a program executed by one processor. can
  • the visual rendering unit 113 may render a virtual environment and a virtual object to be provided to the user 100 , and transmit it to the HMD 120 .
  • the head mounted display (HMD) 120 may display the virtual object to the user 100 according to the rendering information received from the visual rendering unit 113 .
  • the HMD 120 may track the direction of the user's 100 head by using the tracker.
  • the HMD 120 may determine the direction in which the eyes 101 of the user 100 gaze according to the direction of the head of the user 100 and transmit the determined direction to the user tracking unit 111 .
  • the user tracking unit 111 may track the position of the hand 102 of the user 100 using an infrared ray sensor.
  • the IR sensor may be attached to the HMD 120 to track the position of the hand 120 of the user 100 wearing the HMD 120 .
  • the IR sensor is installed within a predetermined distance from the tactile sense providing device 130 or the tactile sense providing device 130 to track the position of the user's hand 102 extending in the direction in which the tactile sense providing device 130 is located. may be
  • the object prediction unit 112 may predict a virtual object that is most likely to collide with the hand 102 from among the virtual objects displayed to the user 100 by the HMD 120 .
  • the object prediction unit 112 may predict the ROI of the user 100 based on the gaze direction in which the eye 101 of the user 100 gazes. In addition, the object prediction unit 112 predicts a virtual object including the region of interest among the virtual objects rendered by the visual rendering unit 113 as a virtual object most likely to collide with the hand 112 of the user 100 . can Also, the object prediction unit 112 may predict the location and time at which the hand 102 collides with the predicted virtual object based on the position and movement speed of the hand 102 tracked by the user tracking unit 111 . In addition, the object prediction unit 112 may transmit identification information of the predicted virtual object, the location and time at which the hand 102 collides with the predicted virtual object, to the visual rendering unit 113 and the tactile rendering unit 114 . have.
  • the tactile rendering unit 114 makes contact with the hand 102 in the tactile sense providing device 130 according to the position and time predicted by the object predicting unit 112 to determine the position of the end effector that feeds back the rough tactile sense to the user 100 . can be moved In addition, the tactile rendering unit 114 may monitor whether the user's hand is in contact with the end effector of the tactile providing apparatus 130 .
  • the tactile sense providing apparatus 130 may include a torque sensor, measure a contact force f of the user 100 in contact with the end effector, and transmit it to the tactile rendering unit 114 . Also, when the received contact force f is equal to or greater than a preset threshold value, the tactile rendering 114 may determine that the user's hand is in contact with the end effector of the tactile sense providing apparatus 130 .
  • the threshold may be 3N.
  • the tactile rendering unit 114 controls the tactile sense providing device 130 according to the predicted surface roughness of the virtual object to control the user It can feed back a sense of roughness to the In this case, the tactile rendering unit 114 rotates or moves according to the surface roughness of the virtual object predicted by the end effector of the tactile providing device 130 in contact with the hand 102 and the moving direction of the hand 102 to obtain a rough tactile sense. Tactile rendering for feedback can be performed.
  • the end effector has polygonal or elliptical-shaped protrusions having different radii on the X-axis and different radii from other axes, or a textured surface on which the protrusions are formed is attached to each other depending on the direction in which they come into contact with the hand 102 .
  • Other roughness tactile sensations may be fed back to the user 100 .
  • the visual rendering unit 113 may display the hand of the user 100 displayed on the virtual reality as contact with the predicted virtual object.
  • the tactile rendering unit 114 may perform spatial encoding and temporal encoding according to the predicted surface roughness of the virtual object and the moving direction and speed of the hand 102 of the user 100 stroking the virtual object. Also, the tactile rendering unit 114 may rotate the end effector by determining a rotation angle of the end effector according to the spatial encoding result. In addition, the tactile rendering unit 114 may determine the moving direction and speed of the end effector according to the temporal encoding result to move the end effector in the determined direction.
  • the system for providing roughness of a virtual object may provide various roughness tactile sensations to the user 100 by controlling the tactile sense providing apparatus 130 according to spatial encoding and temporal encoding.
  • FIG. 2 is a diagram illustrating an operation of a system for providing roughness of a virtual object according to an embodiment of the present invention.
  • polygonal or elliptical protrusions having a radius of the X-axis longer than the radius of the Y-axis are formed, or a textured surface on which the protrusions are formed may be attached. have.
  • the apparatus 100 for providing the roughness of the virtual object sets the angle of the end effector 200 to 0 degrees 210 to maximize the texton width, thereby feeding back the lowest level of roughness tactile sensation to the user 200. .
  • the tactile rendering unit 114 of the apparatus 100 for providing the roughness of the virtual object sets the angle of the end effector 200 to 90 degrees 220 to minimize the texton width, thereby giving feedback to the user 200 . can increase the level of roughness to the touch.
  • 3 is an example of the perceived width of the tactile feedback provided to the user according to the user's scan direction in the end effector according to an embodiment of the present invention.
  • the roughness tactile sense of the end effector 200 recognized by the user 100 may be a function of spatial characteristics of the end effector 200 scanned along the scanning axis. Accordingly, the texton width can be defined according to the scan direction.
  • the shape of the protrusion formed on the end effector 200 is a circle or cone having the same X-axis radius and Y-axis radius
  • the user 100 feels a constant perceptual width regardless of the scan direction. can Accordingly, even if the direction of the end effector 200 is changed, different roughness tactile sensations cannot be fed back to the user 100 .
  • the shape of the protrusions formed on the end effector 200 of the tactile sense providing device 130 may be an elliptical shape in which the X-axis radius (r x ) is longer than the Y-axis radius (r y ) as shown in FIG. 3 .
  • the scan direction which is a direction in which the hand 102 of the user 100 moves on the end effector 200 in order to stroke the virtual object, may be a direction in which the user 100 moves from left to right.
  • W ⁇ which is the width of the texton according to the scan direction
  • a psychometric relationship between the spacing between the protrusions formed on the end effector 200 and the roughness tactile sensation fed back to the user 100 who has touched the end effector 200 may form an inverted U-shaped graph.
  • the protrusion may set the radius r y of the Y-axis having a short radius to 1.5 mm so that the distance between the protrusions is 3 mm or more.
  • the protrusions are formed on the end effector 200 so that the value of d ⁇ , which is the distance between the protrusions, is inversely proportional to the value of ⁇ , so that the level of roughness tactile sense fed back to the user 100 increases as ⁇ increases. have.
  • the protrusions may be arranged in a rectangular grid structure on the end effector 200 .
  • d ⁇ which is an interval between the protrusions, may be defined as a ray distance measured from the center of the protrusion to the nearest other protrusion along the scan direction at an angle of ⁇ min.
  • the tactile sense providing apparatus 130 may include a plurality of axial joints to move the end effector 200 to come into contact with the user's hand according to the location of the user's hand.
  • the tactile sense providing device 130 may include a configuration for rotating the direction of the end effector 200 and a torque sensor for measuring a contact force f of the user 100 in contact with the end effector 200 . have.
  • the tactile sense providing apparatus 130 may move the end effector 200 in contact with the user's 100 hand in a preset direction and speed.
  • the virtual object roughness providing apparatus 100 may predict the virtual object most likely to collide with the user's hand by tracking the movement of the user's hand.
  • the apparatus 100 for providing the roughness of the virtual object may control the direction and the moving speed of the apparatus for providing a tactile sense according to the predicted surface roughness of the virtual object to feed back the roughness of the tactile sense to the user.
  • roughness information may be first sorted in ascending order.
  • n pieces of distinguishable roughness information may be selected in ascending order from m encoded roughness information (assuming m ⁇ n) and mapped to the virtual object.
  • the roughness information may be mapped one-to-one with the virtual object, a plurality of virtual objects may be mapped to one roughness information, or different roughness information may be mapped to each area in one virtual object.
  • a first bookshelf and a second bookshelf among virtual objects may be mapped to the same roughness information.
  • an area inside the backrest that is in contact with the user, a region behind the backrest not in contact with the user, or an area under the chair may be mapped with different roughness information among the virtual objects.
  • the rough tactile sense fed back to the user by the tactile sense providing apparatus 130 is the user's scan direction 530 , the direction of the end effector 200 , the movement direction 520 of the end effector 200 , and the end effector 200 . It can be determined according to the movement speed.
  • the tactile sensation providing device 130 is the end
  • the level of roughness tactile feedback fed back to the user 200 may be increased or decreased.
  • FIG. 6 is an example of a process of predicting a virtual object most likely to collide with a user's hand according to an embodiment of the present invention.
  • the user tracking unit 111 tracks the user's head and hands in real time, and the configuration of the tactile sensation providing apparatus 130 may be expressed in the same frame.
  • the user's head position may be tracked by the HMD tracker and converted from the tracking sensor frame to the basic frame of the tactile sense providing device 130 .
  • the user's hand position and movement direction are tracked by the IR motion sensor mounted on the HMD and may be converted from the motion sensor frame to the basic frame of the tactile sense providing device 130 .
  • the user tracking unit 111 may use a midpoint smoothing algorithm to reduce tracking noise and generate smooth robot motion.
  • the user tracking unit 111 refers to the previous four hand positions, so that the two positions can be determined after the two-stage midpoint smoothing is performed.
  • the user tracking unit 111 may determine two position vectors by applying two-step midpoint smoothing with reference to q1, q2, and q3 in the same way.
  • the user tracking unit 111 may calculate a direction vector according to the two determined positions and use it as an estimate for the user scan direction.
  • the object prediction unit 112 forms a virtual line 621 according to the direction in which the user's eye 101 is gazing, and selects a region in contact with the virtual line 621 among the virtual objects 610 as the user's region of interest ( 620) can be predicted.
  • the object predictor 112 may predict the virtual object including the region of interest 620 as the virtual object most likely to collide with the user's hand 102 .
  • the object prediction unit 112 generates a virtual hand of the user according to the location tracked by the user tracking unit 111 , and uses the generated virtual hand as the surface 630 of the virtual object including the region of interest 620 . ), it is possible to determine the position and direction in which the user's hand 102 is in contact with the virtual object.
  • the tactile rendering unit 114 may control the tactile sense providing device 130 to move the end effector according to the location and direction in which the user's hand 102 contacts the virtual object determined by the object prediction unit 112 . .
  • the user's hand 102 may contact the end effector of the tactile sense providing device 130 at a position and direction in which the user's hand 102 contacts the virtual object determined by the object prediction unit 112 .
  • the end effector may be formed by arranging protrusions having different shapes on a surface in contact with a user's hand according to an embodiment.
  • all of the radii r y of the Y axis may be 1.0 mm.
  • the X-axis radius (r x ) may be 1.5 mm
  • the X-axis radius (r x ) may be 2.0 mm.
  • the X-axis radius (r x ) may be 2.5 mm
  • Case 4 (Case 4) of FIG. 7 the X-axis radius (r x ) may be 3.0 mm.
  • FIG. 8 is an example of a rotation angle of an end effector that provides tactile feedback to a user according to an embodiment of the present invention.
  • the end effector may be rotated at a preset angle according to the level of the rough tactile sense that the tactile sense providing apparatus 130 intends to provide to the user.
  • the rotation angle ⁇ of the end effector may be 63.43.
  • the rotation angle ⁇ of the end effector may be 71.57.
  • 9 is an example of a roughness tactile level provided to a user for each rotation angle of an end effector according to an embodiment of the present invention.
  • FIG. 9 is an example of roughness levels perceived by users when each of the end effectors shown in FIG. 8 is rotated at the angle of FIG. 8 .
  • the tactile sense providing device 130 controls the rotation angle of the end effector in which the protrusions having a difference between the Y-axis radius (r y ) and the X-axis radius (r x ) equal to or greater than a certain size are arranged, thereby providing the user with various levels of roughness tactile sensation. can give feedback.
  • FIG. 10 is an example of roughness tactile levels fed back to a user according to combinations of rotation angles of five different end effectors and speed values of five end effectors 200 .
  • the x-axis of Fig. 10 represents the combination of the rotation angle and velocity values of the end effector [rotation angle, velocity], and the y-axis may be the level of the readjusted normalized roughness tactile sensation. That is, values having the same rotation angle in FIG. 10 are indicated by the same hatching.
  • the level of the tactile sense of roughness fed back to the user may also increase.
  • the tactile sense providing apparatus 130 may feed back various levels of roughness tactile sensations to the user by controlling the rotation angle and the moving speed of the end effector.
  • 11 is an example of a roughness tactile level perceived by a user according to a direction and a speed of tactile rendering according to an embodiment of the present invention.
  • the level of the rough tactile sensation fed back to the user may also increase.
  • a graph 1120 representing a relationship between the moving speed of the end effector and the level of the rough tactile sense fed back to the user
  • the level of the rough tactile sense fed back to the user may also increase.
  • the difference in the moving speed of the end effector increases, the difference in the level of the rough tactile sensation fed back to the user may also increase.
  • the HMD 120 provides a virtual environment 1210 including a bookshelf 1211 and a wallpaper 1212 to the user 100 according to information received from the visual rendering unit 113 of the apparatus 100 for providing the roughness of the virtual object. can be displayed.
  • the bookcase 1211 may be a virtual object having a rougher texture than the wallpaper 1212 .
  • the user 100 may perform a scan operation 1221 by stroking the surface of the bookshelf 1211 from left to right with a hand while gazing at the bookshelf 1211 in the virtual environment 1210 ( 1220 ).
  • the apparatus 100 for providing the roughness of the virtual object may control the tactile sensation providing apparatus 130 to move the end effector 200 to a position where it can come into contact with the user's hand 100 .
  • the roughness providing apparatus 100 of the virtual object rotates the direction of the end effector 200 by 1 degree to 90 degrees according to the roughness of the bookshelf 1211 that the user 100 is staring at, so that the end effector 200 is It is possible to increase the level of roughness tactile feedback to the user.
  • the virtual object roughness providing apparatus 100 moves the end effector 200 in a direction 1222 opposite to the scan direction in response to the user's hand moving in the scan direction 1223 in the real world, so that the user A rough tactile sense corresponding to the bookshelf 1221 may be fed back to the user.
  • the roughness providing apparatus 100 of the virtual object may further increase the level of the tactile sense of roughness fed back to the user by increasing the moving speed of the end effector 200 moving in the direction 1222 opposite to the scan direction.
  • the user 100 may perform a scan operation 1231 by stroking the surface of the wallpaper 1212 from left to right with a hand while gazing at the wallpaper 1212 in the virtual environment 1210 ( 1230 ).
  • the apparatus 100 for providing the roughness of the virtual object may control the tactile sensation providing apparatus 130 to move the end effector 200 to a position where it can come into contact with the user's hand 100 .
  • the apparatus 100 for providing the roughness of the virtual object rotates the direction of the end effector 200 to 0 degrees, which is a default angle, according to the roughness of the wallpaper 1212 that the user 100 is gazing, so that the end effector 200 is It is possible to reduce the level of roughness tactile feedback to the user.
  • the apparatus 100 for providing the roughness of the virtual object moves the end effector 200 in a direction 1232 opposite to the scan direction in response to the user's hand moving in the scan direction 1233 in the real world, so that the user A soft tactile sense corresponding to the wallpaper 1221 may be fed back to the user.
  • the apparatus 100 for providing the roughness of the virtual object may further reduce the level of the tactile sense of roughness fed back to the user by decreasing the moving speed of the end effector 200 moving in the direction 1232 opposite to the scan direction.
  • FIG. 13 is a flowchart illustrating a method for providing roughness of a virtual object according to an embodiment of the present invention.
  • the HMD 120 provides the user 100 with a plurality of virtual objects and a virtual environment including the virtual objects according to the information received from the visual rendering unit 113 of the apparatus 100 for providing the roughness of the virtual object. can be displayed.
  • step 1320 the user tracking unit 112 of the apparatus 100 for providing the roughness of the virtual object tracks the position of the user's hand wearing the HMD 120 and the direction in which the eye 101 of the user 100 gazes. can do.
  • step 1330 the object prediction unit 112 of the apparatus 100 for providing the roughness of the virtual object predicts the virtual object most likely to collide with the hand of the user 100 among the virtual objects displayed in step 1310 .
  • the object prediction unit 112 may predict the user's ROI based on the user's gaze direction, and predict the virtual object including the ROI as the virtual object most likely to collide with the hand. Also, the object prediction unit 112 may predict the location and time at which the user's hand collides with the predicted virtual object based on the user's 100 hand position and movement speed. In this case, the tactile rendering unit 114 of the apparatus 100 for providing the roughness of the virtual object comes into contact with the hand 102 in the tactile sense providing apparatus 130 according to the location and time predicted by the object prediction unit 112 to provide the user 100 ), the position of the end effector that feeds back the roughness tactile sense can be moved.
  • the tactile rendering unit 114 may monitor whether the user's hand is in contact with the end effector of the tactile providing apparatus 130 .
  • the tactile sense providing apparatus 130 may measure a contact force f of the user 100 in contact with the end effector with a torque sensor and transmit it to the tactile rendering unit 114 .
  • the tactile rendering 114 may determine that the user's hand is in contact with the end effector of the tactile sense providing apparatus 130 .
  • the tactile rendering unit 114 may perform step 1350 .
  • the tactile rendering unit 114 may request the user tracking unit 112 to perform step 1320 .
  • the tactile rendering unit 114 may control the tactile sense providing apparatus 130 according to the predicted surface roughness of the virtual object to feed back a rough tactile sense to the user.
  • the tactile rendering unit 114 may perform spatial encoding and temporal encoding according to the predicted surface roughness of the virtual object and the moving direction and speed of the hand 102 of the user 100 stroking the virtual object.
  • the tactile rendering unit 114 may rotate the end effector by determining a rotation angle of the end effector according to the spatial encoding result.
  • the tactile rendering unit 114 may determine the moving direction and speed of the end effector according to the temporal encoding result to move the end effector in the determined direction.
  • the present invention provides different roughness tactile sensations depending on the direction and rotates the end effector in contact with the user's hand according to the spatial encoding result and moves it according to the temporal encoding result, thereby providing a user with a variety of textures to be coupled to the end effector without replacing the texture. It is possible to feedback the roughness tactile sense.
  • the apparatus for providing roughness of a virtual object or method for providing roughness of a virtual object according to the present invention is written as a program that can be executed on a computer and can be implemented in various recording media such as magnetic storage media, optical reading media, digital storage media, etc. .
  • Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented for processing by, or controlling the operation of, a data processing device, eg, a programmable processor, computer, or number of computers, in a computer program product, eg, a machine readable storage device (computer readable capable medium) may be implemented as a computer program tangibly embodied in a computer program.
  • a computer program such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, as a standalone program or in a module, component, subroutine, or computing environment. It can be deployed in any form, including as other units suitable for use in A computer program may be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communications network.
  • processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer.
  • a processor will receive instructions and data from either read-only memory or random access memory or both.
  • Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data.
  • a computer may include, receive data from, transmit data to, or both, one or more mass storage devices for storing data, for example magnetic, magneto-optical disks, or optical disks.
  • Information carriers suitable for embodying computer program instructions and data are, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, Compact Disk Read Only Memory (CD-ROM). ), optical recording media such as DVD (Digital Video Disk), magneto-optical media such as optical disk, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like. Processors and memories may be supplemented by, or included in, special purpose logic circuitry.
  • the computer-readable medium may be any available medium that can be accessed by a computer, and may include any computer storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템이 개시된다. 가상 객체의 거칠기 촉각을 제공하는 방법은 사용자에게 가상 객체들을 표시하는 단계; 상기 사용자의 손의 위치를 추적하는 단계; 상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 단계; 및 상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 촉각 제공 장치를 제어하여 상기 사용자에게 거칠기 촉각을 피드백하는 단계를 포함할 수 있다.

Description

시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
본 발명은 가상 객체의 거칠기 제공 시스템 및 방법에 관한 것으로, 보다 구체적으로는, 엔드 이펙터에 결합할 텍스쳐의 교체 없이 사용자에게 다양한 거칠기 촉각을 피드백하는 시스템 및 방법에 관한 것이다.
가상 현실의 경험을 효과적으로 제공하기 위한 기술들이 개발되고 있다.
접촉형 촉각 제공 장치는 가상 현실 상에서 사용자와 접촉한 가상 객체의 촉각을 사용자에게 제공함으로써, 사용자가 가상 현실에 몰입하도록 도와줄 수 있다.
이때, 가상 객체의 종류에 따라 다양한 촉각을 사용자에게 제공해야 할 필요성이 있으므로, 종래의 촉각 제공 장치는 사용자가 접촉하는 가상 객체에 따라 복수의 물리적 텍스쳐 중 하나를 촉각 제공 장치의 엔드 이펙터에 부착하고, 사용자가 접촉하는 가상 객체가 변경되는 경우, 엔드 이펙터에 부착한 텍스쳐도 변경시키고 있었다.
그러나, 종래의 촉각 제공 장치는 복수의 텍스쳐들을 보관하기 위한 구성 및 텍스쳐를 교체하기 위한 구성을 필요로 하므로, 부피, 비용, 및 복잡도가 증가한다는 문제가 있었다.
따라서, 엔드 이펙터에 결합할 텍스쳐의 교체 없이 사용자에게 다양한 촉각을 제공하는 방법이 요청되고 있다.
본 발명은 방향에 따라 서로 다른 거칠기 촉각을 제공하며 사용자의 손과 접촉한 엔드 이펙터를 공간 인코딩 결과에 따라 회전하고, 시간 인코딩 결과에 따라 이동시킴으로써, 엔드 이펙터에 결합할 텍스쳐의 교체 없이 사용자에게 다양한 거칠기 촉각을 피드백하는 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 촉각을 제공하는 방법은 사용자에게 가상 객체들을 표시하는 단계; 상기 사용자의 손의 위치를 추적하는 단계; 상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 단계; 및 상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 촉각 제공 장치를 제어하여 상기 사용자에게 거칠기 촉각을 피드백하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 촉각을 제공하는 방법의 거칠기 촉각을 피드백하는 단계는, 예측한 가상 객체의 표면 거칠기 및 상기 손의 이동 방향에 따라 상기 손과 접촉하는 상기 촉각 제공 장치의 엔드 이펙터를 회전 또는 이동시켜 상기 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 촉각을 제공하는 방법의 엔드 이펙터는, X축의 반경이 다른 축의 반경과 서로 다른 다각형, 또는 타원 형상의 돌출부들이 형성되거나, 상기 돌출부들이 형성된 표면 물체(textured surface)가 부착되어 상기 손과 접촉하는 각도에 따라 서로 다른 거칠기 촉각을 상기 사용자에게 피드백할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 촉각을 제공하는 방법의 가상 객체를 예측하는 단계는, 상기 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하는 단계; 및 상기 관심 영역이 포함된 가상 객체를 상기 손과 충돌할 가능성이 가장 높은 가상 객체로 예측하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 촉각을 제공하는 방법의 상기 가상 객체를 예측하는 단계는, 상기 손의 위치 및 이동 속도를 기초로 상기 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측하는 단계; 및 예측한 위치 및 시간에 따라 상기 촉각 제공 장치에서 상기 손과 접촉하여 상기 사용자에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동시키는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템은 사용자에게 가상 객체들을 표시하는 HMD; 상기 사용자의 손의 위치를 추적하고, 상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 가상 객체의 거칠기 제공 장치; 및 상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 사용자에게 거칠기 촉각을 피드백하는 촉각 제공 장치를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템의 가상 객체의 거칠기 제공 장치는, 예측한 가상 객체의 표면 거칠기 및 상기 손의 이동 방향에 따라 상기 손과 접촉하는 상기 촉각 제공 장치의 엔드 이펙터를 회전 또는 이동시켜 상기 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템의 엔드 이펙터는, X축의 반경이 다른 축의 반경과 서로 다른 다각형, 또는 타원 형상의 돌출부들이 형성되거나, 상기 돌출부들이 형성된 표면 물체(textured surface)가 부착되어 상기 손과 접촉하는 각도에 따라 서로 다른 거칠기 촉각을 상기 사용자에게 피드백할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템의 가상 객체의 거칠기 제공 장치는, 상기 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하고, 상기 관심 영역이 포함된 가상 객체를 상기 손과 충돌할 가능성이 가장 높은 가상 객체로 예측할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템의 가상 객체의 거칠기 제공 장치는, 상기 손의 위치 및 이동 속도를 기초로 상기 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측하고, 예측한 위치 및 시간에 따라 상기 촉각 제공 장치에서 상기 손과 접촉하여 상기 사용자에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동시킬 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 장치는 HMD를 이용하여 사용자에게 가상 객체들을 표시하는 시각 렌더링부; 상기 사용자의 손의 위치를 추적하는 사용자 추적부; 상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 객체 예측부; 및 상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 촉각 제공 장치를 제어하여 상기 사용자에게 거칠기 촉각을 피드백하는 촉각 렌더링부를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 장치의 촉각 렌더링부는, 예측한 가상 객체의 표면 거칠기 및 상기 손의 이동 방향에 따라 상기 손과 접촉하는 상기 촉각 제공 장치의 엔드 이펙터를 회전 또는 이동시켜 상기 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 장치의 객체 예측부는 상기 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하고, 상기 관심 영역이 포함된 가상 객체를 상기 손과 충돌할 가능성이 가장 높은 가상 객체로 예측할 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 장치의 객체 예측부는 상기 손의 위치 및 이동 속도를 기초로 상기 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측하고, 상기 촉각 렌더링부는, 예측한 위치 및 시간에 따라 상기 촉각 제공 장치에서 상기 손과 접촉하여 상기 사용자에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동시킬 수 있다.
본 발명의 일실시예에 의하면, 방향에 따라 서로 다른 거칠기 촉각을 제공하며 사용자의 손과 접촉한 엔드 이펙터를 공간 인코딩 결과에 따라 회전하고, 시간 인코딩 결과에 따라 이동시킴으로써, 엔드 이펙터에 결합할 텍스쳐의 교체 없이 사용자에게 다양한 거칠기 촉각을 피드백할 수 있다.
도 1은 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템의 동작을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 엔드 이펙터에서 사용자의 스캔 방향에 따라 사용자에게 제공되는 촉각 피드백의 지각 폭의 일례이다.
도 4는 본 발명의 일실시예에 따른 엔드 이펙터에 포함된 돌출부의 상단 사이의 거리 변화의 일례이다.
도 5는 본 발명의 일실시예에 따른 촉각 렌더링 과정의 일례이다.
도 6은 본 발명의 일실시예에 따라 사용자의 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 과정의 일례이다.
도 7은 본 발명의 일실시예에 따른 엔드 이펙터의 일례들이다.
도 8은 본 발명의 일실시예에 따라 사용자에게 촉각 피드백을 제공하는 엔드 이펙터의 회전 각도의 일례이다.
도 9는 본 발명의 일실시예에 따른 엔드 이펙터의 회전 각도별 사용자에게 제공하는 거칠기 촉각의 레벨의 일례이다.
도 10은 본 발명의 일실시예에 따른 촉각 렌더링의 결과의 일례이다.
도 11은 본 발명의 일실시예에 따른 촉각 렌더링의 방향 및 속도에 따라 사용자가 인지하는 거칠기 촉각의 레벨의 일례이다.
도 12는 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 과정의 일례이다.
도 13은 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 방법을 도시한 플로우차트이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템을 도시한 도면이다.
가상 객체의 거칠기 제공 시스템은 도 1에 도시된 바와 같이 가상 객체의 거칠기 제공 장치(100), HMD(120), 및 촉각 제공 장치(130)를 포함할 수 있다.
가상 객체의 거칠기 제공 장치(100)는 사용자 추적부(111), 객체 예측부(112), 시각 렌더링부(113), 및 촉각 렌더링부(114)를 포함할 수 있다. 이때, 사용자 추적부(111), 객체 예측부(112), 시각 렌더링부(113), 및 촉각 렌더링부(114)는 서로 다른 프로세서, 또는 하나의 프로세서에서 수행되는 프로그램에 포함된 각각의 모듈일 수 있다.
시각 렌더링부(113)는 사용자(100)에게 제공할 가상 환경 및 가상 객체를 렌더링하여 HMD(120)로 전송할 수 있다.
HMD(Head Mounted Display)(120)는 시각 렌더링부(113)로부터 수신한 렌더링 정보에 따라 사용자(100)에게 가상 객체를 표시할 수 있다. 그리고, HMD(120)는 트래커를 이용하여 사용자(100)의 머리 방향을 추적할 수 있다. 그리고, HMD(120)는 사용자(100)의 머리 방향에 따라 사용자(100)의 눈(101)이 응시하는 방향을 결정하여 사용자 추적부(111)로 전송할 수 있다.
사용자 추적부(111)는 IR 센서(infrared ray sensor)를 이용하여 사용자(100)의 손(102)의 위치를 추적할 수 있다. 예를 들어, IR 센서는 HMD(120)에 부착되어 HMD(120)를 착용한 사용자(100)의 손(120)의 위치를 추적할 수 있다. 또한, IR 센서는 촉각 제공 장치(130), 또는 촉각 제공 장치(130)에서 일정 거리 안에 설치되어 촉각 제공 장치(130)가 위치한 방향으로 뻗는 사용자(100)의 손(102)의 위치를 추적할 수도 있다.
객체 예측부(112)는 HMD(120)가 사용자(100)에게 표시한 가상 객체들 중에서 손(102)과 충돌할 가능성이 가장 높은 가상 객체를 예측할 수 있다.
구체적으로, 객체 예측부(112)는 사용자(100)의 눈(101)이 응시하는 응시 방향을 기초로 사용자(100)의 관심 영역을 예측할 수 있다. 그리고, 객체 예측부(112)는 시각 렌더링부(113)이 렌더링한 가상 객체들 중에서 관심 영역이 포함된 가상 객체를 사용자(100)의 손(112)과 충돌할 가능성이 가장 높은 가상 객체로 예측할 수 있다. 또한, 객체 예측부(112)는 사용자 추적부(111)가 추적한 손(102)의 위치 및 이동 속도를 기초로 손(102)이 예측한 가상 객체와 충돌하는 위치 및 시간을 예측할 수 있다. 그리고, 객체 예측부(112)는 예측한 가상 객체의 식별 정보, 손(102)이 예측한 가상 객체와 충돌하는 위치 및 시간을 시각 렌더링부(113), 및 촉각 렌더링부(114)로 전송할 수 있다.
촉각 렌더링부(114)는 객체 예측부(112)가 예측한 위치 및 시간에 따라 촉각 제공 장치(130)에서 손(102)과 접촉하여 사용자(100)에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동 시킬 수 있다. 그리고, 촉각 렌더링부(114)는 사용자의 손이 촉각 제공 장치(130)의 엔드 이펙터와 접촉하였는지 여부를 모니터링할 수 있다.
이때, 촉각 제공 장치(130)는 토크 센서를 포함하고, 엔드 이펙터에 접촉한 사용자(100)의 접촉력(contact force) f를 측정하여 촉각 렌더링부(114)로 전송할 수 있다. 그리고, 수신한 접촉력 f가 기 설정된 임계값 이상인 경우, 촉각 렌더링(114)는 사용자의 손이 촉각 제공 장치(130)의 엔드 이펙터와 접촉한 것으로 판단할 수 있다. 예를 들어, 임계값은 3N일 수 있다.
사용자(100)의 손(102)이 촉각 제공 장치(130)의 엔드 이펙터와 접촉한 경우, 촉각 렌더링부(114)는 예측한 가상 객체의 표면 거칠기에 따라 촉각 제공 장치(130)를 제어하여 사용자에게 거칠기 촉각을 피드백할 수 있다. 이때, 촉각 렌더링부(114)는 손(102)이 접촉한 촉각 제공 장치(130)의 엔드 이펙터를 예측한 가상 객체의 표면 거칠기 및 손(102)의 이동 방향에 따라 회전 또는 이동시켜 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행할 수 있다. 그리고, 엔드 이펙터는 X축의 반경이 다른 축의 반경과 서로 다른 다각형, 또는 타원 형상의 돌출부들이 형성되거나, 해당 돌출부들이 형성된 표면 물체(textured surface)가 부착되어 손(102)과 접촉하는 방향에 따라 서로 다른 거칠기 촉각을 사용자(100)에게 피드백할 수 있다. 또한, 시각 렌더링부(113)는 가상 현실 상에 표시하는 사용자(100)의 손이 예측한 가상 객체와 접촉한 것으로 표시할 수 있다.
구체적으로, 촉각 렌더링부(114)는 예측한 가상 객체의 표면 거칠기와 해당 가상 객체를 쓰다듬는 사용자(100)의 손(102)의 이동 방향 및 속도에 따라 공간 인코딩 및 시간 인코딩을 수행할 수 있다. 그리고, 촉각 렌더링부(114)는 공간 인코딩 결과에 따라 엔드 이펙터의 회전 각도를 결정하여 엔드 이펙터를 회전시킬 수 있다. 또한, 촉각 렌더링부(114)는 시간 인코딩 결과에 따라 엔드 이펙터의 이동 방향 및 속도를 결정하여 결정된 방향으로 엔드 이펙터를 이동시킬 수 있다.
본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템은 공간 인코딩 및 시간 인코딩에 따라 촉각 제공 장치(130)를 제어하여 사용자(100)에게 다양한 거칠기 촉각을 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 시스템의 동작을 도시한 도면이다.
도 2의 촉각 제공 장치(130)의 엔드 이펙터(200)는 X축의 반경이 Y 축의 반경 보다 긴 다각형, 또는 타원 형상의 돌출부들이 형성되거나, 해당 돌출부들이 형성된 표면 물체(textured surface)가 부착될 수 있다.
그리고, HMD(120)를 착용한 사용자가 가상 환경 상에서 손(102)으로 접촉한 가상 객체의 표면 거칠기가 가장 낮은 평활 표면(smooth surface)(211)인 경우, 가상 객체의 거칠기 제공 장치(100)의 촉각 렌더링부(114)는 엔드 이펙터(200)의 각도를 0도(210)로 하여 텍스톤의 너비(texton width)를 최대화함으로써, 사용자(200)에게 최저 레벨의 거칠기 촉각을 피드백할 수 있다.
또한, HMD(120)를 착용한 사용자가 가상 환경 상에서 손(102)으로 접촉한 가상 객체의 표면 거칠기가 평활 표면(smooth surface)(211)보다 높은 굴곡 표면(rough surface)(221)인 경우, 가상 객체의 거칠기 제공 장치(100)의 촉각 렌더링부(114)는 엔드 이펙터(200)의 각도를 90도(220)로 하여 텍스톤의 너비(texton width)를 최소화함으로써, 사용자(200)에게 피드백하는 거칠기 촉각의 레벨을 증가시킬 수 있다.
도 3은 본 발명의 일실시예에 따른 엔드 이펙터에서 사용자의 스캔 방향에 따라 사용자에게 제공되는 촉각 피드백의 지각 폭의 일례이다.
사용자(100)가 인식하는 엔드 이펙터(200)의 거칠기 촉각은 스캐닝 축을 따라 스캔 된 엔드 이펙터(200)의 공간적 특성의 함수일 수 있다. 따라서, 스캔 방향에 따라 텍스톤의 너비(texton width)을 정의할 수 있다.
예를 들어, 엔드 이펙터(200)에 형성된 돌출부의 형상이 X축의 반경, 및 Y축의 반경이 동일한 원이나 원뿔형인 경우, 사용자(100)는 스캔 방향에 관계없이 일정한 지각 폭(perceptual width)을 느낄 수 있다. 따라서, 엔드 이펙터(200)의 방향을 변경하더라도 사용자(100)에게 서로 다른 거칠기 촉각을 피드백할 수 없다.
반면, 촉각 제공 장치(130)의 엔드 이펙터(200)에 형성된 돌출부들의 형상은 도 3에 도시된 바와 같이 X축의 반경(r x)이 Y 축의 반경(r y) 보다 긴 타원 형상일 수 있다. 그리고, 가상 객체를 쓰다듬기 위해서 사용자(100)의 손(102)이 엔드 이펙터(200) 위를 이동하는 방향인 스캔 방향이 왼쪽에서 오른쪽으로 이동하는 방향일 수 있다.
이때, 스캔 방향으로 투사되는 텍스톤(texton)의 길이를 고려하여 스캔 방향에 따른 텍스톤의 너비(texton width)인 W θ가 결정될 수 있다.
이때, W θ는 스캔 방향의 각도인 θ가
Figure PCTKR2021003269-appb-img-000001
조건을 만족하는 함수일 수 있다. 따라서, 0 <θ<= (π/2)인 경우, W θ< W 0 일 수 있다. 또한, W θ는 수학식 1과 같이 정의될 수 있다.
Figure PCTKR2021003269-appb-img-000002
도 3의 케이스 2(Case 2)에 도시된 바와 같이 스캔 방향이 돌출부의 X축과 평행하지 않은 경우
Figure PCTKR2021003269-appb-img-000003
의 W θ는 도 3의 케이스 1(Case 1)에 도시된 바와 같이 스캔 방향이 돌출부의 X축과 평행한 경우(θ==0)의 W θ 보다 작은 값을 가지며, 사용자(100)에게 더 큰 레벨의 거칠기 촉각을 피드백할 수 있다.
도 4는 본 발명의 일실시예에 따른 엔드 이펙터에 포함된 돌출부 사이의 거리 변화의 일례이다.
심리 물리학에 따르면 엔드 이펙터(200)에 형성된 돌출부들 간의 간격과 엔드 이펙터(200)에 접촉한 사용자(100)가 피드백 받는 거칠기 촉각 간의 심리 측정(psychometric) 관계가 역 U 자형 그래프를 형성할 수 있다. 예를 들어, 돌출부들 간의 거리가 3mm보다 큰 경우 스캔 축을 따라 돌출부들 간의 간격이 감소하여 사용자(100)가 피드백 받는 거칠기 촉각의 레벨이 증가할 수 있다. 따라서, 돌출부는 반경이 짧은 Y 축의 반경(r y)을 1.5mm로 설정하여 돌출부들 간의 거리가 3mm 이상이 되도록 할 수 있다.
이때, 돌출부들 간의 간격인 d θ의 값이 θ의 값에 반비례하도록 돌출부들이 엔드 이펙터(200) 위에 형성됨으로써, θ의 증가에 따라 사용자(100)가 피드백 받는 거칠기 촉각의 레벨이 증가하도록 할 수 있다.
예를 들어, 도 4에 도시된 바와 같이 돌출부들은 엔드 이펙터(200)위에 직사각형 격자 구조로 배열될 수 있다. 이때, 돌출부들 간의 간격인 d θ는 θ≥θ min의 각도로 스캔 방향을 따라 돌출부의 중심으로부터 가장 가까운 다른 돌출부까지 측정되는 광선 거리로 정의될 수 있다.
도 5는 본 발명의 일실시예에 따른 촉각 렌더링 과정의 일례이다.
촉각 제공 장치(130)는 도 5에 도시된 바와 같이 복수의 축 관절들을 포함하여 사용자의 손의 위치에 따라 사용자의 손과 접촉하도록 엔드 이펙터(200)를 이동시킬 수 있다. 또한, 촉각 제공 장치(130)는 엔드 이펙터(200)의 방향을 회전시키기 위한 구성 및 엔드 이펙터(200)에 접촉한 사용자(100)의 접촉력(contact forc) f를 측정하는 토크 센서를 포함할 수 있다. 그리고, 촉각 제공 장치(130)는 사용자(100)의 손과 접촉한 엔드 이펙터(200)를 기 설정된 방향 및 속도로 이동시킬 수도 있다.
가상 객체의 거칠기 제공 장치(100)는 사용자의 손의 움직임을 추적하여 사용자의 손과 충돌할 가능성이 가장 높은 가상 객체를 예측할 수 있다. 그리고, 가상 객체의 거칠기 제공 장치(100)는 예측한 가상 객체의 표면 거칠기에 따라 촉각 제공 장치의 방향 및 이동 속도를 제어하여 사용자에게 거칠기 촉각을 피드백할 수 있다.
구체적으로, 사용자와 상호 작용할 n 개의 가상 객체의 가상 텍스처에 대해 거칠기 정보가 먼저 오름차순으로 정렬될 수 있다. 이때, n 개의 구별 가능한 거칠기 정보는 m 인코딩 된 거칠기 정보(m ≥ n이라고 가정)에서 오름차순으로 선택되어 가상 객체에 매핑될 수 있다. 또한, 거칠기 정보는 가상 객체와 일대일로 매핑될 수도 있고, 하나의 거칠기 정보에 복수의 가상 객체가 매핑되거나, 하나의 가상 객체에서 영역 별로 서로 다른 거칠기 정보가 매핑될 수 있다.
예를 들어, 가상 객체들 중 제1 책장과 제2 책장이 동일한 거칠기 정보와 매핑될 수 있다. 또한, 가상 객체들 중 의자는 사용자와 접촉하는 등받이 안쪽 영역과 사용자와 접촉하지 않는 등받이 뒤쪽 영역, 또는 의자 아래 영역이 서로 다른 거칠기 정보와 매핑될 수 있다.
그리고, 촉각 제공 장치(130)가 사용자에게 피드백하는 거칠기 촉각은 사용자의 스캔 방향(530), 엔드 이펙터(200)의 방향, 엔드 이펙터(200)의 이동 방향(520) 및 엔드 이펙터(200)의 이동 속도에 따라 결정될 수 있다.
또한, 엔드 이펙터(520)에 형성된 돌출부의 형상이 도 3에 도시된 바와 같이 X축의 반경(r x)이 Y 축의 반경(r y) 보다 긴 타원 형상인 경우, 촉각 제공 장치(130)는 엔드 이펙터(200)의 방향을 회전(510)시켜 텍스톤의 너비(texton width)를 변경시킴으로써, 사용자(200)에게 피드백하는 거칠기 촉각의 레벨을 증가, 또는 감소시킬 수 있다.
도 6은 본 발명의 일실시예에 따라 사용자의 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 과정의 일례이다.
가상 객체의 거칠기 제공 장치(100)는 사용자 추적부(111)는 사용자의 머리와 손을 실시간으로 추적하고, 촉각 제공 장치(130)의 구성이 표현되는 것과 동일한 프레임으로 표현될 수 있다. 이때, 사용자의 머리 위치는 HMD 트래커에 의해 추적되고 추적 센서 프레임에서 촉각 제공 장치(130)의 기본 프레임으로 변환될 수 있다. 또한, 사용자의 손 위치와 이동 방향은 HMD에 장착 된 IR 모션 센서에 의해 추적되며 모션 센서 프레임에서 촉각 제공 장치(130)의 기본 프레임으로 변환될 수 있다.
예를 들어, 사용자 추적부(111)는 미드 포인트 스무딩 알고리즘(midpoint smoothing algorithm)을 이용하여 트래킹 노이즈를 줄이고 부드러운 로봇 모션을 생성할 수 있다. 이때, 사용자 추적부(111)는 이전의 4 개의 손 위치를 참조함으로써, 2 단계의 중간 점 평활화가 수행 된 후 2 개의 위치가 결정될 수 있다. 이때, 결정된 2개의 위치는 3차원 좌표계에서 정의된 위치 벡터(x, y, z)이며, , 추적한 손 위치 정보의 평균을 두 단계에 걸쳐 계산한 값일 수 있다. 예를 들어, 참조하는 이전의 손 위치 4개를 시간순서대로 p1, p2, p3, p4로 정의한 경우, 사용자 추적부(111)는 1단계 중간 점 평활화를 통해 3개의 점 q1=(p1+p2)/2, q2=(p2+p3)/2, q3=(p3+p4)/2를 결정할 수 있다. 다음으로, 사용자 추적부(111)는 동일한 방법으로 q1, q2, q3를 참조하여 2단계 중간 점 평활화를 적용함으로써, 2개의 위치 벡터를 결정할 수 있다.
그리고, 사용자 추적부(111)는 결정한 2개의 위치에 따라 방향 벡터를 산출하여 사용자 스캔 방향에 대한 추정치로서 사용할 수 있다.
객체 예측부(112)는 사용자의 눈(101)이 응시하는 방향에 따라 가상 선(621)을 형성하고, 가상 객체(610)들 중에서 가상 선(621)과 접촉한 영역을 사용자의 관심 영역(620)으로 예측할 수 있다.
다음으로, 객체 예측부(112)는 관심 영역(620)이 포함된 가상 객체를 사용자의 손(102)과 충돌할 가능성이 가장 높은 가상 객체로 예측할 수 있다.
그 다음으로, 객체 예측부(112)는 사용자 추적부(111)가 추적한 위치에 따라 사용자의 가상 손을 생성하고, 생성한 가상 손을 관심 영역(620)이 포함된 가상 객체의 표면(630)에 투영(631)함으로써, 사용자의 손(102)가 가상 객체와 접촉하는 위치 및 방향을 결정할 수 있다.
그리고, 촉각 렌더링부(114)는 객체 예측부(112)가 결정한 사용자의 손(102)가 가상 객체와 접촉하는 위치 및 방향에 따라 엔드 이펙터가 이동하도록 촉각 제공 장치(130)를 제어할 수 있다.
따라서, 사용자의 손(102)는 객체 예측부(112)가 결정한 사용자의 손(102)가 가상 객체와 접촉하는 위치 및 방향에서 촉각 제공 장치(130)의 엔드 이펙터와 접촉할 수 있다.
도 7은 본 발명의 일실시예에 따른 엔드 이펙터의 일례들이다.
엔드 이펙터는 도 7에 도시된 바와 같이 실시예에 따라 서로 다른 형상의 돌출부들이 사용자의 손과 접촉하는 면에 배열되어 형성될 수 있다. 예를 들어, 도 7의 실시예들에서 Y 축의 반경(r y)은 모두 1.0mm일 수 있다. 그리고, 도 7의 케이스 1(Case 1)에서 X축의 반경(r x)은 1.5mm이고, 도 7의 케이스 2(Case 2)에서 X축의 반경(r x)은 2.0mm일 수 있다. 또한, 도 7의 케이스 3(Case 3)에서 X축의 반경(r x)은 2.5mm이고, 도 7의 케이스 4(Case 4)에서 X축의 반경(r x)은 3.0mm일 수 있다.
도 8은 본 발명의 일실시예에 따라 사용자에게 촉각 피드백을 제공하는 엔드 이펙터의 회전 각도의 일례이다.
엔드 이펙터는 촉각 제공 장치(130)가 사용자에게 제공하고자 하는 거칠기 촉각의 레벨에 따라 기 설정된 각도로 회전될 수 있다.
예를 들어, 도 8의 케이스 1(Case 1)에 도시된 바와 같이 엔드 이펙터의 회전 각도 θ = 0일 수 있다. 또한, 도 8의 케이스 2(Case 2)에 도시된 바와 같이 엔드 이펙터의 회전 각도 θ = 45일 수 있다. 그리고, 도 8의 케이스 3(Case 3)에 도시된 바와 같이 엔드 이펙터의 회전 각도 θ = 63.43일 수 있다. 또한, 도 8의 케이스 4(Case 4)에 도시된 바와 같이 엔드 이펙터의 회전 각도 θ = 71.57일 수 있다. 그리고, 도 8의 케이스 5(Case 5)에 도시된 바와 같이 엔드 이펙터의 회전 각도 θ = 90일 수 있다.
도 9는 본 발명의 일실시예에 따른 엔드 이펙터의 회전 각도별 사용자에게 제공하는 거칠기 촉각의 레벨의 일례이다.
구체적으로, 도 9는 도 8에 도시된 엔드 이펙터들 각각을 도 8의 각도로 회전시킨 경우, 사용자들이 지각한 거칠기 레벨들의 일례이다.
엔드 이펙터에 포함된 돌출부들의 형상이 도 7의 케이스 1(Case 1)에 도시된 바와 같고, 엔드 이펙터의 회전 각도 θ가 0, 45, 63.43, 71.57, 90으로 변화하는 경우 사용자에게 지각된 거칠기 레벨(910)은 도 9에 도시된 바와 같이 변화가 적을 수 있다.
그러나, 엔드 이펙터에 포함된 돌출부들의 형상이 도 7의 케이스 2(Case 2)에 도시된 바와 같고, 엔드 이펙터의 회전 각도 θ가 0, 45, 63.43, 71.57, 90으로 변화하는 경우 사용자에게 지각된 거칠기 레벨(920), 엔드 이펙터에 포함된 돌출부들의 형상이 도 7의 케이스 3(Case 3)에 도시된 바와 같고, 엔드 이펙터의 회전 각도 θ가 0, 45, 63.43, 71.57, 90으로 변화하는 경우 사용자에게 지각된 거칠기 레벨(930), 및 엔드 이펙터에 포함된 돌출부들의 형상이 도 7의 케이스 4(Case 4)에 도시된 바와 같고, 엔드 이펙터의 회전 각도 θ가 0, 45, 63.43, 71.57, 90으로 변화하는 경우 사용자에게 지각된 거칠기 레벨(940)은 도 9에 도시된 바와 같이 각도에 따라 변경될 수 있다.
즉, 촉각 제공 장치(130)는 Y 축의 반경(r y)과 X축의 반경(r x) 간의 차이가 일정 크기 이상인 돌출부들이 배열된 엔드 이펙터의 회전 각도를 제어함으로써, 사용자에게 다양한 레벨의 거칠기 촉각을 피드백할 수 있다.
도 10은 본 발명의 일실시예에 따른 촉각 렌더링의 결과의 일례이다.
구체적으로, 도 10은 5가지의 서로 다른 엔드 이펙터의 회전 각도와 5가지의 엔드 이펙터(200)의 속도 값의 조합에 따라 사용자에게 피드백되는 거칠기 촉각의 레벨들의 일례이다.
도 10의 x 축은 엔드 이펙터의 회전 각도와 속도 값의 조합을 [회전 각도, 속도]을 나타내며 y 축은 재조정 된 정규화 된 거칠기 촉각의 레벨일 수 있다. 즉, 도 10에서 회전 각도가 동일한 값들은 동일한 해칭으로 표시되어 있다.
도 10에 따르면, 엔드 이펙터의 회전 각도 및 속도 값이 증가할수록 사용자에게 피드백되는 거칠기 촉각의 레벨도 증가할 수 있다.
따라서, 촉각 제공 장치(130)는 엔드 이펙터의 회전 각도 및 이동 속도를 제어함으로써, 사용자에게 다양한 레벨의 거칠기 촉각을 피드백할 수 있다.
도 11은 본 발명의 일실시예에 따른 촉각 렌더링의 방향 및 속도에 따라 사용자가 인지하는 거칠기 촉각의 레벨의 일례이다.
엔드 이펙터의 회전 각도와 사용자에게 피드백되는 거칠기 촉각의 레벨 간의 관계를 나타내는 그래프(1110)에 따르면, 회전 각도가 증가할수록 사용자에게 피드백되는 거칠기 촉각의 레벨도 증가할 수 있다.
다만, 회전 각도 0도인 경우 사용자에게 피드백되는 거칠기 촉각의 레벨과 회전 각도 45도인 경우 사용자에게 피드백되는 거칠기 촉각의 레벨 간의 차이에 비하여 회전 각도 63.43도, 회전 각도 71.57도, 및 회전 각도 90도인 경우, 사용자에게 피드백되는 거칠기 촉각의 레벨 간의 차이는 적을 수 있다.
또한, 엔드 이펙터의 이동 속도와 사용자에게 피드백되는 거칠기 촉각의 레벨 간의 관계를 나타내는 그래프(1120)에 따르면, 이동 속도가 증가할수록 사용자에게 피드백되는 거칠기 촉각의 레벨도 증가할 수 있다. 그리고, 엔드 이펙터의 이동 속도의 차이가 클수록 사용자에게 피드백되는 거칠기 촉각의 레벨의 차이도 증가할 수 있다.
도 12는 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 과정의 일례이다.
HMD(120)는 가상 객체의 거칠기 제공 장치(100)의 시각 렌더링부(113)로부터 수신한 정보에 따라 사용자(100)에게 책장(1211), 및 벽지(1212)가 포함된 가상 환경(1210)을 표시할 수 있다. 이때, 책장(1211)은 벽지(1212)보다 더 거친 질감을 가진 가상 객체일 수 있다.
예를 들어, 사용자(100)는 가상 환경(1210)안에서 책장(1211)을 응시하면서, 손으로 책장(1211)의 표면을 왼쪽에서 오른쪽으로 쓰다듬는 스캔 동작(1221)을 수행할 수 있다(1220). 이때, 가상 객체의 거칠기 제공 장치(100)는 사용자(100)의 손과 접촉할 수 있는 위치로 엔드 이펙터(200)가 이동되도록 촉각 제공 장치(130)를 제어할 수 있다. 그리고, 가상 객체의 거칠기 제공 장치(100)는 사용자(100)가 응시하고 있는 책장(1211)의 거칠기에 따라 엔드 이펙터(200)의 방향을 1도 내지 90도로 회전시킴으로써, 엔드 이펙터(200)가 사용자에게 피드백하는 거칠기 촉각의 레벨을 증가시킬 수 있다.
그 다음으로, 가상 객체의 거칠기 제공 장치(100)는 현실 세계에서 스캔 방향(1223)으로 이동하는 사용자의 손에 대응하여 스캔 방향의 반대 방향(1222)로 엔드 이펙터(200)를 이동시킴으로써, 사용자에게 책장(1221)에 대응하는 거친 촉각을 피드백할 수 있다. 이때, 가상 객체의 거칠기 제공 장치(100)는 스캔 방향의 반대 방향(1222)로 이동 시키는 엔드 이펙터(200)의 이동 속도를 증가시킴으로써, 사용자에게 피드백하는 거칠기 촉각의 레벨을 더 증가시킬 수도 있다.
다음으로, 사용자(100)는 가상 환경(1210)안에서 벽지(1212)를 응시하면서, 손으로 벽지(1212)의 표면을 왼쪽에서 오른쪽으로 쓰다듬는 스캔 동작(1231)을 수행할 수 있다(1230). 이때, 가상 객체의 거칠기 제공 장치(100)는 사용자(100)의 손과 접촉할 수 있는 위치로 엔드 이펙터(200)가 이동되도록 촉각 제공 장치(130)를 제어할 수 있다. 그리고, 가상 객체의 거칠기 제공 장치(100)는 사용자(100)가 응시하고 있는 벽지(1212)의 거칠기에 따라 엔드 이펙터(200)의 방향을 디폴트 각도인 0도로 회전시킴으로써, 엔드 이펙터(200)가 사용자에게 피드백하는 거칠기 촉각의 레벨을 감소시킬 수 있다.
그 다음으로, 가상 객체의 거칠기 제공 장치(100)는 현실 세계에서 스캔 방향(1233)으로 이동하는 사용자의 손에 대응하여 스캔 방향의 반대 방향(1232)로 엔드 이펙터(200)를 이동시킴으로써, 사용자에게 벽지(1221)에 대응하는 부드러운 촉각을 피드백할 수 있다. 이때, 가상 객체의 거칠기 제공 장치(100)는 스캔 방향의 반대 방향(1232)로 이동 시키는 엔드 이펙터(200)의 이동 속도를 감소시킴으로써, 사용자에게 피드백하는 거칠기 촉각의 레벨을 더 감소시킬 수도 있다.
도 13은 본 발명의 일실시예에 따른 가상 객체의 거칠기 제공 방법을 도시한 플로우차트이다.
단계(1310)에서 HMD(120)는 가상 객체의 거칠기 제공 장치(100)의 시각 렌더링부(113)로부터 수신한 정보에 따라 사용자(100)에게 복수의 가상 객체들 및 가상 객체들이 포함된 가상 환경을 표시할 수 있다.
단계(1320)에서 가상 객체의 거칠기 제공 장치(100)의 사용자 추적부(112)는 HMD(120)을 착용한 사용자의 손의 위치 및 사용자(100)의 눈(101)이 응시하는 방향을 추적할 수 있다.
단계(1330)에서 가상 객체의 거칠기 제공 장치(100)의 객체 예측부(112)는 단계(1310)에서 표시한 가상 객체들 중에서 사용자(100)의 손과 충돌할 가능성이 가장 높은 가상 객체를 예측할 수 있다.
이때, 객체 예측부(112)는 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하고, 관심 영역이 포함된 가상 객체를 손과 충돌할 가능성이 가장 높은 가상 객체로 예측할 수 있다. 또한, 객체 예측부(112)는 사용자(100)의 손의 위치 및 이동 속도를 기초로 사용자(100)의 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측할 수 있다. 이때, 가상 객체의 거칠기 제공 장치(100)의 촉각 렌더링부(114)는 객체 예측부(112)가 예측한 위치 및 시간에 따라 촉각 제공 장치(130)에서 손(102)과 접촉하여 사용자(100)에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동 시킬 수 있다.
단계(1340)에서 촉각 렌더링부(114)는 사용자의 손이 촉각 제공 장치(130)의 엔드 이펙터와 접촉하였는지 여부를 모니터링할 수 있다. 이때, 촉각 제공 장치(130)는 토크 센서로 엔드 이펙터에 접촉한 사용자(100)의 접촉력(contact forc) f를 측정하여 촉각 렌더링부(114)로 전송할 수 있다. 그리고, 수신한 접촉력 f가 기 설정된 임계값 이상인 경우, 촉각 렌더링(114)는 사용자의 손이 촉각 제공 장치(130)의 엔드 이펙터와 접촉한 것으로 판할 수 있다.
사용자의 손이 촉각 제공 장치(130)의 엔드 이펙터와 접촉한 것으로 판단한 경우, 촉각 렌더링부(114)는 단계(1350)를 수행할 수 있다. 사용자의 손이 촉각 제공 장치(130)의 엔드 이펙터와 접촉하지 않은 것으로 판단한 경우, 촉각 렌더링부(114)는 사용자 추적부(112)에게 단계(1320)의 수행을 요청할 수 있다.
단계(1350)에서 촉각 렌더링부(114)는 예측한 가상 객체의 표면 거칠기에 따라 촉각 제공 장치(130)를 제어하여 사용자에게 거칠기 촉각을 피드백할 수 있다. 이때, 촉각 렌더링부(114)는 예측한 가상 객체의 표면 거칠기와 해당 가상 객체를 쓰다듬는 사용자(100)의 손(102)의 이동 방향 및 속도에 따라 공간 인코딩 및 시간 인코딩을 수행할 수 있다. 그리고, 촉각 렌더링부(114)는 공간 인코딩 결과에 따라 엔드 이펙터의 회전 각도를 결정하여 엔드 이펙터를 회전시킬 수 있다. 또한, 촉각 렌더링부(114)는 시간 인코딩 결과에 따라 엔드 이펙터의 이동 방향 및 속도를 결정하여 결정된 방향으로 엔드 이펙터를 이동시킬 수 있다.
본 발명은 방향에 따라 서로 다른 거칠기 촉각을 제공하며 사용자의 손과 접촉한 엔드 이펙터를 공간 인코딩 결과에 따라 회전하고, 시간 인코딩 결과에 따라 이동시킴으로써, 엔드 이펙터에 결합할 텍스쳐의 교체 없이 사용자에게 다양한 거칠기 촉각을 피드백할 수 있다.
한편, 본 발명에 따른 가상 객체의 거칠기 제공 장치 또는 가상 객체의 거칠기 제공 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (15)

  1. 사용자에게 가상 객체들을 표시하는 단계;
    상기 사용자의 손의 위치를 추적하는 단계;
    상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 단계; 및
    상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 촉각 제공 장치를 제어하여 상기 사용자에게 거칠기 촉각을 피드백하는 단계
    를 포함하는 가상 객체의 거칠기 촉각을 제공하는 방법.
  2. 제1항에 있어서,
    상기 거칠기 촉각을 피드백하는 단계는,
    예측한 가상 객체의 표면 거칠기 및 상기 손의 이동 방향에 따라 상기 손과 접촉하는 상기 촉각 제공 장치의 엔드 이펙터를 회전 또는 이동시켜 상기 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행하는 가상 객체의 거칠기 촉각을 제공하는 방법.
  3. 제2항에 있어서,
    상기 엔드 이펙터는,
    X축의 반경이 다른 축의 반경과 서로 다른 다각형, 또는 타원 형상의 돌출부들이 형성되거나, 상기 돌출부들이 형성된 표면 물체(textured surface)가 부착되어 상기 손과 접촉하는 각도에 따라 서로 다른 거칠기 촉각을 상기 사용자에게 피드백하는 가상 객체의 거칠기 촉각을 제공하는 방법.
  4. 제1항에 있어서,
    상기 가상 객체를 예측하는 단계는,
    상기 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하는 단계; 및
    상기 관심 영역이 포함된 가상 객체를 상기 손과 충돌할 가능성이 가장 높은 가상 객체로 예측하는 단계
    를 포함하는 가상 객체의 거칠기 촉각을 제공하는 방법.
  5. 제4항에 있어서,
    상기 가상 객체를 예측하는 단계는,
    상기 손의 위치 및 이동 속도를 기초로 상기 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측하는 단계; 및
    예측한 위치 및 시간에 따라 상기 촉각 제공 장치에서 상기 손과 접촉하여 상기 사용자에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동시키는 단계
    를 더 포함하는 가상 객체의 거칠기 촉각을 제공하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  7. 사용자에게 가상 객체들을 표시하는 HMD;
    상기 사용자의 손의 위치를 추적하고, 상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 가상 객체의 거칠기 제공 장치; 및
    상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 사용자에게 거칠기 촉각을 피드백하는 촉각 제공 장치
    를 포함하는 가상 객체의 거칠기 제공 시스템.
  8. 제7항에 있어서,
    상기 가상 객체의 거칠기 제공 장치는,
    예측한 가상 객체의 표면 거칠기 및 상기 손의 이동 방향에 따라 상기 손과 접촉하는 상기 촉각 제공 장치의 엔드 이펙터를 회전 또는 이동시켜 상기 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행하는 가상 객체의 거칠기 제공 시스템.
  9. 제8항에 있어서,
    상기 엔드 이펙터는,
    X축의 반경이 다른 축의 반경과 서로 다른 다각형, 또는 타원 형상의 돌출부들이 형성되거나, 상기 돌출부들이 형성된 표면 물체(textured surface)가 부착되어 상기 손과 접촉하는 각도에 따라 서로 다른 거칠기 촉각을 상기 사용자에게 피드백하는 가상 객체의 거칠기 제공 시스템.
  10. 제7항에 있어서,
    상기 가상 객체의 거칠기 제공 장치는,
    상기 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하고, 상기 관심 영역이 포함된 가상 객체를 상기 손과 충돌할 가능성이 가장 높은 가상 객체로 예측하는 가상 객체의 거칠기 제공 시스템.
  11. 제10항에 있어서,
    상기 가상 객체의 거칠기 제공 장치는,
    상기 손의 위치 및 이동 속도를 기초로 상기 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측하고, 예측한 위치 및 시간에 따라 상기 촉각 제공 장치에서 상기 손과 접촉하여 상기 사용자에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동시키는 가상 객체의 거칠기 제공 시스템.
  12. HMD를 이용하여 사용자에게 가상 객체들을 표시하는 시각 렌더링부;
    상기 사용자의 손의 위치를 추적하는 사용자 추적부;
    상기 가상 객체들 중에서 상기 손과 충돌할 가능성이 가장 높은 가상 객체를 예측하는 객체 예측부; 및
    상기 손이 촉각 제공 장치와 접촉한 경우, 예측한 가상 객체의 표면 거칠기에 따라 상기 촉각 제공 장치를 제어하여 상기 사용자에게 거칠기 촉각을 피드백하는 촉각 렌더링부
    를 포함하는 가상 객체의 거칠기 제공 장치.
  13. 제12항에 있어서,
    상기 촉각 렌더링부는,
    예측한 가상 객체의 표면 거칠기 및 상기 손의 이동 방향에 따라 상기 손과 접촉하는 상기 촉각 제공 장치의 엔드 이펙터를 회전 또는 이동시켜 상기 거칠기 촉각을 피드백하기 위한 촉각 렌더링을 수행하는 가상 객체의 거칠기 제공 장치.
  14. 제12항에 있어서,
    상기 객체 예측부는,
    상기 사용자의 응시 방향을 기초로 상기 사용자의 관심 영역을 예측하고, 상기 관심 영역이 포함된 가상 객체를 상기 손과 충돌할 가능성이 가장 높은 가상 객체로 예측하는 가상 객체의 거칠기 제공 장치.
  15. 제14항에 있어서,
    상기 객체 예측부는,
    상기 손의 위치 및 이동 속도를 기초로 상기 손이 상기 예측한 가상 객체와 충돌하는 위치 및 시간을 예측하고,
    상기 촉각 렌더링부는,
    예측한 위치 및 시간에 따라 상기 촉각 제공 장치에서 상기 손과 접촉하여 상기 사용자에게 거칠기 촉각을 피드백하는 엔드 이펙터의 위치를 이동시키는 가상 객체의 거칠기 제공 장치.
PCT/KR2021/003269 2020-07-22 2021-03-17 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템 Ceased WO2022019433A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/017,408 US12056281B2 (en) 2020-07-22 2021-03-17 Method and system for providing roughness haptic sense of virtual object by using space-time encoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0091008 2020-07-22
KR1020200091008A KR102332318B1 (ko) 2020-07-22 2020-07-22 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2022019433A1 true WO2022019433A1 (ko) 2022-01-27

Family

ID=78933722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003269 Ceased WO2022019433A1 (ko) 2020-07-22 2021-03-17 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템

Country Status (3)

Country Link
US (1) US12056281B2 (ko)
KR (1) KR102332318B1 (ko)
WO (1) WO2022019433A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116685939A (zh) * 2021-01-19 2023-09-01 索尼集团公司 信息处理设备、信息处理方法和程序
WO2023119581A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029676A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 접촉 감각 정보 제공 장치
KR20140128244A (ko) * 2013-04-26 2014-11-05 임머숀 코퍼레이션 햅틱 지원 변형 가능 표면을 위한 시스템 및 방법
KR20170104386A (ko) * 2016-03-07 2017-09-15 임머숀 코퍼레이션 햅틱 표면 요소를 위한 시스템 및 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281651B1 (en) * 1997-11-03 2001-08-28 Immersion Corporation Haptic pointing devices
JP4111278B2 (ja) * 2003-11-20 2008-07-02 独立行政法人産業技術総合研究所 触力覚情報提示システム
JP4930100B2 (ja) * 2007-02-27 2012-05-09 ソニー株式会社 力触覚ディスプレイ、力触覚ディスプレイの制御方法、並びにコンピュータ・プログラム
US11325029B2 (en) * 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
KR101640043B1 (ko) * 2010-04-14 2016-07-15 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR20120136719A (ko) * 2011-06-09 2012-12-20 안지윤 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US10423226B2 (en) * 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
EP3599002A3 (en) * 2014-08-08 2020-04-29 Ecole Polytechnique Fédérale de Lausanne (EPFL) EPFL-TTO Upper limb rehabilitation system
US9946350B2 (en) * 2014-12-01 2018-04-17 Qatar University Cutaneous haptic feedback system and methods of use
KR20170091613A (ko) 2014-12-02 2017-08-09 톰슨 라이센싱 미끄럼 마찰을 캡처 및 렌더링하기 위한 햅틱 방법 및 디바이스
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US10437335B2 (en) * 2015-04-14 2019-10-08 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
KR101678455B1 (ko) * 2015-10-14 2016-11-23 한국과학기술연구원 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법
WO2017126952A1 (es) * 2016-01-22 2017-07-27 Tzompa Sosa Alyed Yshidoro Guante háptico de realidad virtual con sistemas para la simulación de sensaciones de presion, textura y temperatura
EP3687143A1 (en) 2016-08-16 2020-07-29 Corning Incorporated Method and apparatus for providing improved visual and optionally tactile features on a substrate
DK179278B1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US11079848B2 (en) * 2016-12-06 2021-08-03 Telefonaktiebolaget Lm Ericsson (Publ) Generating a haptic model
US20180164885A1 (en) * 2016-12-09 2018-06-14 Immersion Corporation Systems and Methods For Compliance Illusions With Haptics
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US10698492B2 (en) * 2017-09-28 2020-06-30 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
WO2019075134A1 (en) * 2017-10-10 2019-04-18 Baudisch, Patrick HAPTIC DEVICE FOR BLIND USERS TO REAL-TIME INTERACTION IN VIRTUAL WORLDS
US11531395B2 (en) * 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US10871829B2 (en) * 2017-12-05 2020-12-22 Tactai, Inc. Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US11221669B2 (en) * 2017-12-20 2022-01-11 Microsoft Technology Licensing, Llc Non-verbal engagement of a virtual assistant
US10617942B2 (en) * 2017-12-29 2020-04-14 Microsoft Technology Licensing, Llc Controller with haptic feedback
KR102036724B1 (ko) * 2018-02-07 2019-10-25 재단법인 대구경북과학기술원 촉감 정보 전달 장치 및 방법
US11614793B2 (en) * 2018-02-28 2023-03-28 Logitech Europe S.A. Precision tracking of user interaction with a virtual input device
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
US11875012B2 (en) * 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10757491B1 (en) * 2018-06-11 2020-08-25 Apple Inc. Wearable interactive audio device
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
WO2020131020A1 (en) * 2018-12-17 2020-06-25 Emerge Now Inc. Systems for interfacing with immersive computing environments
WO2020141330A2 (en) * 2019-01-04 2020-07-09 Ultrahaptics Ip Ltd Mid-air haptic textures
JP2020112978A (ja) * 2019-01-10 2020-07-27 ソニー株式会社 触覚提示装置、触覚提示システムおよび触覚提示方法
DE102019106684B4 (de) * 2019-03-15 2022-08-25 Technische Universität Dresden System zur haptischen Interaktion mit virtuellen Objekten für Anwendungen in der virtuellen Realität
WO2020223176A1 (en) * 2019-04-28 2020-11-05 Prestacom Services Llc Generating tactile output sequences associated with an object
GB2586059B (en) * 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029676A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 접촉 감각 정보 제공 장치
KR20140128244A (ko) * 2013-04-26 2014-11-05 임머숀 코퍼레이션 햅틱 지원 변형 가능 표면을 위한 시스템 및 방법
KR20170104386A (ko) * 2016-03-07 2017-09-15 임머숀 코퍼레이션 햅틱 표면 요소를 위한 시스템 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIM YAESOL, HYUN JUNG KIM, YOUNG J. KIM: "Encountered-type haptic display for large VR environment using per-plane reachability maps", COMPUTER ANIMATION & VIRTUAL WORLDS, vol. 29, 2 May 2018 (2018-05-02), XP055889641, DOI: 10.1002/cav.1814 *
KIM YAESOL; KIM SIYEON; OH URAN; KIM YOUNG J.: "Synthesizing the Roughness of Textured Surfaces for an Encountered-Type Haptic Display Using Spatiotemporal Encoding", IEEE TRANSACTIONS ON HAPTICS, IEEE, USA, vol. 14, no. 1, 24 June 2020 (2020-06-24), USA , pages 32 - 43, XP011845136, ISSN: 1939-1412, DOI: 10.1109/TOH.2020.3004637 *
KIM, YAESOL ET AL.: "A Encounter-Type Haptic Texture Display using a Cooperative Robot", PROCEEDINGS OF THE 11TH KOREA HAPTICS WORKSHOP, 30 August 2019 (2019-08-30), pages 26 *

Also Published As

Publication number Publication date
KR102332318B1 (ko) 2021-12-01
US12056281B2 (en) 2024-08-06
US20230205318A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
Gonzalez et al. Reach+ extending the reachability of encountered-type haptics devices through dynamic redirection in vr
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
WO2021177674A1 (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2014030804A1 (en) Display device and method for controlling the same
Burdea et al. Multimodal virtual reality: Input‐output devices, system integration, and human factors
WO2010062117A2 (en) Immersive display system for interacting with three-dimensional content
WO2012033345A1 (en) Motion control touch screen method and apparatus
WO2022019433A1 (ko) 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
EP2612220A1 (en) Method and apparatus for interfacing
WO2012057394A1 (ko) 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
EP3891591A1 (en) Method of controlling device and electronic device
WO2022035027A1 (ko) 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
KR20220026186A (ko) 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템
WO2023243959A1 (ko) 사용자 자세 인식 기반 신체 부상 위험 예측을 위한 방법 및 이를 위한 장치
WO2018076454A1 (zh) 一种数据处理方法及其相关设备
Kamuro et al. Ungrounded kinesthetic pen for haptic interaction with virtual environments
Springer et al. State-of-the-art virtual reality hardware for computer-aided design
WO2023017890A1 (ko) 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템
WO2021133079A1 (ko) 구면좌표계 기반 가상의 대상체가 배치된 가상공간 형성 방법 및 프로그램
US12153727B1 (en) Methods and devices for a transparent touch input for interaction with virtual objects in XR environments
WO2023085534A1 (ko) 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치
WO2021107499A1 (ko) 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
WO2021133081A1 (ko) 가상의 대상체 배치를 위한 사용자 인터페이스 제공 방법, 장치 및 프로그램
WO2023058819A1 (ko) 가상 현실 공간에 대한 제어를 수행하는 전자 시스템, 전자 장치 및 그 동작 방법
WO2025048146A1 (en) A method and device for recognizing plurality of gestures

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846395

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.06.2023)

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.06.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21846395

Country of ref document: EP

Kind code of ref document: A1