WO2020059949A1 - 포스 피드백 방법 및 시스템 - Google Patents

포스 피드백 방법 및 시스템 Download PDF

Info

Publication number
WO2020059949A1
WO2020059949A1 PCT/KR2018/013222 KR2018013222W WO2020059949A1 WO 2020059949 A1 WO2020059949 A1 WO 2020059949A1 KR 2018013222 W KR2018013222 W KR 2018013222W WO 2020059949 A1 WO2020059949 A1 WO 2020059949A1
Authority
WO
WIPO (PCT)
Prior art keywords
force feedback
user
contact
virtual object
control variable
Prior art date
Application number
PCT/KR2018/013222
Other languages
English (en)
French (fr)
Inventor
오복성
이윤호
정연우
Original Assignee
(주)리얼감
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리얼감 filed Critical (주)리얼감
Priority to US16/311,033 priority Critical patent/US20200097087A1/en
Publication of WO2020059949A1 publication Critical patent/WO2020059949A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Definitions

  • the present invention relates to a force feedback method, and more particularly, to a force feedback method and system for providing force feedback for a feeling of pressure felt when a user object moves in contact with a virtual object.
  • a controller that provides force feedback that realistically delivers collision, position change, and the like, which is a physical change in the image, to the user has been developed.
  • Most conventional controllers use a method of applying vibration. Therefore, in recent years, due to the limitation of force feedback provided by vibration, an inverse force feedback system that provides direct force to a user has been developed. Most of the conventional controllers were a method of applying vibration. However, recently, in order to overcome the limitations of vibration haptic feedback, inverse force feedback has been developed to provide direct force to a user.
  • the force feedback system mostly made force feedback suitable for a specific event as a manual work, and when the event occurs in the game, the library is called and executed. Therefore, the force feedback system only provides force feedback for a collision, which is a physical change, or only contact sense by direct contact, and it is difficult to implement force feedback adjusted for each situation.
  • An object of the embodiment is to provide a force feedback method and system for generating a force feedback control signal using a physical control factor of an object and providing a sense of inverse, in order to increase a sense of realism and immersion in augmented reality.
  • the force feedback method includes detecting an occurrence of a contact event in which a user object touches a virtual object, changing a force feedback control variable when the user object moves in the contact event, and a force according to the changed control variable. And providing feedback.
  • a force feedback method includes detecting a generation of a contact event that comes into contact with a user object and a virtual object equipped with a virtual material but with a virtual material interposed therebetween, and force feedback when the user object moves in the contact event. And changing the control variable and providing force feedback according to the changed control variable.
  • a machine-readable storage medium for recording a program for executing the force feedback method is provided.
  • the force feedback system detects a contact event in which the user object and the virtual object come into contact, and changes the force feedback control variable according to the movement of the user object to generate a force feedback control signal for a sense of pressure. It includes a control device and an output device that receives the force feedback control signal and provides the user with a sense of pressure.
  • a force feedback control signal is generated using the physical control factor of the object to provide the user with a backlash, thereby further increasing the sense of immersion and sense of immersion in the expanded reality.
  • FIG. 1 is a view showing a force feedback system according to an embodiment.
  • FIG. 2 is a view showing a control device according to an embodiment.
  • 3A is a diagram exemplarily showing a contact event between a user object and a virtual object according to an embodiment.
  • 3B is a graph showing a change in pressing force over time of a user object when the user object contacts and moves at the same speed.
  • 3C is a view showing a change in the contact area displayed in contact with FIG. 3A.
  • FIG. 4A is a view showing a state when a user object is moved from one virtual object V1 to another virtual object V2 having a large coefficient of friction.
  • FIG. 4B is a graph showing a change in size of pressure feeling over time when the user object is moved in FIG. 4A.
  • FIG. 4C is a diagram illustrating a state when a user object is moved from one virtual object V1 to another virtual object V3 having a small friction coefficient.
  • FIG. 4D is a graph showing a change in size of pressure feeling over time when the user object is moved in FIG. 4C.
  • FIG. 5 is a flowchart illustrating a force feedback method according to an embodiment.
  • FIG. 6 is a flowchart illustrating a force feedback method according to another embodiment.
  • first, second, A, B, (a), and (b) may be used. These terms are only for distinguishing the component from other components, and the nature, order, or order of the component is not limited by the term.
  • a component is described as being “connected”, “coupled” or “connected” to another component, the component may be directly connected to or connected to the other component, but another component between each component It should be understood that may be “connected”, “coupled” or “connected”.
  • the user object U means a tool that can be operated by a user, such as a pen, brush, pencil, knife, etc., which is moved by gripping or wearing on extended reality according to a user's input.
  • the user object U may be a virtual object or a real object.
  • the virtual object V means a virtual object in augmented reality that the user cannot directly manipulate, such as paper, cloth, or a wall, but can contact the user object U.
  • the virtual material (S) is an extended reality environment, the user object (U) and the virtual object, such as water, ink, paint, paint, jam, butter, pencil lead, eraser between the user object (U) and the virtual object (V) (V) means the material provided between.
  • the virtual material S is provided on the user object U, and gradually falls off on the user object U by contact between the user object U and the virtual object V.
  • the virtual object (V) and the virtual material (S) may be a virtual object or a real object in augmented reality.
  • the user object (U) when the user object (U) is implemented as a virtual object, it is also possible to be composed of the virtual material (S) itself.
  • the user object U may be a virtual material itself, such as crayons, pastels, and chalk.
  • extended reality Extended Reality
  • augmented reality Augmented Reality
  • mixed reality Mated Reality
  • virtual reality Virtual Reality
  • FIG. 1 is a view showing a force feedback system according to an embodiment.
  • the force feedback system 10 includes an input device 100, a control device 200, an output device 300 and a display device 400.
  • the force feedback system 10 may further include a camera (not shown), a microphone (not shown), and the like.
  • the input device 100 may be a device that generates input data by receiving a user's input location, direction, acceleration, pressure, and key information.
  • the input device 100 may include a gyro sensor, an encoder, a touch panel, a keypad having a plurality of key buttons, and the like, and may be a device that detects user input and generates input data.
  • the input device 100 may be a gamepad, paddle controller, trackball, joystick, arcade-style joystick, car handle, mouse, data glove, or the like.
  • the input device 100 may be implemented with a camera, a motion sensor, or the like, which detects movements such as user's hand movements and arm movements and recognizes these movements as user inputs.
  • the control device 200 detects a contact event in which the user object U and the virtual object V come into contact, and changes the force feedback control variable according to the movement of the user object U to generate a force feedback control signal for a sense of pressure.
  • the control device 200 may be a device including a storage medium in which a physical engine provided by generating and providing an extended reality environment is recorded.
  • the control device 200 may be a computer including a storage medium on which a physical engine is recorded, a portable communication terminal such as a mobile phone, a console, a PDA, a tablet PC, a server, or the like.
  • the control device 200 includes a communication unit 210, a control unit 220, and a memory 230.
  • the communication unit 210 may communicate with the input device 100, the output device 300, or the display device 400 to transmit and receive input data, force feedback control signals, image data, and audio data.
  • the communication unit 210 is a wired method using a LAN, a data cable or the like, or RF communication (Radio Frequency), WiFi (Wireless Fidelity), LTE (Long Term Evolution), Bluetooth, IrDA (Infrared Data Association), Zigbee, UWB (Ultra- wideband), code division multiple access (CDMA), frequency division multiplexing (FDM), time division multiplexing (time division multiplexing: TDM), etc.
  • the output device 300 or the display device 400 may communicate. Also, the communication unit may connect to the Internet and communicate with the input device 100, the output device 300, or the display device 400.
  • the input device 100, the output device 300 or the display device 400 may be provided with a communication module (not shown) that can communicate with the communication unit 210.
  • the communication module may communicate in the same manner as the communication unit 210 or may be connected to the Internet to access the communication unit.
  • the controller 220 executes a program or application that provides an extended reality environment such as a game according to a user's selection, detects a contact event on the extended reality environment, changes the force feedback control variable, and generates a force feedback control signal accordingly do.
  • an extended reality environment such as a game according to a user's selection
  • detects a contact event on the extended reality environment changes the force feedback control variable, and generates a force feedback control signal accordingly do.
  • the detailed description of the control unit 220 will be described later with reference to FIGS. 3A to 3C.
  • the memory 230 is necessary to drive databases related to images, user information, documents, etc. for providing applications of various functions such as games, communication, and a graphical user interface (GUI) associated therewith, and a force feedback system. Background images (menu screen, standby screen, etc.) or operating programs may be stored. Also, the memory 230 may store data of a force feedback control variable according to each control factor.
  • GUI graphical user interface
  • the contact event means an event of a situation in which the user object U and the virtual object V contact.
  • the contact event refers to an event in which the user object U and the virtual object V contact at one contact point in augmented reality.
  • the user object U may directly contact the virtual object V, and may place the virtual material between the user object U and the virtual object V to make contact.
  • the user object U may be embodied with virtual materials such as charcoal, crayons, erasers, and pastels.
  • the user object U may be a ballpoint pen, a brush, a pencil, a knife coated with butter or jam, etc., in which the virtual material S is removed from one end of the user object because the virtual material S is provided.
  • control factors refer to physical factors for constructing user objects, virtual objects, and contact events, and physical factors such as force magnitude, contact angle, contact area, unevenness, stiffness, friction coefficient or viscosity of the virtual object surface.
  • the force feedback control variable is a variable for providing force feedback.
  • the force feedback control variable may be a mass constant m, an attenuation constant c, and a spring constant k in the case of force feedback control through impedance control.
  • the output device 300 receives the force feedback control signal and outputs a sense of pressure feeling as vibration or inverse feeling to the user.
  • the output device 300 may be a vibration-type output device that provides vibration or an inverse-type output device that provides physical force.
  • the output device 300 is an inverse-type output device that provides physical force.
  • the output device 300 is provided with a clutch among the inverted-type output devices, so that the connection with a driving part such as a motor is completely cut off, and freewheeling without any load by the motor is possible, so that a delicate force change can be output. It may be more desirable to be an output device.
  • the inverse reduction type output device capable of freewheeling is implemented in three states: a load state due to the operation of the motor, and no motor operation, but the output axis is connected to the motor, so that there is no load due to the magnetic field of the motor and a freewheeling state. If possible, it may be the most desirable form.
  • the input device 100 and the output device 300 are illustrated separately in this embodiment, this is for convenience of description and is not limited thereto.
  • the input device 100 is integrally provided with the output device 300 so that input and output may be possible in one device.
  • the display device 400 displays image data and audio data received from the control device 200 to the user.
  • the display device 400 may be a TV equipped with a display and a speaker, a monitor, and a head mounted display (hereinafter, a VR headset).
  • the display device 400 may provide a user with an image updated periodically or according to an event.
  • FIG. 2 is a view showing a control device according to an embodiment.
  • control unit 220 includes an extended reality provision unit 221, a contact event detection unit 222, and a control variable setting unit 223.
  • the extended reality providing unit 221 implements extended reality including user object data and virtual object data.
  • the extended reality providing unit 221 may generate an extended reality environment by generating a user object U and a virtual object V as data together with a control factor.
  • the extended reality providing unit 221 generates a generated extended reality environment as image data and audio data, and provides it to the display device 400 through the communication unit 210 so that the user can receive the image and sound.
  • the extended reality providing unit 221 may provide video and audio data updated according to a contact event to a display device in real time.
  • the user object data refers to data including physical control factors in augmented reality of the user object U.
  • the virtual object data means data including physical control factors of the virtual object V in the extended reality.
  • the user object (U), the virtual material or the virtual object (V) may all be implemented as virtual objects, and any one or more of the three may be implemented as holograms or virtual objects in augmented reality or mixed reality. It is possible.
  • the contact event detector 222 detects a contact event by determining whether it is an instantaneous contact or a continuous contact. For example, the contact event detection unit 222 detects a contact event when the user object U and the virtual object V are in constant contact.
  • the contact event detection unit 222 provides contact event data including physical control factors for the detected contact event to the control variable unit 223. For example, the contact event detection unit 222 detects a user input of the user object U or a contact by a running process, or the user input causes a contact between the user object U and the virtual object V You can sense that it is an order to do.
  • the control variable unit 223 receives the contact event data and changes the force feedback control variable.
  • the control variable unit 223 is a feeling of pressure according to the contact event, that is, when the user object U is pressed and moved while in contact with the virtual object V, a repulsion feeling at the contact point due to the pressing force and the moving force
  • the force feedback control variable is changed to provide the sense of the person's actual feeling to the position of the user's input device.
  • 3A to 3 are views exemplarily showing a feeling of pressure according to an embodiment.
  • FIG. 3A is a diagram showing a contact event of a user object and a virtual object according to an embodiment
  • FIG. 3B is a graph showing a change in the pressing force over time of the user object when it touches the user object and moves at the same speed
  • 3C is a view showing a change in the contact area displayed in contact with FIG. 3A.
  • the pen pressure refers to a pressure that is pressed when a user, such as a brush or a ballpoint pen, grips or moves a mounted user object U in contact with the virtual object V.
  • the user object U and the virtual object V are brought into contact with the pen pressure and the displayed contact area is changed.
  • a virtual user object (U) to remove the virtual substance (S) on the virtual object (V) using a pen such as a brush or a board marker
  • the pressing force becomes stronger, the thickness to be painted becomes It increases, and when the pressing force is weakened, the painted thickness is reduced. This is a phenomenon that occurs due to a change in shape due to the rigidity of the user object (U) and the virtual object (V) due to the pressure, and the contact area is changed.
  • the reaction force is generated by the pressing force and the moving force of the user object U, and the feeling of pressure means a sense by the reaction force.
  • the feeling of pressure changes depending on the contact area at the contact point, the coefficient of friction, or the viscosity of the virtual material.
  • the feeling of pressure can be changed according to various control factors such as contact angle, stiffness, surface bending of the virtual material, and volume change of the virtual material.
  • control variable unit 223 extracts physical control factor information from user object data, virtual object data, and contact event data to change the force feedback control variable.
  • the control variable unit 223 may change the force feedback control variable according to one or more control factors of the magnitude of the force, the contact angle, the contact area, the curvature of the virtual object surface, the stiffness, the friction coefficient, or the viscosity.
  • control variable unit 223 includes the contact angle of the user object and the virtual object, the contact area of the user object and the virtual object, the contact area of the virtual material, the rigidity of the user object, the rigidity of the virtual object, the friction coefficient of the user object,
  • the force feedback control variable may be changed according to one or more of the friction coefficient of the virtual object, the viscosity of the user object, the viscosity of the virtual object or the viscosity of the virtual object between the user object and the virtual object, and the surface curvature of the virtual object.
  • control variable unit 223 is a virtual material between the user object (U) and the virtual object (V), when the paint is provided, the viscosity of the paint, the volume change of the paint, the amount of reduction in the contact area of the paint, friction force Depending on the force feedback control variable can be changed.
  • the control factor is a physical variable for generating pressure-sensitive data, and can be divided into static and dynamic.
  • the static factors may be user objects, virtual objects or virtual material unchanged physical control factors including stiffness, coefficient of friction, viscosity and surface bending of the virtual material.
  • the dynamic factors may be physical control factors that can be changed by user input including pressing force, contact area, contact angle, and volume of the virtual material.
  • the control variable unit 223 changes the force feedback control variable in consideration of the static and the dynamic variable that changes according to the situation. For example, the control variable unit 223 may change the force feedback control variable so that the pressure of the user increases when the friction coefficient and viscosity of the user object U, the virtual object V, and the virtual material S increase. . In addition, when the stiffness of the user object U, the virtual object V, and the virtual material is increased, the pressure-sensitive setting unit 223 may change the force feedback control variable so that the pressure-sensitive feeling against the pressing force is small.
  • the control variable unit 223 changes the force feedback control variable in real time according to the pressing force, the moving force, the user object U, the contact area of the virtual object V, and the pressing force and movement according to the contact angle. Order.
  • the control variable unit 223 may change the force feedback control variable so that the pressure feeling is increased when the pressing force is increased.
  • the contact area of the user object U is widened by a pressing force, and the control variable unit 223 sets pressure-sensitive data in consideration of the contact area.
  • control variable unit 223 changes the force feedback control variable in consideration of the contact angle as well. For example, when the contact angles of the user object U and the virtual object V are changed, the control variable unit 223 applies the force in consideration of the change in the contact area due to the contact angle and the application direction and angle of the pressure according to the contact angle. Change the feedback control variable.
  • the control variable unit 223 may provide a precise feeling of pressure to the user by setting the pressure feeling data in consideration of both static and dynamic persons, and it may be possible to provide a feeling of pressure as the user's input changes in real time.
  • the control variable unit 223 sets control variables of any one of the open loop control, on-off control, PID control, and impedance control. However, it is not limited thereto, and any control method capable of providing a feeling of pressure is sufficient.
  • the control variable unit 223 changes the impedance control variable according to the magnitude, direction, and control factor of the pressure.
  • the impedance control variable may include a spring constant k, a mass constant m, and a damping constant c.
  • the control variable setting unit 224 determines the pressure feeling to be provided to the output device by changing the damping constant according to the friction coefficient or viscosity, or the spring constant k and the mass constant m according to the magnitude and direction of the pressure feeling, and the force. It is generated as a feedback control signal and provided to the output device.
  • control variable unit 223 may change control variables suitable for each control method.
  • control variable unit 223 may change the control variable according to the control factor according to the control method of the output device 300.
  • control variable unit 223 generates control signals by referring to data in the memory according to the control method of the output device 300 having different control methods, and generates and provides a force feedback control signal for pressure. You can.
  • the control variable unit 223 provides the force feedback to the user through the output device by providing the force feedback control signal to the output device through the communication unit.
  • 4A to 4D are diagrams showing a force graph over time when a user object is moved from one virtual object to another virtual object.
  • control variable unit 223 changes the force feedback control variable.
  • the control variable unit 223 is a force to instantly increase or decrease the magnitude of the pressure feeling at the boundary between one virtual object (V1) and the other virtual objects (V2, V3) than the pressure feeling in the other virtual objects Change the feedback control variable.
  • FIG. 4A is a diagram showing a state when a user object is moved from one virtual object V1 to another virtual object V2 having a large coefficient of friction
  • FIG. 4B is a pressure according to time when the user object is moved in FIG. 4A. It is a graph showing changes in persimmon size.
  • FIG. 4C is a diagram showing a state when a user object is moved from one virtual object V1 to another virtual object V3 having a small coefficient of friction
  • FIG. 4D is a time diagram when the user object is moved in FIG. 4C It is a graph showing the change in the size of pressure.
  • the control variable unit 223 changes the force feedback control variable to instantly increase the pressure feeling at the boundary between one virtual object and another virtual object than the pressure feeling at another virtual object.
  • the other virtual object V2 has a greater friction force than the one virtual object V1, and the control variable unit 223 instantaneously increases the feeling of pressure at the boundary to provide a sense of presence by changing the feeling of pressure at the boundary to provide realism. Users can be provided.
  • control variable unit 223 instantaneously decreases the pressure at the boundary between one virtual object V1 and the other virtual object V3 than the pressure at the other virtual object V3. Force feedback control variable can be changed to do so.
  • the control variable unit 223 may amplify or decrease the pressure of the pressure at the boundary of the virtual object so that the user can reliably recognize the sense of the boundary change. When the boundary changes, the control variable unit 223 may improve the sense of reality at the boundary between one virtual object and another virtual object.
  • the control unit 220 may generate and provide a force feedback control signal for a feeling of pressure according to a change in a control factor according to a user's input, thereby providing a feeling of pressure to the user.
  • the control unit 220 may change the control variable according to the real-time change of the contact event, thereby providing the user with force feedback for a sense of pressure that is changed in real time.
  • the force feedback system 10 may be applied to various applications and programs that require providing a feeling of pressure according to a change in a contact event.
  • FIG. 5 is a flowchart illustrating a force feedback method according to an embodiment.
  • the force feedback method includes an initialization step (S51), a user input step (S52), a contact event detection step (S53), a force feedback control variable changing step (S54), and a force feedback control signal generation step (S55). It includes.
  • the extended reality providing unit 221 In the initialization step (S51), the extended reality providing unit 221 generates a user object U and a virtual object V while loading an application or program, and extracts control factors stored in the memory 230 to extract user object data. And virtual object data.
  • the controller 220 detects a user input input to the input device 100 and transmits the detected user input data to the extended reality providing unit 221.
  • the extended reality provider 221 receives user input data and generates an event according to the user input data.
  • the contact event detection unit 222 detects whether the event according to the user's input data is a contact event. At this time, the contact event detection unit 222 generates contact event data including input data, user object data, and virtual object data. The contact event detection unit 222 further transmits the contact event data to the control variable unit 223 by further including any one or more of a moving direction, a moving speed, an acceleration, a magnitude of the force, and a direction of the force according to a user input.
  • the control variable unit 223 changes the force feedback control variable based on the user object data, the virtual object data, and the contact event data.
  • the control variable unit 223 may change the force feedback control variable according to one or more control factors of the magnitude of the force, the contact angle, the contact area, the curvature of the virtual object surface, the stiffness, the friction coefficient, or the viscosity.
  • control variable unit 223 includes the contact angle of the user object and the virtual object, the contact area of the user object and the virtual object, the contact area of the virtual material, the rigidity of the user object, the rigidity of the virtual object, the friction coefficient of the user object,
  • the force feedback control variable may be changed according to one or more of the friction coefficient of the virtual object, the viscosity of the user object, the viscosity of the virtual object or the viscosity of the virtual object between the user object and the virtual object, and the surface curvature of the virtual object.
  • the control variable unit 223 sets control variables according to the control method of the output device 300. For example, when the control method of the output device 300 is an impedance control method, the control variable unit 223 controls according to any one or more control factors of force size, contact angle, contact area, stiffness, friction coefficient, or viscosity. Set the variable spring constant k, mass constant m and damping constant c. In addition, the control variable unit 223 sets the direction and size of the force feedback of the output device 300 through the direction of travel, speed of movement, acceleration, magnitude of force, and direction of force.
  • the control variable unit 223 In the force feedback control signal generation step S55, the control variable unit 223 generates a force feedback control signal according to the force feedback control variable, and transmits a control signal to the output device 300 to output force feedback.
  • the force feedback method may further include providing an image updated according to the contact event to the user (not shown).
  • the force feedback method repeats the above steps to output the force feedback in real time.
  • FIG. 6 is a flowchart illustrating a force feedback method according to another embodiment.
  • the force feedback method includes an initialization step (S61), a user input step (S62), a contact event detection step (S63), a movement detection step to another virtual object (S64), and a force feedback. And a control variable changing step (S64) and a force feedback control signal generating step (S65).
  • the force feedback method may further include providing an image updated according to the contact event to the user (not shown).
  • the initialization step (S61), the user input step (S62), the contact event detection step (S63) and the image providing step includes the same components as the force feedback method according to an embodiment, and the description thereof will be omitted.
  • a contact event in which the user object U is moved from one virtual object V1 to another virtual object V2 and V3 is detected.
  • the user object U may be moved from one virtual object V1 where a contact event has occurred to other virtual objects V2 and V3, and the contact event may be changed.
  • the contact event detection unit 222 determines the changed contact event.
  • the control variable unit 223 changes the force feedback control variable according to the user object, the other virtual objects V2 and V3, and the contact event. For example, the control variable unit 223 changes the force feedback control variable based on the user object data, other virtual object data, and contact event data.
  • the control variable unit 223 instantaneously increases or decreases the feeling of pressure at the boundary between one virtual object (V1) and the other virtual objects (V2, V3) than the pressure at the other virtual objects (V2, V3).
  • the force feedback control variable is changed again to maintain the pressure feeling according to the control factor of the other virtual object V2.
  • the feeling of pressure according to the boundary change can be strongly perceived by the user by instantaneously increasing or decreasing the pressure feeling at the boundary of another virtual object, thereby improving the sense of reality.
  • the control variable unit 223 In the force feedback control signal generation step (S65), the control variable unit 223 generates a force feedback control signal in real time according to the force feedback control variable, and transmits the generated control signal to the output device 300 to event force feedback. Output in real time according to the change.
  • the force feedback method repeats the above steps to output the force feedback in real time.
  • the force feedback method may be implemented in the form of program instructions that can be executed through various machine means and may be recorded in a storage medium readable by the machine in which the program is recorded.
  • the machine-readable storage medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for an embodiment or may be known and usable by a person skilled in the art, such as computer software. Examples of machine-readable storage media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks.
  • Hardware devices specifically configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like, are included.
  • program instructions include high-level language code that can be executed by a machine using an interpreter, etc., as well as machine language codes such as those produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시 예에 따른 포스 피드백 방법에 대해 개시한다. 포스 피드백 방법은 가상의 사용자 객체가 일 가상물체에 접촉하는 접촉이벤트의 발생을 검출하는 단계, 접촉이벤트에서 사용자 객체의 필압감을 설정하는 단계 및 설정된 필압감에 따라 포스 피드백 제어변수를 설정하는 단계를 포함한다.

Description

포스 피드백 방법 및 시스템
본 발명은 포스 피드백 방법에 관한 것으로, 보다 구체적으로 사용자 객체가 가상물체에 접촉하여 이동할 때 느껴지는 필압감을 위한 포스 피드백을 제공하기 위한 포스 피드백 방법 및 시스템에 관한 것이다.
4차 산업 혁명과 관련하여 증강현실(Augmented Reality), 혼합현실(Mixed Reality) 및 가상현실(Virtual Reality)관련 기술이 급속도로 발전하고 있다. 이러한, 증강현실, 혼합현실 및 가상현실은 현실의 감각을 시공간을 넘어 확장 증폭하려는 시도와 맞닿아 있다. 따라서, 이들의 기술을 통칭해 확장현실(Extended Reality)로 부르기도 한다.
이러한, 확장현실 기술은 일반적으로 교육, 오락, 훈련, 의학 등의 분야의 컴퓨팅 시스템 (computing system)에서 사용된다. 특히, 확장현실 기술을 게임과 접목시켜 기존의 게임의 한계인 현실감을 해결할 수 있는 대안으로 떠오르면서, 게임에 현실감을 더하여 사용자가 직접 체험하는 듯한 효과로 인해 각광받고 있다.
이러한, 확장현실 기술 기반의 게임에 몰입감을 더하고자, 영상 내에서 물리적인 변화인 충돌, 위치 변화 등을 사용자에게 현실감 있게 전달하는 포스 피드백을 제공하는 컨트롤러가 발전하고 있다. 종래의 대부분의 컨트롤러는 진동을 주는 방법이 사용되고 있다. 따라서, 최근에는 진동이 주는 포스 피드백의 한계에 의해, 사용자에게 직접적인 힘을 제공하는 역감형 포스 피드백 시스템이 개발되고 있다. 종래 대부분의 컨트롤러는 진동을 주는 방식이었다. 그러나 최근에는 진동 햅틱 피드백의 한계를 극복하기 위해 사용자에게 직접적인 힘을 제공하는 역감형 포스 피드백이 개발되고 있다.
대부분의 포스 피드백 시스템은 특정 이벤트에 적합한 포스 피드백을 매뉴얼 작업으로 만들어 놓고 게임에서 이벤트 발생시 그 라이브러리를 불러 실행되게 하는 방식이 대부분이었다. 따라서, 포스 피드백 시스템은 물리적인 변화인 충돌에 대한 포스 피드백 또는 직접적인 접촉에 의한 접촉감각 만을 제공할 뿐 각 상황에 맞춰 조절되는 포스 피드백을 구현하는 것은 어려웠다.
특히, 게임에서 점차 사실적인 표현이 늘어나고 있고, 동일 이벤트에서도 다양한 포스 피드백이 구현되어야 하나 이러한 기술이 부족한 실정이다.
실시 예의 목적은, 확장현실에서 실감, 몰입감을 증대시키기 위해, 객체의 물리적 제어인자를 이용하여 포스 피드백 제어신호를 생성하고, 역감을 제공하는 포스 피드백 방법 및 시스템를 제공하는 것이다.
또한, 확장현실을 사용하는 환경에서 사용자 객체와 가상물체의 접촉이벤트에 의한 필압감을 사용자에게 제공함으로써, 확장현실 환경에서의 접촉감각을 실제로 느낄 수 있는 포스 피드백 방법 및 시스템를 제공하는 것이다.
실시 예 들에서 해결하려는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
실시 예에 따른 포스 피드백 방법에 대해 설명한다.
일 측면에 따른 포스 피드백 방법은 사용자 객체가 가상물체에 접촉하는 접촉이벤트의 발생을 검출하는 단계, 상기 접촉이벤트에서 사용자 객체가 이동할 때 포스 피드백 제어변수를 변경하는 단계 및 상기 변경된 제어변수에 따라 포스 피드백을 제공하는 단계를 포함한다.
다른 측면에 따른 포스 피드백 방법은, 가상물질이 구비된 사용자 객체와 가상물체에 접촉하되 가상물질을 사이에 두고 접촉하는 접촉이벤트의 발생을 검출하는 단계, 상기 접촉이벤트에서 사용자 객체가 이동할 때 포스 피드백 제어변수를 변경하는 단계 및 상기 변경된 제어변수에 따라 포스 피드백을 제공하는 단계를 포함한다.
실시 예의 또 다른 측면에 따라 포스 피드백 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장매체가 제공된다.
또한, 실시 예의 또 다른 측면에 따른 포스 피드백 시스템은 사용자 객체와 가상물체가 접촉하는 접촉이벤트를 검출하고, 사용자 객체의 이동에 따라 포스 피드백 제어변수를 변경하여 필압감을 위한 포스 피드백 제어신호를 생성하는 제어장치 및 상기 포스 피드백 제어신호를 수신하여 필압감에 대한 감각을 사용자에게 제공하는 출력장치를 포함한다.
실시 예에 따르면, 확장현실에서 실감, 몰입감을 증대시키기 위해, 객체의 물리적 제어인자를 이용하여 포스 피드백 제어신호를 생성하여 역감을 사용자에게 제공함으로써, 확장현실 환경에서의 실감과 몰입감을 더욱 증대시킬 수 있다.
확장현실을 사용하는 환경에서 사용자 객체와 가상물체의 접촉이벤트에 의한 필압감을 사용자에게 제공함으로써, 확장현실 환경에서의 접촉감각을 실제로 느낄 수 있다.
실시예에 따른 포스 피드백 방법 및 시스템의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 실시 예에 따른 포스 피드백 시스템을 나타내는 도면이다.
도 2는 실시 예에 따른 제어 장치를 나타내는 도면이다.
도 3a는 실시 예에 따른 사용자 객체 및 가상물체의 접촉이벤트를 예시적으로 보여주는 도면이다.
도 3b는 사용자 객체의 접촉하고 동일한 속도로 이동했을 때, 사용자 객체의 시간에 따른 누르는 힘의 변화를 나타내는 그래프이다.
도 3c는 도 3a에 따라 접촉되어 표시되는 접촉면적의 변화를 나타내는 도면이다.
도 4a는 일 가상물체(V1)에서 마찰계수가 큰 타 가상물체(V2)로 사용자 객체가 이동될 때의 모습을 보여주는 도면이다
도 4b는 도 4a에서 사용자 객체가 이동될 때 시간에 따른 필압감 크기변화를 보여주는 그래프이다.
도 4c는 일 가상물체(V1)에서 마찰계수가 작은 타 가상물체(V3)로 사용자 객체가 이동될 때의 모습을 보여주는 도면이다.
도 4d는 도 4c에서 사용자 객체가 이동될 때 시간에 따른 필압감의 크기 변화를 보여주는 그래프이다.
도 5는 일 실시 예에 따른 포스 피드백 방법을 보여주는 흐름도이다.
도 6은 다른 실시 예에 따른 포스 피드백 방법을 보여주는 흐름도이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
본 실시 예를 설명하기 앞서 사용자 객체(U)은 사용자의 입력에 따라 확장현실 상에서 파지 또는 착용하여 이동되는 펜, 붓, 연필, 칼 등의 사용자가 조작할 수 있는 도구를 의미한다. 여기서, 사용자 객체(U)는 가상의 객체 또는 실제 객체일 수 있다.
또한, 가상물체(V)는 종이, 천 또는 벽 등과 같이 사용자가 직접적으로 조작할 수 없으나, 사용자 객체(U)을 접촉할 수 있는 확장 현실 상의 가상의 물체를 의미한다. 또한, 가상물질(S)은 확장 현실 환경, 사용자 객체(U)과 가상물체(V)사이의 물, 잉크, 페인트, 물감, 잼, 버터, 연필심, 지우개 등과 같이 사용자 객체(U)와 가상물체(V)사이에 구비되는 물질을 의미한다. 가상물질(S)은 사용자 객체(U)상에 구비되고, 사용자 객체(U)와 가상물체(V)의 접촉에 의해 사용자 객체(U)상에서 점차 탈락된다.
여기서, 가상물체(V) 및 가상물질(S)은 확장 현실상의 가상의 객체 또는 실제 객체일 수 있다.
한편, 사용자 객체(U)는 가상의 객체로 구현될 때, 가상물질(S) 자체로 구성되는 것도 가능하다. 예를 들어, 사용자 객체(U)는 크레파스, 파스텔, 분필 등과 같이 가상물질 자체인 것도 가능하다.
그리고, 확장현실(Extended Reality)은 증강현실(Augmented Reality), 혼합현실(Mixed Reality) 및 가상현실(Virtual Reality)을 통칭한다.
도 1은 실시 예에 따른 포스 피드백 시스템을 나타내는 도면이다.
도 1을 참조하면, 포스 피드백 시스템(10)은 입력장치(100), 제어장치(200), 출력장치(300) 및 표시장치(400)를 포함한다. 이외에, 포스 피드백 시스템(10)은 카메라(미도시), 마이크(미도시) 등을 더 구비할 수 있다.
입력장치(100)는 사용자의 입력의 위치, 방향, 가속도, 압력, 키 정보를 등을 입력 받아 입력데이터를 생성하는 장치일 수 있다. 입력장치(100)는 자이로 센서, 엔코더, 터치패널, 다수의 키버튼을 구비한 키패드 등이 구비되어 사용자의 입력을 검출하여 입력데이터를 생성하는 장치일 수 있다. 예를 들어, 입력장치(100)는 게임패드, 패들 컨트롤러, 트랙볼, 조이스틱, 아케이드 스타일 조이스틱, 자동차 핸들, 마우스, 데이터 글러브 등 일 수 있다. 또한, 입력장치(100)는 사용자의 손 동작, 팔 동작 등의 움직임을 검출하고, 이러한 움직임을 사용자 입력으로 인식하는 카메라, 모션센서 등으로 구현될 수도 있다.
제어장치(200)는 사용자 객체(U)와 가상물체(V)가 접촉하는 접촉이벤트를 검출하고, 사용자 객체(U)의 이동에 따라 포스 피드백 제어변수를 변경하여 필압감을 위한 포스 피드백 제어신호를 생성한다. 제어장치(200)는 확장현실 환경을 생성하여 제공하는 물리엔진이 기록된 저장매체를 포함하는 장치일 수 있다. 예를 들어, 제어장치(200)는 물리엔진이 기록된 저장매체를 포함하는 컴퓨터, 핸드폰과 같은 휴대용 통신 단말, 콘솔, PDA, 태블릿 PC, 서버 등일 수 있다. 제어장치(200)는 통신부(210), 제어부(220) 및 메모리(230)를 포함한다.
통신부(210)는 입력장치(100), 출력장치(300) 또는 표시장치(400)와 통신하여, 입력데이터, 포스 피드백 제어신호, 영상 데이터 및 음성 데이터를 송수신 할 수 있다. 통신부(210)는 LAN, 데이터 케이블 등을 이용한 유선방식 또는 RF통신(Radio Frequency), WiFi(Wireless Fidelity), LTE(Long Term Evolution), 블루투스, IrDA (Infrared Data Association), 지그비, UWB(Ultra-wideband), 부호분할다중접속방식(code division multiple access: CDMA), 주파수분할다중방식(frequency division multiplexing: FDM), 시분할다중방식(time division multiplexing: TDM) 등에 따라 무선방식으로 입력장치(100), 출력장치(300) 또는 표시장치(400)와 통신할 수 있다. 또한, 통신부는 인터넷에 접속하여 입력장치(100), 출력장치(300) 또는 표시장치(400)와 통신하는 것도 가능하다.
여기서, 입력장치(100), 출력장치(300) 또는 표시장치(400)는 통신부(210)와 통신할 수 있는 통신모듈(미도시)이 구비될 수 있다. 통신모듈은 통신부(210)와 동일한 방식으로 통신하거나 인터넷에 연결되어 통신부에 접속할 수 있다.
제어부(220)는 사용자의 선택에 따른 게임 등의 확장현실 환경을 제공하는 프로그램 또는 어플리케이션을 실행하며, 확장현실 환경 상에서 접촉이벤트를 검출하여 포스 피드백 제어변수를 변경하고 이에 따른 포스 피드백 제어신호를 생성한다. 제어부(220)에 대한 상세한 설명은 도 3a 내지 3c을 참조하여 후술한다.
메모리(230)는 게임, 통신 등 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 영상들, 사용자 정보, 문서 등과 관련된 데이터베이스들, 포스 피드백 시스템을 구동하는데 필요한 배경 영상들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들 등을 저장할 수 있다. 또한, 메모리(230)는 각각의 제어인자들에 따른 포스 피드백 제어변수의 데이터가 저장되어 있을 수 있다.
여기서, 접촉이벤트는 사용자 객체(U)와 가상물체(V)가 접촉하는 상황의 이벤트를 의미한다. 예를 들어, 접촉이벤트는 사용자 객체(U)와 가상물체(V)가 확장현실 상에서 하나의 접점에서 접촉하는 이벤트를 의미한다. 이때, 사용자 객체(U)는 가상물체(V)와 바로 접촉할 수 있고, 가상물질을 사용자 객체(U)와 가상물체(V) 사이에 두고 접촉할 수 있다.
예를 들어, 사용자 객체(U)는 목탄, 크레파스, 지우개, 파스텔 등의 가상물질 자체로 구현되는 것도 가능하다. 예를 들어, 사용자 객체(U)는 가상물질(S)이 구비되어 가상물질(S)이 사용자 객체의 일단에서 탈락되는 볼펜, 붓, 연필, 버터나 잼 등이 발라진 칼 등일 수 있다.
또한, 제어인자는 사용자 객체, 가상물체 및 접촉이벤트를 구성하기 위한 물리적 인자를 의미하며, 힘의 크기, 접촉각도, 접촉면적, 가상물체 표면의 굴곡 요철, 강성, 마찰계수 또는 점도 등의 물리적 인자를 의미한다.
그리고, 포스 피드백 제어변수는 포스 피드백을 제공하기 위한 변수이다. 예를 들어, 포스 피드백 제어변수는 임피던스 제어를 통한 포스 피드백 제어인 경우에, 질량상수 m, 감쇠상수 c, 스프링 상수 k 일 수 있다.
출력장치(300)는 포스 피드백 제어신호를 수신하여 필압감에 대한 감각을 진동 또는 역감으로 출력하여 사용자에게 제공한다. 출력장치(300)는 진동을 제공하는 진동형 출력장치 또는 물리적인 힘을 제공하는 역감형 출력장치일 수 있다. 여기서, 출력장치(300)는 물리적인 힘을 제공하는 역감형 출력장치인 것이 바람직하다.
또한, 출력장치(300)는 역감형 출력장치 중에서도 클러치를 구비하여 모터 등의 구동부와 연결이 완전히 차단되어 모터에 의한 부하가 전혀 없는 프리휠링(Freewheeling)이 가능하여 섬세한 힘의 변화를 출력할 수 있는 출력장치인 것이 더 바람직할 수 있다. 이러한, 프리휠링이 가능한 역감형 출력장치는 출력축이 모터의 작동으로 인한 부하상태, 모터의 작동은 없으나 출력축이 모터와 연결되어 모터의 자기장에 의한 무부하상태 및 프리휠링 상태의 3가지 상태로 구현이 가능하면 가장 바람직한 형태일 수 있다.
본 실시 예에서 입력장치(100) 및 출력장치(300)가 따로 구비되는 것으로 도시하였지만 이는 설명의 편의를 위한 것일 뿐 이에 한정되는 것은 아니다. 입력장치(100)는 출력장치(300)와 일체형으로 구비되어 입력 및 출력이 하나의 장치에서 가능할 수 있다.
표시장치(400)는 제어장치(200)로부터 수신한 영상 데이터 및 음성 데이터를 사용자에게 표시한다. 예를 들어, 표시장치(400)는 디스플레이와 스피커를 구비한 TV, 모니터, 및 머리 장착 디스플레이(이하, VR 헤드셋)등 일 수 있다. 표시장치(400)는 주기적 또는 이벤트에 따라 업데이트 되는 영상을 사용자에게 제공할 수 있다.
도 2는 실시 예에 따른 제어 장치를 나타내는 도면이다.
도 2를 참조하면, 제어부(220)는 확장현실 제공부(221), 접촉이벤트 검출부(222) 및 제어변수 설정부(223)를 포함한다.
확장현실 제공부(221)는 사용자 객체 데이터 및 가상물체 데이터를 포함하는 확장현실을 구현한다. 예를 들어, 확장현실 제공부(221)는 사용자 객체(U), 가상물체(V)를 제어인자와 함께 데이터로 생성하여 확장현실 환경을 생성할 수 있다.
확장현실 제공부(221)는 생성된 확장현실 환경을 영상 데이터 및 음성데이터로 생성하여 통신부(210)를 통해 표시장치(400)에 제공하여 사용자가 영상 및 소리로 제공받을 수 있다. 또한, 확장현실 제공부(221)는 접촉이벤트에 따라 업데이트 되는 영상데이터 및 음성데이터를 실시간으로 표시장치에 제공할 수 있다.
사용자 객체 데이터는 사용자 객체(U)의 확장현실에서의 물리적 제어인자를 포함하는 데이터를 의미한다. 또한, 가상물체 데이터는 확장현실에서의 가상물체(V)의 물리적 제어인자를 포함하는 데이터를 의미한다. 여기서, 사용자 객체(U), 가상물질 또는 가상물체(V)는 모두가 가상의 객체로 구현되는 것도 가능하며, 셋 중 어느 하나 이상이 증강현실 또는 혼합현실에서 홀로그램 또는 가상의 객체로 구현되는 것도 가능하다.
접촉이벤트 검출부(222)는 순간적인 접촉인지 지속적인 접촉인지를 판단하여 접촉이벤트를 검출한다. 예를 들어, 접촉이벤트 검출부(222)는 사용자 객체(U)와 가상물체(V)의 지속적인 접촉인 경우에 접촉이벤트로 검출한다.
접촉이벤트 검출부(222)는 검출된 접촉이벤트에 대한 물리적인 제어인자를 포함하는 접촉이벤트 데이터를 제어변수부(223)에 제공한다. 예를 들어, 접촉이벤트 검출부(222)는 사용자 객체(U)의 사용자 입력 또는 실행중인 프로세스에 의해 접촉하는 것을 감지하거나, 사용자의 입력이 사용자 객체(U)와 가상물체(V)의 접촉을 야기하는 명령인 것을 감지할 수 있다.
제어변수부(223)은 접촉이벤트 데이터를 전달받아 포스 피드백 제어변수를 변경한다. 여기서, 제어변수부(223)는 접촉이벤트에 따른 필압감, 즉 사용자 객체(U)를 가상물체(V)에 접촉한 상태에서 누르며 이동시킬 때, 누르는 힘 및 이동하는 힘에 의한 접점에서의 반발감에 대해 사람이 실제로 느끼는 감각을 사용자의 입력장치의 위치에 맞게 제공하기 위해 포스 피드백 제어변수를 변경한다.
도 3a 내지 도 3는 실시 예에 따른 필압감을 예시적으로 보여주는 도면이다.
여기서, 도 3a는 실시 예에 따른 사용자 객체 및 가상물체의 접촉이벤트를 보여주는 도면이고, 도 3b는 사용자 객체의 접촉하고 동일한 속도로 이동했을 때, 사용자 객체의 시간에 따른 누르는 힘의 변화를 나타내는 그래프이고, 도 3c는 도 3a에 따라 접촉되어 표시되는 접촉면적의 변화를 나타내는 도면이다.
도 3a 내지 도 3c를 참조하면, 필압은 붓이나 볼펜 등의 사용자가 파지하거나 장착한 사용자 객체(U)를 가상물체(V)에 접촉한 상태에서 이동시킬 때 누르는 압력을 의미한다. 사용자 객체(U)와 가상물체(V)는 필압에 의해 접촉되어 표시되는 접촉면적은 변화하게 된다. 예를 들어, 가상의 사용자 객체(U)로 붓이나 보드마카 등의 펜을 이용하여 가상물체(V)에 가상물질(S)을 탈락시키며 칠을 할 때, 누르는 힘이 강해지면 칠해지는 두께가 늘어나고, 누르는 힘이 약해지면 칠해지는 두께가 줄어들게 된다. 이는 필압에 의해 사용자 객체(U) 및 가상물체(V)의 강성에 따른 형태 변화가 발생하여 접촉면적이 변화되어 발생하는 현상이다.
이때, 사용자 객체(U)의 누르는 힘 및 이동하는 힘에 의해 반력이 발생하는데, 필압감은 이 반력에 의한 감각을 의미한다. 필압감은 접점에서의 접촉면적, 마찰계수 또는 가상물질의 점도에 따라 변화된다. 이외에도, 필압감은 접촉각도, 강성, 가상물질의 표면 굴곡 및 가상물질의 부피변화 등 다양한 제어인자에 따라 변화될 수 있다.
다시 도 2로 돌아와서 설명하면, 제어변수부(223)는 사용자 객체 데이터, 가상물체 데이터, 접촉이벤트 데이터에서 물리적 제어인자 정보를 추출하여 포스 피드백 제어변수를 변경한다. 제어변수부(223)는 힘의 크기, 접촉각도, 접촉면적, 가상물체 표면의 굴곡, 강성, 마찰계수 또는 점도 중 어느 하나 이상의 제어인자에 따라 포스 피드백 제어변수를 변경할 수 있다. 보다 구체적으로 제어변수부(223)는 사용자 객체와 가상물체의 접촉각도, 사용자 객체와 가상물체의 접촉면적, 가상물질의 접촉면적, 사용자 객체의 강성, 가상물체의 강성, 사용자 객체의 마찰계수, 가상물체의 마찰계수, 사용자 객체의 점도, 가상물체의 점도 또는 사용자 객체와 가상물체 사이의 가상물질의 점도, 가상물체의 표면 굴곡 중 어느 하나 이상에 따라 포스 피드백 제어변수를 변경할 수 있다.
예를 들어, 제어변수부(223)는 사용자 객체(U)와 가상물체(V) 사이의 가상물질로 물감이 구비되는 경우, 물감의 점도, 물감의 부피변화, 물감의 접촉면적의 감소량, 마찰력에 따라 포스 피드백 제어변수를 변경할 수 있다. 또 다른 예로, 제어변수부(223)은 사용자 객체(U)가 지우개로 구비되고 가상물체와 접촉하는 경우, 지우개의 강성, 가상물체 사이에서 발생하는 마찰력, 사용자 객체를 누르는 힘 및 접촉면적의 변화에 따라 포스 피드백 제어변수를 변경할 수 있다.
제어인자는 필압감 데이터를 만들기 위한 물리적인 변수로, 정적인자와 동적인자로 구분될 수 있다. 정적인자는 사용자 객체, 가상물체 또는 가상물질의 강성, 마찰계수, 점도 및 가상물질의 표면굴곡을 포함하는 변화되지 않는 물리적 제어인자 일 수 있다. 또한, 동적인자는 누르는 힘, 접촉면적, 접촉각도 및 가상물질의 부피를 포함하는 사용자의 입력에 의해 변화될 수 있는 물리적 제어인자 일 수 있다.
제어변수부(223)는 정적인자와 상황에 따라 변화하는 동적인자를 고려하여 포스 피드백 제어변수를 변경한다. 예를 들어, 제어변수부(223)는 사용자 객체(U), 가상물체(V) 및 가상물질(S)의 마찰계수 및 점도가 커지면 이동에 대한 필압감을 크게 되도록 포스 피드백 제어변수를 변경할 수 있다. 또한, 필압감 설정부(223)는 사용자 객체(U), 가상물체(V) 및 가상물질의 강성이 커지면 누르는 힘에 대한 필압감을 작게 되도록 포스 피드백 제어변수를 변경할 수 있다.
제어변수부(223)는 사용자 객체를 누르는 힘, 이동시키는 힘, 사용자 객체(U), 가상물체(V)의 접촉면적, 접촉각도에 따라 누르는 힘 및 이동에 대한 포스 피드백 제어변수를 실시간으로 변화시킨다. 예를 들어, 제어변수부(223)는 누르는 힘이 커지는 경우 필압감도 크게 되도록 포스 피드백 제어변수를 변경할 수 있다. 이때, 사용자 객체(U)는 누르는 힘에 의해 접촉면적이 넓어지게 되는데, 제어변수부(223)는 접촉면적도 함께 고려하여 필압감 데이터를 설정한다.
여기서, 제어변수부(223)는 접촉각도도 함께 고려하여 포스 피드백 제어변수를 변경한다. 예를 들어, 사용자 객체(U), 가상물체(V)의 접촉각도가 달라지면 제어변수부(223)는 접촉각도에 따른 필압감의 적용방향 및 각도, 접촉각도로 인한 접촉면적의 변화를 고려하여 포스 피드백 제어변수를 변경한다.
제어변수부(223)는 정적인자와 동적인자는 모두 고려하여 필압감 데이터를 설정함으로써 사용자에게 정밀한 필압감을 제공할 수 있으며, 사용자의 입력이 변화에 따라 필압감을 실시간을 제공하는 것이 가능할 수 있다.
제어변수부(223)는 오픈루프 제어, 온오프 제어, PID 제어, 임피던스 제어 중 어느 하나의 제어방법의 제어변수를 설정한다. 다만 이에 한정되는 것은 아니며, 필압감을 제공할 수 있는 제어방법이면 족하다.
예를 들어, 제어변수부(223)는 필압감의 크기 및 방향, 제어인자에 따라 임피던스 제어변수를 변화시킨다. 여기서, 임피던스 제어변수는 스프링상수 k, 질량상수 m 및 감쇠상수 c를 포함할 수 있다. 제어변수 설정부(224)는 마찰 계수 또는 점도에 따라 감쇠상수를 변화시키거나, 필압감의 크기 및 방향에 따라 스프링 상수k 및 질량상수 m을 변화시킴으로써 출력장치에 제공할 필압감을 결정하고, 포스 피드백 제어신호로 생성하여 출력장치에 제공한다.
또한, 제어변수부(223)는 각 제어방법에 맞는 제어변수를 변경이 가능할 수 있다. 예를 들어, 제어변수부(223)는 출력장치(300)의 제어방법에 따라 제어인자에 따른 제어변수를 변경할 수 있다. 다시 말하면, 제어변수부(223)는 서로 다른 제어방법을 가지는 출력장치(300)의 제어방법에 따라 메모리의 데이터를 참조하여 제어신호를 각각 생성하여 필압감을 위한 포스 피드백 제어신호를 생성하여 제공할 수 있다.
제어변수부(223)는 포스 피드백 제어신호를 통신부를 통해 출력장치에 제공함으로써 포스 피드백을 출력장치를 통해 사용자에게 제공한다.
도 4a 내지 도 4d는 일 가상물체에서 타 가상물체로 사용자 객체가 이동될 때, 시간에 따른 힘 그래프를 보여주는 도면이다.
도 4a 내지 도 4d를 참조하면, 제어변수부(223)는 일 가상물체에서 타 가상물체로 사용자 객체가 이동될 때, 포스 피드백 제어변수를 변경한다. 이 때, 제어변수부(223)는 는 일 가상물체(V1)와 타 가상물체(V2, V3)의 경계에서 필압감의 크기를 타 가상물체에서의 필압감보다 순간적으로 증가 또는 감소시키도록 포스 피드백 제어변수를 변경한다.
도 4a는 일 가상물체(V1)에서 마찰계수가 큰 타 가상물체(V2)로 사용자 객체가 이동될 때의 모습을 보여주는 도면이고, 도 4b는 도 4a에서 사용자 객체가 이동될 때 시간에 따른 필압감 크기변화를 보여주는 그래프이다.
또한, 도 4c는 일 가상물체(V1)에서 마찰계수가 작은 타 가상물체(V3)로 사용자 객체가 이동될 때의 모습을 보여주는 도면이고, 도 4d는 도 4c에서 사용자 객체가 이동될 때 시간에 따른 필압감의 크기 변화를 보여주는 그래프이다.
도 4a 및 도 4b를 참조하면, 제어변수부(223)는 일 가상물체와 타 가상물체의 경계에서 필압감을 타 가상물체에서의 필압감보다 순간적으로 증가시키도록 포스 피드백 제어변수를 변경한다. 타 가상물체(V2)가 일 가상물체(V1)보다 더 큰 마찰력을 가지게 되는데, 제어변수부(223)는 경계에서의 필압감을 순간적으로 증가시켜 경계에서의 필압감 변화에 따른 역감을 제공하여 실재감을 사용자가 제공받을 수 있다.
이와는 반대로 도 4c 및 도 4d를 참조하면, 제어변수부(223)는 일 가상물체(V1)와 타 가상물체(V3)의 경계에서 필압감을 타 가상물체(V3)에서의 필압감보다 순간적으로 감소하도록 포스 피드백 제어변수를 변경할 수 있다.
제어변수부(223)는 가상물체의 경계에서의 필압감을 순간적으로 증폭 또는 감소시킴으로써 경계변화에 대한 감각을 사용자가 확실하게 인지할 수 있도록 할 수 있다. 이러한, 제어변수부(223)는 경계변화 시, 일 가상물체와 타 가상물체의 경계에서의 실재감을 향상시킬 수 있다.
제어부(220)는 사용자의 입력에 따른 제어인자 변화에 따라 필압감을 위한 포스 피드백 제어신호를 생성하여 제공함으로써, 사용자에게 필압감에 대한 실감을 제공할 수 있다. 또한, 제어부(220)는 접촉이벤트의 실시간 변화에 따라 제어변수를 변화시킴으로써, 실시간으로 변화되는 필압감을 위한 포스 피드백을 사용자에게 제공할 수 있다.
실시 예에 따른, 포스 피드백 시스템(10)은 접촉이벤트의 변화에 따른 필압감의 제공을 필요로 하는 다양한 어플리케이션, 프로그램에 적용이 가능하다.
이하에서는 일 실시 예에 따른 포스 피드백 시스템(10)을 이용한 포스 피드백 방법에 대해 도 5 내지 도 6을 참조하여 설명한다.
도 5는 일 실시 예에 따른 포스 피드백 방법을 보여주는 흐름도이다.
도 5를 참조하면, 포스 피드백 방법은 초기화 단계(S51), 사용자 입력 단계(S52), 접촉이벤트 검출 단계(S53), 포스 피드백 제어변수 변경 단계(S54), 포스 피드백 제어신호 생성 단계(S55)를 포함한다.
초기화 단계(S51)에서 확장현실 제공부(221)는 어플리케이션 또는 프로그램을 로딩하면서, 사용자 객체(U) 및 가상물체(V)를 생성하고, 메모리(230)에 저장된 제어인자를 추출하여 사용자 객체 데이터 및 가상물체 데이터에 적용한다.
사용자 입력 단계(S52)에서, 제어부(220)는 입력장치(100)로 입력되는 사용자의 입력을 검출하고 검출된 사용자의 입력 데이터를 확장현실 제공부(221)에 전달한다. 확장현실 제공부(221)는 사용자의 입력 데이터를 수신하고, 사용자의 입력 데이터에 따른 이벤트를 생성한다.
접촉이벤트 검출 단계(S53)에서는 접촉이벤트 검출부(222)가 사용자의 입력 데이터에 따른 이벤트가 접촉이벤트인지 검출한다. 이때, 접촉이벤트 검출부(222)는 입력데이터, 사용자 객체 데이터 및 가상객체 데이터를 포함하는 접촉이벤트 데이터를 생성한다. 접촉이벤트 검출부(222)는 사용자의 입력에 따른 진행방향, 이동속도, 가속도, 힘의 크기, 힘의 방향 중 어느 하나 이상을 더 포함하여 접촉이벤트 데이터를 제어변수부(223)에 전달한다.
포스 피드백 제어변수 변경단계(S54)에서 제어변수부(223)는 사용자 객체 데이터, 가상객체 데이터 및 접촉이벤트 데이터에 근거하여 포스 피드백 제어변수를 변경한다. 여기서, 제어변수부(223)는 힘의 크기, 접촉각도, 접촉면적, 가상물체 표면의 굴곡, 강성, 마찰계수 또는 점도 중 어느 하나 이상의 제어인자에 따라 포스 피드백 제어변수를 변경할 수 있다. 보다 구체적으로 제어변수부(223)는 사용자 객체와 가상물체의 접촉각도, 사용자 객체와 가상물체의 접촉면적, 가상물질의 접촉면적, 사용자 객체의 강성, 가상물체의 강성, 사용자 객체의 마찰계수, 가상물체의 마찰계수, 사용자 객체의 점도, 가상물체의 점도 또는 사용자 객체와 가상물체 사이의 가상물질의 점도, 가상물체의 표면 굴곡 중 어느 하나 이상에 따라 포스 피드백 제어변수를 변경할 수 있다.
제어변수부(223)는 출력장치(300)의 제어방법에 맞춰 제어변수를 설정한다. 예를 들어, 출력장치(300)의 제어방법이 임피던스 제어방법일 경우 제어변수부(223)는 힘의 크기, 접촉각도, 접촉면적, 강성, 마찰계수 또는 점도 중 어느 하나 이상의 제어인자에 따라 제어변수 스프링상수 k, 질량상수 m 및 감쇠상수 c를 설정한다. 또한, 제어변수부(223)는 진행방향, 이동속도, 가속도, 힘의 크기, 힘의 방향을 통해 출력장치(300)의 포스 피드백의 방향 및 크기를 설정한다.
포스 피드백 제어신호 생성 단계(S55)는 제어변수부(223)는 포스 피드백 제어변수에 따라 포스 피드백 제어신호를 생성하고, 제어신호를 출력장치(300)에 전달하여 포스 피드백을 출력한다.
한편 포스 피드백 방법은 접촉이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 단계(미도시)를 더 포함할 수 있다.
포스 피드백 방법은 상기의 단계를 반복하여 포스 피드백을 실시간으로 출력한다.
도 6은 다른 실시 예에 따른 포스 피드백 방법을 보여주는 흐름도이다.
도 6을 참조하면, 다른 실시 예에 따른 포스 피드백 방법은 초기화 단계(S61), 사용자 입력 단계(S62), 접촉이벤트 검출 단계(S63), 다른 가상물체로의 이동 검출 단계(S64), 포스 피드백 제어변수 변경 단계(S64), 포스 피드백 제어신호 생성 단계(S65)를 포함한다.
또한, 포스 피드백 방법은 접촉이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 단계(미도시)를 더 포함할 수 있다.
여기서, 초기화 단계(S61), 사용자 입력 단계(S62), 접촉이벤트 검출 단계(S63) 및 영상 제공 단계는 일 실시 예에 따른 포스 피드백 방법과 동일한 구성요소를 포함하고 있어 설명을 생략한다.
다른 가상물체로의 이동 검출 단계(S64)에서 사용자 객체(U)가 일 가상물체(V1)에서 타 가상물체(V2, V3)로 이동되는 접촉이벤트를 검출한다. 예를 들어, 사용자 객체(U)는 접촉이벤트가 발생한 일 가상물체(V1)에 타 가상물체(V2, V3)로 이동되어 접촉이벤트가 변경될 수 있다. 접촉이벤트 검출부(222)는 변경된 접촉이벤트를 판단한다.
포스 피드백 제어변수 변경 단계(S64)에서 제어변수부(223)는 사용자 객체와 타 가상물체(V2, V3)와 접촉이벤트에 따라 포스 피드백 제어변수를 변경한다. 예를 들어, 제어변수부(223)는 사용자 객체 데이터, 타 가상객체 데이터 및 접촉이벤트 데이터에 근거하여 포스 피드백 제어변수를 변경한다.
이 때, 제어변수부(223)는 일 가상물체(V1)와 타 가상물체(V2, V3) 사이의 경계에서 필압감이 타 가상물체(V2, V3)에서의 필압감보다 순간적으로 증가 또는 감소하도록 포스 피드백 제어변수를 변경한 후, 타 가상물체(V2)의 제어인자에 따라 필압감을 유지하도록 포스 피드백 제어변수를 다시 변경한다. 다른 실시예에 따른 포스 피드백 방법은 타 가상물체의 경계에서 필압감을 순간적으로 증가 또는 감소시켜 경계 변화에 따른 감각변화를 사용자에게 강하게 인지시켜 실재감을 향상시킬 수 있다.
한편, 다른 가상물체로의 이동 검출 단계(S64)에서 일 가상물체(V1)에서 타 가상물체(V2, V3)로 이동되는 접촉이벤트가 검출되지 않으면, 일 가상물체(V1)와 접촉이벤트에 따라 포스 피드백 제어변수를 변경한다.
포스 피드백 제어신호 생성 단계(S65)에서 제어변수부(223)는 포스 피드백 제어변수에 따라 포스 피드백 제어신호를 실시간으로 생성하고, 생성된 제어신호를 출력장치(300)에 전달하여 포스 피드백을 이벤트 변화에 따라 실시간으로 출력한다.
포스 피드백 방법은 상기의 단계를 반복하여 포스 피드백을 실시간으로 출력한다.
실시 예에 따른 포스 피드백 방법은 다양한 기계 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 프로그램을 기록한 기계로 읽을 수 있는 저장 매체에 기록될 수 있다. 상기 기계로 읽을 수 있는 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 등 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 기계로 읽을 수 있는 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 기계에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (19)

  1. 사용자 객체가 가상물체에 접촉하는 접촉이벤트의 발생을 검출하는 단계;
    상기 접촉이벤트에서 사용자 객체가 이동할 때 포스 피드백 제어변수를 변경하는 단계; 및
    상기 변경된 제어변수에 따라 포스 피드백을 제공하는 단계;
    를 포함하는 필압감을 위한 포스 피드백 방법.
  2. 제1항에 있어서,
    상기 필압감은,
    상기 사용자 객체가 가상물체에 접촉하여 이동할 때, 상기 사용자 객체의 누르는 힘 및 이동시키는 힘에 의한 접점에서의 반력에 대한 감각인 포스 피드백 방법.
  3. 제2항에 있어서,
    상기 포스 피드백 제어변수를 변경하는 단계는,
    힘의 크기, 접촉각도, 접촉면적, 가상물체 표면의 굴곡, 강성, 마찰계수 또는 점도 중 어느 하나 이상의 제어인자에 따라 상기 포스 피드백 제어변수를 변경하는 포스 피드백 방법.
  4. 제1항에 있어서,
    상기 접촉이벤트에서 사용자 객체가 이동할 때 포스 피드백 제어변수를 변경하는 단계는,
    상기 사용자 객체가 상기 가상물체에서 다른 가상물체로 이동하는지 판단하는 단계; 및
    상기 사용자 객체와 상기 다른 가상물체의 접촉에 따라 포스 피드백 제어변수를 변경하는 단계;
    를 포함하는 포스 피드백 방법.
  5. 제4항에 있어서,
    상기 사용자 객체와 상기 다른 가상물체와의 접촉에 따라 포스 피드백 제어변수를 변경하는 단계는,
    상기 가상물체와 상기 다른 가상물체 사이의 경계에서 필압감이 상기 다른 가상물체와의 접촉에 따른 필압감보다 순간적으로 증가 또는 감소하도록 포스 피드백 제어변수를 변경하는 단계; 및
    상기 다른 가상물체와의 접촉에 따른 필압감으로 포스 피드백 제어변수를 변경하는 단계;
    를 포함하는 포스 피드백 방법.
  6. 제1항에 있어서,
    사용자로부터 입력을 수신하는 단계;를 더 포함하고,
    상기 사용자 객체는 사용자의 입력에 따라 확장현실 환경 상에서 이동하는 포스 피드백 방법.
  7. 제1항에 있어서,
    상기 접촉이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 단계;
    를 더 포함하는 포스 피드백 방법.
  8. 가상물질이 구비된 사용자 객체와 가상물체에 접촉하되 가상물질을 사이에 두고 접촉하는 접촉이벤트의 발생을 검출하는 단계;
    상기 접촉이벤트에서 사용자 객체가 이동할 때 포스 피드백 제어변수를 변경하는 단계; 및
    상기 변경된 제어변수에 따라 포스 피드백을 제공하는 단계;
    를 포함하는 필압감을 위한 포스 피드백 방법.
  9. 제8항에 있어서,
    상기 필압감은,
    상기 사용자 객체가 가상물체에 접촉하여 이동할 때, 상기 사용자 객체의 누르는 힘 및 이동시키는 힘에 의한 접점에서의 반력에 대한 감각인 포스 피드백 방법.
  10. 제9항에 있어서,
    상기 포스 피드백 제어변수를 변경하는 단계는,
    힘의 크기, 접촉각도, 접촉면적, 가상물체 표면의 굴곡, 강성, 마찰계수, 점도 또는 가상물질의 부피 중 어느 하나 이상의 제어인자에 따라 상기 포스 피드백 제어변수를 변경하는 포스 피드백 방법.
  11. 제8항에 있어서,
    상기 사용자 객체가 상기 가상물체에서 다른 가상물체로 이동하는지 판단하는 단계; 를 더 포함하고,
    상기 접촉이벤트에서 사용자 객체가 이동할 때 포스 피드백 제어변수를 변경하는 단계는,
    상기 사용자 객체와 상기 다른 가상물체와의 접촉에 따른 포스 피드백 제어변수로 변경하는 포스 피드백 방법.
  12. 제11항에 있어서,
    상기 사용자 객체와 상기 다른 가상물체와의 접촉에 따른 포스 피드백 제어변수로 변경하는 단계는,
    상기 가상물체와 상기 다른 가상물체 사이의 경계에서 필압감이 상기 다른 가상물체와의 접촉에 따른 필압감보다 순간적으로 증가 또는 감소하도록 포스 피드백 제어변수를 변경하는 단계; 및
    상기 다른 가상물체와의 접촉에 따른 필압감으로 포스 피드백 제어변수를 재 변경하는 단계;
    를 포함하는 포스 피드백 방법.
  13. 사용자 객체와 가상물체가 접촉하는 접촉이벤트를 검출하고, 사용자 객체의 이동에 따라 포스 피드백 제어변수를 변경하여 필압감을 위한 포스 피드백 제어신호를 생성하는 제어장치; 및
    상기 포스 피드백 제어신호를 수신하여 필압감에 대한 감각을 사용자에게 제공하는 출력장치;
    를 포함하는 포스 피드백 시스템.
  14. 제13항에 있어서,
    상기 필압감은,
    상기 사용자 객체가 가상물체에 접촉하여 이동할 때, 상기 사용자 객체의 누르는 힘 및 이동시키는 힘에 의한 접점에서의 반력에 대한 감각인 포스 피드백 시스템.
  15. 제14항에 있어서,
    상기 제어장치는,
    힘의 크기, 접촉각도, 접촉면적, 가상물체 표면의 굴곡, 강성, 마찰계수 또는 점도 중 어느 하나 이상의 제어인자에 따라 상기 포스 피드백 제어변수를 변경하는 포스 피드백 시스템.
  16. 제13항에 있어서,
    상기 가상물체는 복수로 형성되고,
    상기 제어장치는,
    상기 복수의 가상물체 중 일 가상물체에서 타 가상물체로 상기 사용자 객체가 이동될 때, 포스 피드백 제어변수를 변경하는 포스 피드백 시스템.
  17. 제16항에 있어서,
    상기 제어장치는,
    상기 일 가상물체와 상기 타 가상물체 사이의 경계에서, 상기 포스 피드백 제어변수를 변경하여 상기 필압감의 크기를 순간적으로 증가 또는 감소시키는 포스 피드백 시스템.
  18. 제13항에 있어서,
    상기 사용자의 입력을 검출하는 입력장치; 를 더 포함하고,
    상기 사용자 객체는 상기 사용자의 입력에 따라 확장현실 환경 상에서 이동하는 포스 피드백 시스템.
  19. 제13항에 있어서,
    상기 접촉이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 표시장치;
    를 더 포함하는 포스 피드백 시스템.
PCT/KR2018/013222 2018-09-20 2018-11-02 포스 피드백 방법 및 시스템 WO2020059949A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/311,033 US20200097087A1 (en) 2018-09-20 2018-11-02 Force feedback method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0112551 2018-09-20
KR1020180112551A KR20200033388A (ko) 2018-09-20 2018-09-20 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체

Publications (1)

Publication Number Publication Date
WO2020059949A1 true WO2020059949A1 (ko) 2020-03-26

Family

ID=69888531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013222 WO2020059949A1 (ko) 2018-09-20 2018-11-02 포스 피드백 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR20200033388A (ko)
WO (1) WO2020059949A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120102453A (ko) * 2011-03-08 2012-09-18 주식회사 이턴 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
KR20130030727A (ko) * 2011-09-19 2013-03-27 삼성전자주식회사 힘을 이용한 인터페이스 제어 장치 및 방법
KR101528485B1 (ko) * 2014-06-16 2015-06-12 한국과학기술정보연구원 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법
KR20180016227A (ko) * 2016-08-04 2018-02-14 한국기술교육대학교 산학협력단 햅틱 인터랙션 장치 및 그 동작 방법
JP2018073433A (ja) * 2013-01-15 2018-05-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを備えた拡張現実ユーザ・インタフェース

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120102453A (ko) * 2011-03-08 2012-09-18 주식회사 이턴 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
KR20130030727A (ko) * 2011-09-19 2013-03-27 삼성전자주식회사 힘을 이용한 인터페이스 제어 장치 및 방법
JP2018073433A (ja) * 2013-01-15 2018-05-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを備えた拡張現実ユーザ・インタフェース
KR101528485B1 (ko) * 2014-06-16 2015-06-12 한국과학기술정보연구원 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법
KR20180016227A (ko) * 2016-08-04 2018-02-14 한국기술교육대학교 산학협력단 햅틱 인터랙션 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20200033388A (ko) 2020-03-30

Similar Documents

Publication Publication Date Title
Hauptmann et al. Gestures with speech for graphic manipulation
US10509469B2 (en) Devices for controlling computers based on motions and positions of hands
JP3753744B2 (ja) アイソトニック及びアイソメトリックの機能を有する力フィードバックインタフェース
US6956558B1 (en) Rotary force feedback wheels for remote control devices
US8334841B2 (en) Virtual user interface method and system thereof
US6906697B2 (en) Haptic sensations for tactile feedback interface devices
US6128006A (en) Force feedback mouse wheel and other control wheels
EP2564291B1 (en) Active vibrations
CN102830795B (zh) 利用运动传感装置的远程控制
US20080278443A1 (en) User input device
US9886088B2 (en) Physically modulating friction in a stylus
WO2010134649A1 (ko) 진동햅틱 모바일기기 및 그 구동방법
US9430106B1 (en) Coordinated stylus haptic action
WO2010110573A2 (en) Multi-telepointer, virtual object display device, and virtual object control method
JPH04291414A (ja) データ処理装置と共に使用するデータ入力装置及びその装置を設けられたデータ処理装置
KR20040035881A (ko) 대화형 시스템 및 대화 방법
GB2346455A (en) Designing force sensations with associated sounds for computer applications
WO2015174597A1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
US20080278444A1 (en) User input system
WO2020122282A1 (ko) 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
WO2011005002A2 (ko) 독립적인 터치입력이 가능한 보조터치모니터 시스템 및 보조터치모니터의 독립적인 터치 입력 방법
WO2020059949A1 (ko) 포스 피드백 방법 및 시스템
WO2021225241A1 (ko) 맞춤형 햅틱 효과를 제공하는 방법 및 그를 이용한 시스템
US20140168079A1 (en) Cursor control system
WO2020096121A1 (ko) 밀도를 이용한 포스 피드백 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934441

Country of ref document: EP

Kind code of ref document: A1